南京大学计算机学院软件研究所徐经纬团队提出了一个名为MeteoRA的多任务嵌入架构,该架构通过全模式混合专家模型(MoE)将多个特定任务的LoRA适配器重用到基础模型上,显著提升了大语言模型在处理复合问题时的性能和效率。
该研究不仅提出了一个可扩展的LoRA集成框架,还开发了一种新的混合专家模型前向加速策略,实现了约4倍的加速效果,证明了MeteoRA框架在实际应用中的优越性能。
该工作解决了使用LoRA适配器的微调方法需要明确意图选择的问题,使大语言模型能够自主按需选择和切换不同的LoRA适配器,增强了模型在结合使用现成LoRA适配器上的实际效果。