LoRA中到底有多少参数冗余？新研究：砍掉95%都能保持高性能

这篇创新研究介绍了LoRI技术，通过大幅减少LoRA的可训练参数，仍能保持强劲的模型性能。研究团队在多种任务上测试了LoRI，发现仅训练LoRA参数的5%，LoRI就能匹配或超越其他方法的性能。

LoRI通过冻结低秩矩阵A并使用任务特定的稀疏掩码训练矩阵B，减少了参数干扰，提高了模型在多任务环境中的表现，并有效减轻了灾难性遗忘的问题。