研究者提出了一种新的表征链(CoR)概念,通过将表征范式泛化,允许在单一表示中编码不同尺度的知识,从而提高语言模型(LLM)的可扩展性和灵活性。基于此,他们提出了模型链(CoM)和语言模型链(CoLM),并在多个基准测试中展示了其优越性能。
实验结果表明,CoLM 系列模型不仅达到了与基线相当的性能,还提供了更快的预填充速度和更高的灵活性。此外,链式调优方法通过仅对后续链进行微调,降低了调优成本并有效缓解了灾难性遗忘问题。
弹性推理方面,CoLM-Air 在参数量相近的情况下实现了更快的预填充速度,并随着序列长度增加获得更显著的速度提升,证明了其在不同部署场景中的应用潜力。