浙大校友重磅革新Transformer，多token注意力让LLM开挂，错误率归0

Meta FAIR团队提出了多token注意力机制（MTA），通过引入键-查询卷积和头混合卷积等创新技术，显著提升了模型在处理复杂信息时的性能，特别是在长文本理解和多信息检索任务中表现出色。

实验结果显示，MTA在多个基准测试中均优于传统Transformer模型，特别是在长距离依赖任务和语言建模任务中，展示了显著的性能提升。