LLM幻觉,竟因知识“以大欺小”,华人团队祭出对数线性定律与CoDA策略

来自UIUC等大学的华人团队揭示了大语言模型(LLMs)幻觉的对数线性定律,并提出了知识遮蔽定律,通过预测和减少幻觉提高了模型的可控性和事实性。

研究团队提出了新的解码策略CoDA,显著提升了模型在事实准确性测试中的表现,并为未来可解释性和可控性研究提供了新方向。

通过实验,研究人员发现LLM的知识如何相互影响,知识遮蔽效应在模型训练或推理前即可预测幻觉的发生,从而使得更可预测、更可控的语言模型成为现实。

[原文链接]

上一篇:

下一篇:

微信