AI话痨终结者,UCSD清华提出“思维扫描术”Dynasor-CoT,推理巨省token

UCSD和清华等机构的研究人员发现,推理模型的低token效率源于其“自我怀疑”,并提出了Dynasor-CoT方法,该方法在保持准确性的同时减少了29%的token消耗,且不增加推理延迟。

研究团队通过“思维CT扫描术”技术,开发了一种无需训练、侵入性小且简单的方法,能够动态确定推理链的终止点,从而有效截断不必要的推理过程。

Dynasor-CoT通过提取答案、确定性评估和生成后验证等机制,显著提高了长链式推理的token效率,目前该系统已全面开源。

[原文链接]

上一篇:

下一篇:

微信