UCSD和清华等机构的研究人员发现,推理模型的低token效率源于其“自我怀疑”,并提出了Dynasor-CoT方法,该方法在保持准确性的同时减少了29%的token消耗,且不增加推理延迟。
研究团队通过“思维CT扫描术”技术,开发了一种无需训练、侵入性小且简单的方法,能够动态确定推理链的终止点,从而有效截断不必要的推理过程。
Dynasor-CoT通过提取答案、确定性评估和生成后验证等机制,显著提高了长链式推理的token效率,目前该系统已全面开源。
UCSD和清华等机构的研究人员发现,推理模型的低token效率源于其“自我怀疑”,并提出了Dynasor-CoT方法,该方法在保持准确性的同时减少了29%的token消耗,且不增加推理延迟。
研究团队通过“思维CT扫描术”技术,开发了一种无需训练、侵入性小且简单的方法,能够动态确定推理链的终止点,从而有效截断不必要的推理过程。
Dynasor-CoT通过提取答案、确定性评估和生成后验证等机制,显著提高了长链式推理的token效率,目前该系统已全面开源。