阿里通义开源「推理+搜索」预训练新框架:小模型媲美大模型,多个开放域问答数据集表现显著提升

阿里通义实验室推出全新通用预训练框架MaskSearch,通过引入检索增强型掩码预测任务,显著提升了大模型在推理和搜索能力上的表现,甚至小模型也能媲美大模型。

MaskSearch框架兼容监督微调和强化学习两种训练方法,在多个开放域问答数据集上表现出色,验证了其在提升模型泛化能力方面的有效性。

实验结果显示,MaskSearch在不同规模模型上均表现出显著提升,尤其在强化学习训练中展现出更强的适应性和优化效果。

[原文链接]

上一篇:

下一篇:

微信