阿里通义实验室推出全新通用预训练框架MaskSearch,通过引入检索增强型掩码预测任务,显著提升了大模型在推理和搜索能力上的表现,甚至小模型也能媲美大模型。
MaskSearch框架兼容监督微调和强化学习两种训练方法,在多个开放域问答数据集上表现出色,验证了其在提升模型泛化能力方面的有效性。
实验结果显示,MaskSearch在不同规模模型上均表现出显著提升,尤其在强化学习训练中展现出更强的适应性和优化效果。
阿里通义实验室推出全新通用预训练框架MaskSearch,通过引入检索增强型掩码预测任务,显著提升了大模型在推理和搜索能力上的表现,甚至小模型也能媲美大模型。
MaskSearch框架兼容监督微调和强化学习两种训练方法,在多个开放域问答数据集上表现出色,验证了其在提升模型泛化能力方面的有效性。
实验结果显示,MaskSearch在不同规模模型上均表现出显著提升,尤其在强化学习训练中展现出更强的适应性和优化效果。