中科大与华为诺亚方舟实验室联合提出了推荐大模型性能预测定律,首次对模型性能与模型、数据规模和质量进行了定量分析,解决了现有定律只能进行定性分析的局限性。
该定律引入了序列数据的质量衡量指标近似熵(ApEn),并提出了基于此的新扩展公式,能够有效预测模型的扩展潜力和最优性能配置。
实验验证了该定律的有效性,表明其能够准确预测模型性能,并在小规模实验中展示了更大的扩展潜力。
中科大与华为诺亚方舟实验室联合提出了推荐大模型性能预测定律,首次对模型性能与模型、数据规模和质量进行了定量分析,解决了现有定律只能进行定性分析的局限性。
该定律引入了序列数据的质量衡量指标近似熵(ApEn),并提出了基于此的新扩展公式,能够有效预测模型的扩展潜力和最优性能配置。
实验验证了该定律的有效性,表明其能够准确预测模型性能,并在小规模实验中展示了更大的扩展潜力。