来自法国索邦大学和苹果的研究者进行了一项关于原生多模态模型（NMM）的广泛 Scaling Laws 研究，发现早融合和后融合架构在性能上相当，但在较低参数数量下早融合模型表现更佳且训练效率更高。结合混合专家可以提升模型性能。研究还揭示了原生多模态模型的 scaling 属性与纯文本大语言模型（LLM）类似。
来自法国索邦大学和苹果的研究者进行了一项关于原生多模态模型（NMM）的广泛 Scaling Laws 研究，发现早融合和后融合架构在性能上相当，但在较低参数数量下早融合模型表现更佳且训练效率更高。结合混合专家可以提升模型性能。研究还揭示了原生多模态模型的 scaling 属性与纯文本大语言模型（LLM）类似。
