梁文锋领衔的DeepSeek团队在最新论文中公布了V3大模型降本方法，通过内存优化、多头潜在注意力（MLA）、计算优化、混合专家模型（MoE）与FP8低精度训练、通信优化等技术，使得仅需2048块H800 GPU就能达到数万块GPU集群的训练效果。
此外，论文还对未来AI硬件提出了期待，建议从低精度计算支持、扩展与扩展融合、网络拓扑优化、内存系统优化等方面进行主动设计，以解决当前硬件瓶颈问题。
梁文锋领衔的DeepSeek团队在最新论文中公布了V3大模型降本方法，通过内存优化、多头潜在注意力（MLA）、计算优化、混合专家模型（MoE）与FP8低精度训练、通信优化等技术，使得仅需2048块H800 GPU就能达到数万块GPU集群的训练效果。
此外，论文还对未来AI硬件提出了期待，建议从低精度计算支持、扩展与扩展融合、网络拓扑优化、内存系统优化等方面进行主动设计，以解决当前硬件瓶颈问题。
