终端云端三连发!无问芯穹开源大模型推理加速神器,加码构建新一代端、云推理系统

当前AI领域呈现“端云并发”态势,端侧与云侧大模型各有优势,共同推动智能发展。NVIDIA CEO黄仁勋在GTC 2025上强调,大模型计算正转向推理优化阶段,推理系统成为关键。无问芯穹发起推理系统开源节,连续开源了三个工作,包括SpecEE、Semi-PD和FlashOverlap,旨在提升端侧推理速度和效率。

[原文链接]

上一篇:

下一篇:

微信