当前AI领域呈现“端云并发”态势,端侧与云侧大模型各有优势,共同推动智能发展。NVIDIA CEO黄仁勋在GTC 2025上强调,大模型计算正转向推理优化阶段,推理系统成为关键。无问芯穹发起推理系统开源节,连续开源了三个工作,包括SpecEE、Semi-PD和FlashOverlap,旨在提升端侧推理速度和效率。
当前AI领域呈现“端云并发”态势,端侧与云侧大模型各有优势,共同推动智能发展。NVIDIA CEO黄仁勋在GTC 2025上强调,大模型计算正转向推理优化阶段,推理系统成为关键。无问芯穹发起推理系统开源节,连续开源了三个工作,包括SpecEE、Semi-PD和FlashOverlap,旨在提升端侧推理速度和效率。