斯坦福大学研究团队意外发现,AI生成的CUDA内核性能超越了人类专家优化的结果,部分操作性能提升近400%,并在多种深度学习操作中表现出色。
研究团队采用的方法是在每次迭代中加入语言推理步骤,通过生成自然语言优化思想再转化为代码,这种方法显示出与人类经验相似的优化策略,且能够发现高级优化和硬件特性。
华人主创团队原本的目标是生成合成数据以训练内核生成模型,但意外发现仅在测试阶段生成的合成数据本身,就能生成性能优秀的内核,展示了AI在优化领域的巨大潜力。
斯坦福大学研究团队意外发现,AI生成的CUDA内核性能超越了人类专家优化的结果,部分操作性能提升近400%,并在多种深度学习操作中表现出色。
研究团队采用的方法是在每次迭代中加入语言推理步骤,通过生成自然语言优化思想再转化为代码,这种方法显示出与人类经验相似的优化策略,且能够发现高级优化和硬件特性。
华人主创团队原本的目标是生成合成数据以训练内核生成模型,但意外发现仅在测试阶段生成的合成数据本身,就能生成性能优秀的内核,展示了AI在优化领域的巨大潜力。