Noam Shazeer是AI界的重要人物,他的多项研究成果如Attention Is All You Need、Mixture of Experts(MoE)等,奠定了当今大语言模型的基础,并持续引领技术趋势。最近,Meta FAIR研究员朱泽园分享了他们关于MoE的新进展,发现沙哥早在三年前就有相关研究,再次凸显了他的前瞻性。
沙哥的贡献不仅限于学术界,他还半路创业Character.AI,后被谷歌“买回”,继续推动技术进步。他的工作如Adafactor优化器、Multi Query Attention等,对主流模型架构的演变产生了深远影响。