近日，人工智能领域迎来了一项重大突破，月之暗面（Moonshot）宣布开源其最新优化器Muon，这一创新技术将计算效率提升至传统AdamW 的两倍。这一消息的发布恰逢DeepSeek 即将连续开源多个代码库，引发了业内的广泛关注和热烈讨论。
Muon 优化器最初由OpenAI 的研究者Keller Jordan 等人在2024年提出，其在小规模模型训练中表现出色。然而，随着模型规模的扩大，原始Muon 在性能提升上遇到了瓶颈。为了解决这一问题，月之暗面团队进行了深入的技术改进，主要包括添加权重衰减和一致的均方根（RMS）更新，以支持在大规模训练中应用Muon，无需再进行超参数调整。
新的Muon 优化器已被应用于最新推出的Moonlight 模型，这是一种拥有3B/16B 参数的混合专家（MoE）模型。在经过5.7万亿tokens 的训练后，Moonlight 模型的性能显着提升，成为当前的“帕累托前沿”。这一成果意味着，在相同的训练预算下，Moonlight 模型在所有性能指标上均超越其他模型。
月之暗面还开源了Muon 的实现代码，并发布了相应的预训练和中间检查点，为研究人员的后续研究提供了宝贵资源。研究表明，Muon 优化器在训练过程中所需的FLOPs 仅为AdamW 的52%，这进一步验证了其在大规模语言模型训练中的高效性。
月之暗面的Muon 优化器不仅在性能上超越了传统的优化器，而且通过开源的形式为整个AI 领域的发展注入了新的活力。随着越来越多的研究者和开发者的参与，这一优化器有望推动人工智能技术的进一步进步。
论文地址:https://github.com/MoonshotAI/Moonlight/blob/master/Moonlight.pdf