近日，人工智能领域迎来了一项重大突破，月之暗面（Moonshot）宣布开源其最新优化器 Muon，这一创新技术将计算效率提升至传统 AdamW 的两倍。这一消息的发布恰逢 DeepSeek 即将连续开源多个代码库，引发了业内的广泛关注和热烈讨论。
Muon 优化器最初由 OpenAI 的研究者 Keller Jordan 等人在2024年提出，其在小规模模型训练中表现出色。然而，随着模型规模的扩大，原始 Muon 在性能提升上遇到了瓶颈。为了解决这一问题，月之暗面团队进行了深入的技术改进，主要包括添加权重衰减和一致的均方根（RMS）更新，以支持在大规模训练中应用 Muon，无需再进行超参数调整。
新的 Muon 优化器已被应用于最新推出的 Moonlight 模型，这是一种拥有3B/16B 参数的混合专家（MoE）模型。在经过5.7万亿 tokens 的训练后，Moonlight 模型的性能显著提升，成为当前的 “帕累托前沿”。这一成果意味着，在相同的训练预算下，Moonlight 模型在所有性能指标上均超越其他模型。
月之暗面还开源了 Muon 的实现代码，并发布了相应的预训练和中间检查点，为研究人员的后续研究提供了宝贵资源。研究表明，Muon 优化器在训练过程中所需的 FLOPs 仅为 AdamW 的52%，这进一步验证了其在大规模语言模型训练中的高效性。
月之暗面的 Muon 优化器不仅在性能上超越了传统的优化器，而且通过开源的形式为整个 AI 领域的发展注入了新的活力。随着越来越多的研究者和开发者的参与，这一优化器有望推动人工智能技术的进一步进步。
论文地址:https://github.com/MoonshotAI/Moonlight/blob/master/Moonlight.pdf