Moonlight模型的发布无疑为AI领域注入了一剂强心针。该模型在训练过程中采用了高达5.7万亿个token的数据量，同时通过减少浮点运算次数（FLOPs），实现了性能的显著提升。这一突破不仅提升了帕累托效率边界，更为未来的大规模语言模型训练提供了 ...

公司动态 经济观察网讯 ...

在技术发展与市场应用不断交织的过程中，专家普遍认为，虽然前景广阔，但仍然存在潜在的风险和挑战。例如，持续强化的模型训练可能导致计算资源的消耗过快，对生态可持续性形成威胁。随着数据隐私及伦理问题愈加突出，如何在保证数据利用率的同时，维护用户隐私，是行业亟需解决的难题。此外，技术的过度依赖也可能使得企业在面对突发情况时缺乏应变能力，这需要行业内的共同探索及解决方案。

IT之家 2 月 24 日消息，月之暗面 Kimi 昨日发布了“Muon 可扩展用于 LLM 训练”的新技术报告，并宣布推出“Moonlight”：一个在 Muon 上训练的 30 亿 / 160 亿参数混合专家模型（MoE）。使用了 5.7 万亿个 ...

近期，人工智能领域迎来了一项引人注目的技术创新。知名技术团队月之暗面Kimi发布了一项关于Muon优化器的新技术报告，并随之推出了名为“Moonlight”的混合专家模型（MoE）。这款模型在Muon优化器的基础上进行了训练，拥有30亿至160亿不等 ...

图片来自视觉中国蓝鲸新闻2月26日讯（记者 武静静）DeepSeek连续五天的开源动作还在持续，不仅将全球开源的讨论推到了新的高点，也带来了更多闭源和开源的争议和疑问。甚至OpenAI近日也公布了开源计划，OpenAI CEO Sam ...

在人工智能领域，训练大型语言模型（LLMs）已成为推动技术进步的重要方向。然而，随着模型规模和数据集的不断扩大，传统的优化方法 —— 特别是 AdamW—— 逐渐显露出其局限性。研究人员面临着计算成本高、训练不稳定等一系列挑战，包括梯度消失或爆炸、参数矩阵更新不一致及分布式环境下的资源需求高等问题。因此，迫切需要更高效、更稳定的优化技术来应对这些复杂性。

月之暗面最新技术报告 —— 《Muon is Scalable for LLM Training》！ 推出了一个全新的优化器 Muon，并基于此训练出了 3B/16B 参数的混合专家模型 (MoE)——Moonlight。这个 Moonlight ...

上周五，DeepSeek 刚刚官宣这周要连续开源 5 个代码库，却被月之暗面深夜截胡了。 昨天，月之暗面抢先一步开源了改进版 Muon 优化器，比 AdamW 优化器计算效率提升了 2 倍。 团队人员表示，原始 Muon ...