Moonshot AI推出Kimi K3，一个拥有2.8万亿参数的AI模型

由于Kimi K3是人工智能模型，因此Moonshot AI揭开了其完整的重力，总共有2.8万亿个参数。这家北京初创公司声称Kimi K3是世界上第一个3万亿参数类开源模型。

Yicai Global于7月29日星期三援引，报道该模型的权重于7月27日上传到Hugging Face。Moonshot AI还发布了一份技术报告，以及培训基础设施的三个主要技术，即MoonEP，FlashKDA和AgentEnv。

Kimi K3以修改后的MIT许可证发布。该许可证允许开发人员在本地下载，修改，改进和运行模型。

模型的权重是一组值，它决定了AI系统处理信息并产生答案的方式。

Moonshot AI 使用英伟达 H200 芯片和另一家制造商的图形处理单元测试了 Kimi K3。测试表明，Kimi K3 的应用不仅限于英伟达生态系统。

Kimi K3 有 2.8 万亿个参数。然而，只有 1040 亿个参数在模型执行特定任务时处于活动状态。

该模型使用专家混合体系结构。在这种系统中，每个令牌仅激活896个称为专家的特殊部分中的16个。

令牌是AI模型处理的小单位。它们可以是单词、单词片段、数字或标点符号。

Kimi K3还使用Kimi Delta Attention机制和Moonshot AI的Attention Residuals技术。该技术支持视觉理解和上下文窗口，最多可容纳一百万个令牌。

与Kimi K2相比，Kimi K3的缩放效率据说提高了约2.5倍。

根据Moonshot AI的技术报告，Kimi K3在数十项测试中优于所有开源模型和大多数闭源模型。测试包括编程，推理，视觉能力和AI代理的工作流程，可以执行一系列任务。

在Arena Intelligence的WebDev Arena中，Kimi K3获得了Elo 1.679分。Moonshot AI称这一结果使其成为第一个在该排行榜上排名第一的开源模型。

Kimi K3 在人工智能分析指数 4.1 版上也获得了 57.1 分。这一结果使它在全球排名第四。

然而，该报告称，Kimi K3的表现仍略低于Claude Fable 5和GPT-5.6 Sol。

Moonshot AI表示，Kimi K3的重量，技术报告和支持技术的开放旨在加速尖端AI的使用。此举还旨在推动人工智能的通用人工智能研究。

公司认为，该发布标志着开源大语言模型进入2.8万亿参数阶段。