由于Kimi K3是人工智能模型,因此Moonshot AI揭开了其完整的重力,总共有2.8万亿个参数。这家北京初创公司声称Kimi K3是世界上第一个3万亿参数类开源模型。

Yicai Global于7月29日星期三援引,报道该模型的权重于7月27日上传到Hugging Face。Moonshot AI还发布了一份技术报告,以及培训基础设施的三个主要技术,即MoonEP,FlashKDA和AgentEnv。

Kimi K3以修改后的MIT许可证发布。该许可证允许开发人员在本地下载,修改,改进和运行模型。

模型的权重是一组值,它决定了AI系统处理信息并产生答案的方式。

Moonshot AI 使用英伟达 H200 芯片和另一家制造商的图形处理单元测试了 Kimi K3。测试表明,Kimi K3 的应用不仅限于英伟达生态系统。

Kimi K3 有 2.8 万亿个参数。然而,只有 1040 亿个参数在模型执行特定任务时处于活动状态。

该模型使用专家混合体系结构。在这种系统中,每个令牌仅激活896个称为专家的特殊部分中的16个。

令牌是AI模型处理的小单位。它们可以是单词、单词片段、数字或标点符号。

Kimi K3还使用Kimi Delta Attention机制和Moonshot AI的Attention Residuals技术。该技术支持视觉理解和上下文窗口,最多可容纳一百万个令牌。

与Kimi K2相比,Kimi K3的缩放效率据说提高了约2.5倍。

根据Moonshot AI的技术报告,Kimi K3在数十项测试中优于所有开源模型和大多数闭源模型。测试包括编程,推理,视觉能力和AI代理的工作流程,可以执行一系列任务。

在Arena Intelligence的WebDev Arena中,Kimi K3获得了Elo 1.679分。Moonshot AI称这一结果使其成为第一个在该排行榜上排名第一的开源模型。

Kimi K3 在人工智能分析指数 4.1 版上也获得了 57.1 分。这一结果使它在全球排名第四。

然而,该报告称,Kimi K3的表现仍略低于Claude Fable 5和GPT-5.6 Sol。

Moonshot AI表示,Kimi K3的重量,技术报告和支持技术的开放旨在加速尖端AI的使用。此举还旨在推动人工智能的通用人工智能研究。

公司认为,该发布标志着开源大语言模型进入2.8万亿参数阶段。


The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)

Add VOI as a Preferred Source
Follow VOI news updates across Google.
+