Moonshot AIはKimi K3の重み、2.8兆のパラメータを持つAIモデルを公開

ジャカルタ - Moonshot AIは、2.8兆のパラメータを持つ人工知能モデル、Kimi K3の完全な重みを公開しました。北京のスタートアップ企業は、Kimi K3を3兆パラメータクラスで世界初のオープンソースモデルと主張しています。

Yicai Globalは7月29日水曜日に引用され、7月27日にモデルの重みがHugging Faceにアップロードされたと報告した。Moonshot AIはまた、トレーニングインフラストラクチャの3つの主要な技術、すなわちMoonEP、FlashKDA、AgentEnvの技術的レポートと3つの主要な技術をリリースしました。

Kimi K3は、変更されたMITライセンスでリリースされました。このライセンスにより、開発者はモデルをダウンロード、変更、改善、およびローカルで実行できます。

モデルの重みは、AIシステムが情報を処理し、答えを生成する方法を決定する一連の値です。

Moonshot AIは、Nvidia H200チップと他のメーカーのグラフィックスプロセッシングユニットを使用してKimi K3をテストしました。テストは、Kimi K3の適用がNvidiaエコシステムに限定されないことを示しました。

Kimi K3には合計2.8兆のパラメータがあります。しかし、モデルが特定のタスクを実行するときにアクティブなパラメータはわずか1040億です。

このモデルは、エキスパートの混合アーキテクチャを使用しています。このシステムでは、各トークンは、エキスパートと呼ばれる896の特別な部分のうちの16つのみを有効にします。

トークンはAIモデルによって処理される小さな単位です。その形状は単語、単語の断片、数字、または句読点の形をとることができます。

Kimi K3はまた、Kimi Delta AttentionメカニズムとMoonshot AIのAttention Residualsテクノロジーを使用しています。このテクノロジーは、最大100万トークンの視覚的理解とコンテキストウィンドウをサポートします。

Kimi K2と比較して、Kimi K3スケーリング効率は約2.5倍増加すると主張されています。

Moonshot AIの技術レポートによると、Kimi K3は、数十のテストですべてのオープンソースモデルとほとんどのクローズドモデルを上回っています。テストには、タスクのシーケンスを実行できるAIエージェントのプログラミング、推論、ビジュアル能力、ワークフローが含まれます。

アリーナインテリジェンスのWebDev Arenaでは、Kimi K3がElo 1.679のスコアを獲得しました。Moonshot AIは、この結果がトップのランキングボードでトップのオープンソースモデルになったと述べています。

Kimi K3は、人工分析インテリジェンスインデックスバージョン4.1でも57.1のスコアを記録しました。この結果は、世界第4位にランクされています。

しかし、レポートによると、Kimi K3のパフォーマンスは、Claude Fable 5とGPT-5.6 Sol.

Moonshot AIは、Kimi K3のウェイト、技術レポート、およびサポート技術の公開は、最先端のAIの使用を加速することを目的としていると述べています。このステップはまた、人工一般知能の研究を促進することを目的としています。

同社は、このリリースが2.8兆パラメータの段階にオープンソースの大規模言語モデルの参入を意味すると評価しています。