Moonshot AI lance Kimi K3, un modèle d'IA avec 2,8 billions de paramètres

Logo Moonshot AI et l'apparence du modèle AI Kimi K3. Moonshot AI affirme que Kimi K3 est le premier modèle open source au monde avec un total de 2,8 billions de paramètres. Photo: Yicai Global.

JAKARTA - Moonshot AI a ouvert le poids complet de Kimi K3, un modèle d’intelligence artificielle avec un total de 2,8 trillions de paramètres. La société de démarrage à Beijing affirme que Kimi K3 est le premier modèle open source au monde dans la classe des 3 trillions de paramètres.

Yicai Global a rapporté mercredi 29 juillet, rapporté que le poids du modele a été chargé sur Hugging Face le 27 juillet. Moonshot AI a également publié un rapport technique ainsi que trois technologies principales pour l’infrastructure de formation, à savoir MoonEP, FlashKDA et AgentEnv.

Kimi K3 est sorti sous une licence MIT modifiée. Cette licence permet aux développeurs de télécharger, modifier, améliorer et exécuter le modèle localement.

Le poids d'un modèle est un ensemble de valeurs qui détermine la façon dont un système d'IA traite les informations et génère des réponses.

Moonshot AI a testé Kimi K3 avec des puces Nvidia H200 et des unités de traitement graphique d'autres fabricants. Les tests ont montré que l'utilisation de Kimi K3 n'est pas limitée à l'écosystème Nvidia.

Le K3 de Kimi a un total de 2,8 trillions de paramètres. Cependant, seuls 104 milliards de paramètres sont actifs lorsque le modèle exécute une tâche particulière.

Ce modèle utilise l'architecture Mixture of Experts. Dans le système, chaque token active seulement 16 des 896 parties spécialisées appelées experts.

Les tokens sont de petites unités traitées par le modèle d'IA. Leur forme peut prendre la forme d'un mot, d'un mot, d'un chiffre ou d'une ponctuation.

Kimi K3 utilise également le mécanisme de l'attention de Kimi Delta et la technologie Attention Residuals de Moonshot AI. Cette technologie prend en charge la compréhension visuelle et la fenêtre de contexte jusqu'à un million de jetons.

Par rapport à Kimi K2, l'efficacité de l'échelle de Kimi K3 est allée jusqu'à 2,5 fois plus haut.

Selon le rapport technique de Moonshot AI, Kimi K3 a devancé tous les modèles open source et la plupart des modèles fermés dans des dizaines d’essais. Les tests incluent la programmation, l’énoncé, la capacité visuelle et le flux de travail d’agents AI qui peuvent exécuter des séries de tâches.

Sur le site WebDev Arena de Arena Intelligence, Kimi K3 a obtenu un score Elo de 1 679. Moonshot AI a déclaré que ce résultat en faisait le premier modèle open source à occuper la première place du classement.

Kimi K3 a également marqué 57,1 sur l'indice d'intelligence artificielle de l'analyse version 4.1. Ce résultat l'a classé quatrième au monde.

Cela dit, le rapport indique que la performance de Kimi K3 est encore légèrement inférieure à celle de Claude Fable 5 et de GPT-5.6 Sol.

Moonshot AI a dit que l’ouverture du poids, des rapports techniques et des technologies de support de Kimi K3 visait à accélérer l’utilisation de l’IA de pointe. Cette mesure vise également à encourager la recherche sur l’intelligence générale artificielle.

L'entreprise estime que le lancement marque l'entrée du modèle de langage open source dans la phase 2,8 billions de paramètres.