L’équipe de sécurité d’IA à OpenAI s’est produite après une série de démissions

JAKARTA - L’ensemble de l’équipe OpenAI qui se concentre sur les dangers existants de l’IA a démissionné ou aurait rejoint d’autres groupes de recherche à l’intérieur de l’entreprise.

Quelques jours après qu’Ilya Sutskever, scientifique en chef et cofondatrice d’OpenAI, ait annoncé sa démission, Jan Leike, ancien chercheur de DeepMind, qui est également co-dirigeant de l’équipe de superalignement d’OpenAI, a annoncé sa démission sur la plate-forme X.

Selon Leike, son départ de l’entreprise était dû à ses inquiétudes concernant les priorités d’OpenAI, qui, selon lui, était plus axée sur le développement de produits que sur la sécurité d’IA.

Dans une série de publications sur X, Leike a déclaré que le leadership d’OpenAI était mauvais dans le choix des priorités fondamentales et devrait accroître la sécurité et la préparation avec le développement de l’intelligence générale artificielle (AGI).

L'IAI est un terme pour l'intelligence artificielle hypothétique qui peut effectuer les mêmes tâches ou mieux que les humains dans divers domaines.

Après trois ans d’OpenAI, Leike a critiqué l’entreprise pour avoir donné la priorité au développement de produits attirants plutôt que de construire une forte culture de sécurité d’IA et un processus adéquat. Il a souligné la nécessité d’allouer des ressources urgentes - en particulier de la capacité informatique - pour soutenir la recherche en matière de sécurité vitale, qui, selon lui, a été ignorée.

« Je ne suis pas d’accord avec le leadership d’OpenAI sur les priorités fondamentales de base de l’entreprise depuis assez longtemps jusqu’à ce que nous atteigneions finalement le pic. Au cours des derniers mois, mon équipe a navigué contre le vent », a déclaré Leike.

OpenAI a formé une nouvelle équipe de recherche en juillet 2023 pour préparer l’avènement d’IA sophistiqué qui pourrait être plus intelligent et puissant que les créateurs. Sutskever a été nommé co-leader de cette nouvelle équipe, qui reçoit 20% des ressources de calcul OpenAI.

À la suite de sa récente démission, OpenAI a choisi de dissoudre l’équipe de « Superligment » et d’intégrer sa fonction dans d’autres projets de recherche à l’intérieur de l’organisation. Cette décision a été rapportée à la suite de la restructuration interne en cours, qui a commencé en réponse à la crise de la gouvernance en novembre 2023.

Sutskever a fait partie des efforts accomplis pour encourager le conseil d’administration d’OpenAI à la quête de Sam Altman en novembre 2023 avant qu’il ne soit ensuite embauché pour revenir au rôle après avoir reçu de fortes réactions de la part des employés.

Selon The Information, Sutskever informe les employés que la décision du conseil d’administration de destituer Altman remplit leur responsabilité de veiller à ce qu’OpenAI développe une IRA utile pour toute l’humanité. En tant qu’un des six membres du conseil d’administration, Sutskever a souligné l’engagement du conseil d’administration à aligner les objectifs d’OpenAI avec des intérêts plus importants.