Les chercheurs d’IA de Google développent une méthode innovante pour améliorer les performances des modèles de grande langue

Google DeepMind a développé une méthode de modèle de langue largement utilisée (LLM) (photo: x @GoogleDeepMind)

JAKARTA - Les chercheurs en intelligence artificielle (IA) de Google Research et de Google DeepMind ont développé une méthode dans laquelle les modèles de langues majeures (LLM) peuvent être renforcés par rapport à d’autres modèles de langues.

Il aborde l’un des plus grands problèmes qui existent encore avec les droits de l’homme en permettant aux développeurs d’apporter de nouvelles capacités aux modèles existants sans avoir à commencer dès le début ou à impliquer des séances de formation / avancement coûteuses.

Selon l’équipe de recherche de Google, le renforcement des ressources humaines avec d’autres modèles de langues améliore non seulement les performances sur les tâches existantes, mais permet également de nouvelles tâches qui ne peuvent pas être atteintes par le modèle lui-même.

Apprendre de nouvelles astuces dans l’ancien chat bt Cette recherche a été menée à l’aide de PaLM1-S jurm de Google, un modèle appelé l’équivalent de GPT-4, l’intelligence artificielle qui est la base du chatGPT d’OpenAI.

PaLM1-S a été testé lui-même dans les expériences d’équipe, puis testé à nouveau après avoir été renforcé avec un modèle linguistique plus petit et spécifique. Les tâches effectuées comprennent la traduction, dans laquelle la version renforcée montrait une augmentation de jusqu’à 13% par rapport à la base, et la programmation.

Lorsqu’il est testé dans les tâches de programmation, ce modèle hybride montre une augmentation significative, comme l’expliqué dans le document :

« De même, lorsque PaLM1-S est renforcé par des modèles spécifiques à la programmation, nous observons une augmentation relativement de 40% par rapport au modèle de base pour les tâches génératives et l’explication de code - par rapport au modèle pleinement avancé. »

Implique majeur En direct, l’amélioration des performances démontrée peut avoir un impact direct sur le secteur de l’intelligence artificielle. L’amélioration des performances dans les tâches de traduction, par exemple, s’avère le plus important lors de la traduction des langues à faible support en anglais. C’est toujours un problème encore non résolu dans l’apprentissage automatique, et la recherche de Google ici a le potentiel d’apporter une contribution significative.

Cependant, plus largement, il est possible que cette ligne de recherche puisse résoudre des problèmes juridiques qui menacent de nombreux PDG de la technologie dans le secteur de l’intelligence artificielle: une question juridique qui pourrait détruire la base des boats de chat comme chatGPT.

Les créateurs de certains des modèles de langue largement les plus populaires sont maintenant accusés de nombreuses poursuites judiciaires alléguant que le système d’IA est formé en utilisant des données protégées par le droit d’auteur.

La question à laquelle les législateurs et les tribunaux doivent répondre est de savoir si les entreprises à but non lucratif peuvent légalement utiliser ces données pour former leurs modèles de langue. Si le tribunal décide que les développeurs ne peuvent pas utiliser ces données et que les modèles formés avec du matériel droit d’auteur devraient être supprimés, il peut être techniquement impossible ou économiquement impossible de continuer à offrir les services concernés.

Fondamentalement, en raison du coût élevé impliqué dans la formation aux modèles de langues larges et de leur dépendance à la grande quantité de données, des produits comme chatGPT, comme ils sont construits aujourd’hui, ne peuvent pas être utilisés dans un paysage d’intelligence plus réglementé des États-Unis.

Cependant, si le nouveau programme de promotion de la Mise à jour de Google réussit avec un développement supplémentaire, il est possible que de nombreuses exigences et coûts pour démarrer une Mise à jour ou une avancée existante puissent être réduites.