OpenAI développe une nouvelle technologie de distribution sous le nom de code 'Strawberry'

JAKARTA - Le créateur de chatGPT, OpenAI, développe une nouvelle approche pour son modèle d’intelligence artificielle dans un projet nommé le code « Trawberry ». Cela a été révélé par des informations de personnes connaissantes de ce problème et de la documentation interne. Le projet, qui n’a jamais été rapporté auparavant, est apparu lorsque les startups soutenues par Microsoft se sont compétisselles pour démontrer que le type de modèle qu’ils offrent est capable de fournir des capacités de réflexion avancées.

Les équipes de l’OpenAI travaillent sur Strawberry, selon une copie du document interne d’OpenAI vu par Reuters en mai. Malheureusement, la date exacte du document n’est pas encore connue, qui détaille le plan sur la façon dont OpenAI a l’intention d’utiliser le strawberry pour mener des recherches. La source décrit ce plan comme un travail en cours. Malheureusement, il n’est pas encore connu à quel point il est proche de la sortie du strawberry au public.

Le travail de Strawberry est étroitement secret, même dans OpenAI, a déclaré la source. Le document décrit un projet qui utilise un modèle de strawberry dans le but de permettre à l’IA d’une entreprise non seulement de générer des réponses aux questions, mais aussi de planifier à l’avenir de naviguer sur Internet de manière indépendante et fiable pour faire ce qu’OpenAI a appelé une « recherche approfondie ». C’est quelque chose qui a été difficile par les modèles d’IA jusqu’à présent, selon des entrevues avec plus d’une douzaine de chercheurs d’IA.

Dans un communiqué, un porte-parole d’Openai a déclaré: « Nous voulons que nos modèles d’IA voient et comprennent le monde mieux comme nous le faisons. La recherche continue sur les nouvelles capacités d’IA est une pratique courante dans l’industrie, avec une croyance commune selon laquelle ces systèmes augmenteront en temps réel. »

Le projet Strawberry était auparavant connu sous le nom de Q00, ce qui, selon un rapport de Reuters l’année dernière, a été considéré comme une percée dans l’entreprise. Deux sources décrivent la vue d’une démonstration de Q* plus tôt cette année capable de répondre aux questions scientifiques et mathématiques compliquées qui vont au-delà de la portée des modèles commerciaux aujourd’hui.

Le mardi 9 juillet, selon un rapport de Bloomberg, OpenAI avait montré une démonstration de projets de recherche prétendument possédant de nouvelles compétences de réflexion humaine. Un porte-parole d’OpenAI a confirmé la réunion mais a refusé de donner des détails sur son contenu. Mais les médias n’ont pas été en mesure de déterminer si le projet en question était une muselière.

OpenAI espère que cette innovation améliorera considérablement les capacités de réflexion de son modèle d’IA, a déclaré une source connaissante de cela. Il a également ajouté que les strawberry impliquent une façon spéciale de traiter les modèles d’IA après avoir été précédemment formés sur des très grands ensemble de données.

Les chercheurs disent que la réflexion est la clé pour que l’IA atteigne un niveau d’intelligence humaine ou de super-humaine. Alors que le modèle de langue majeure (LLM) est déjà capable de résumer des textes denses et de rédiger des prose élégante plus rapidement que n’importe quel humain. Mais cette technologie échoue souvent dans les problèmes de santé dont les solutions semblent intuitives pour les gens, telles que la reconnaissance des erreurs logicales et le jeu de tik-tac-toe.

Les strawberry sont une composante clé du plan OpenAI pour surmonter ces défis, ont déclaré une source connaissante de ce problème. Le document vu par Reuters décrit ce que les strawberry voulaient atteindre, mais pas comment.

Au cours des derniers mois, l’entreprise a personnellement signalé aux développeurs et à d’autres parties étrangères qu’elle faisait de lancer une technologie avec des capacités de raisonnement plus avancées, selon quatre personnes ayant entendu la présentation de l’entreprise. Ils ont refusé d’être identifiés parce qu’ils n’étaient pas autorisés à parler de problèmes personnels.

Les strawberry incluent une méthode spéciale de ce connu sous le nom de modèle génératif d’IA d’OpenAI « post-entraînement » ou d’ajuster le modèle de base pour améliorer ses performances d’une manière spécifique après avoir été « formé » sur de grandes quantités de données générales.

Les strawberry ressemblent à une méthode développée à Stanford en 2022 appelée « self-taught Reasoner » ou « STaR », a déclaré une source connaissante de ce problème. La STaR permet aux modèles d’IA de se « démarrer » à leurs propres niveaux d’intelligence plus élevés grâce à la création itérative de leurs propres données de formation.

L’une des capacités visées par OpenAI avec Strawberry est de effectuer des tâches à long terme (LHT), faisant référence à des tâches complexes qui nécessitent un modèle de planifier à l’avenir et de mener une série d’actions sur une période de temps prolongée, a expliqué la première source.

Pour ce faire, OpenAI crée, formule et évalue des modèles sur ce que l’entreprise appelle un ensemble de données de « recherche approfondie », selon la documentation interne d’OpenAI. Reuters ne peut pas déterminer ce qui est dans le groupe de données ni combien de temps il a été prolongé.

OpenAI souhaite spécifiquement que son modèle utilise cette capacité pour mener des recherches en explorant le Web de manière indépendante à l’aide d’un « CUA », ou d’agents utilisateurs d’ordinateurs, qui peuvent agir sur la base de leurs résultats, selon des documents et une source. OpenAI prévoit également de tester sa capacité à effectuer le travail d’ingénieurs logiciels et d’apprentissage automatique.