Apple : Les modèles d'IA basés sur les droits de l'homme sont toujours problématiques pour ne pas pouvoir y penser logique

JAKARTA – Une nouvelle étude menée par des scientifiques de l’intelligence fabriquée par Apple a révélé que les machines basées sur des modèles de grande langue (LLM), tels que ceux développés par Meta et OpenAI, manquent encore de capacités de réflexion de base.

Apple a proposé une nouvelle référence appelée GSM-Symbolic pour aider à mesurer les compétences raisonnables de ces modèles.

Lors des essais préliminaires, il a été constaté que des petits changements dans les mots dans la question pouvaient produire des réponses très différentes, ce qui saperait la fiabilité du modèle. L’étude a souligné la « diligence » dans la définition mathématique du modèle, dans laquelle l’ajout d’informations contextuelles qui ne devraient pas influencer les calculs provoque des résultats différents.

En particulier, les performances de tous les modèles diminuent lorsque la valeur numérique dans la demande est changée à la hauteur de mesure GSM-Symbolic. L’étude montre également que plus la question est complexée avec plus de clés, plus la performance du modèle se détériore.

Dans un exemple, l’équipe d’Apple a testé des problèmes simples mathématiques qui ne devraient pas être affectés par des informations supplémentaires. Cependant, les modèles d’OpenAI et Meta ont réduit de manière erronée des informations non pertinentes, prouvant que le modèle ne comprend pas vraiment le problème et ne rependait que sur des modèles linguistiques.

L’étude a conclu que les modèles actuels de MTP n’ont pas de capacités de raisonnement critiques et ont tendance à utiliser des modèles de correspondances qui sont sensibles aux changements de mots simples. Apple prévoit d’introduire sa propre version plus sophistiquée d’IA, à partir d’iOS 18.1, pour surmonter les limites actuelles de la MTP.