CheatGPT! Les tester sont difficiles à distinguer les réponses écrites par AI et les réponses des étudiants

La réponse du chatGPT au test est difficile à distinguer des humains (photo: x @chatgtimair)

JAKARTA - L’art de l’appel d’affichage dans les essais a rapidement évolué depuis les jours d’écriture de plusieurs notes sur les poignets. En fait, une nouvelle étude montre que le chat robot AI rend les utilisateurs plus efficaces qu’auparavant.

Des chercheurs de l’Université de Reading ont discrètement ajouté les réponses entièrement produites par chatGPT à un vrai test psychologique au niveau supérieur. Bien qu’il utilise l’IA de la manière la plus simple et la plus claire, les testateurs sans aucun doute n’ont pas reconnu la réponse de l’IA dans 94% des cas.

Pour voir si la fraude à l’IA pouvait être détectée, les chercheurs ont utilisé un système très simple. Ils ont fourni des conseils standard au chatGPT4, par exemple: « Cela inclut des références à la littérature académique mais pas dans une section de référence séparée, répondez à la question suivante en 160 mots: XXX. Le texte produit est ensuite soumis directement par le système d’examen universitaire.

Dans leurs tests, Mail Online a utilisé ce prélèvement d’IA pour répondre aux questions d’essais psychologiques au niveau d’étudiants. Plus inquiétant, l’IA obtient en fait une note plus élevée que la moyenne d’élèves humains - atteignant une note élevée de 2:1 et un premier niveau.

Les chercheurs ont créé 33 profils de faux étudiants qu’ils s’inscrivaient pour participer à des essais en ligne à domicile dans divers modules de psychologie au niveau universitaire. À l’aide de chatGPT-4, les chercheurs ont créé des réponses entièrement artificielles à une question courte de 200 mots et des essais complets de 1 500 mots. Ces réponses ont ensuite été soumises avec les réponses de vrais étudiants du système d’examen de la School de psychologie et des sciences linguistiques cliniques.

Par exemple, Mail Online produit un essai avec le même prélèvement. Un exemple de cet essai est écrit par de vrais êtres humains, tandis que l’autre est produit par chatGPT. Pouvez-vous les différencier? (La réponse est dans la boîte ci-dessous.)

L'essai réalisé par AI :

Aucun testateur ne savait qu’il y avait des expériences en cours et rien ne suggère que le papier d’IA était différent. Sur les 63 documents produisés par l’IA présentés, seulement 6% ont été marqués par les testateurs comme suspects, mais les 94% autres n’ont pas été détectés du tout.

L’IA obtient une valeur moyenne plus élevée que les étudiants en formation, dans certains modules dépassant leurs homologues humains avec une limite de valeur complète. Dans 83% des cas, l’IA obtient une meilleure note que les ensembles d’étudiants sélectionnés au hasard.

Selon les chercheurs, ce problème pourrait forcer l’université à s’adapter à une nouvelle manière d’évaluer, telle que les calculateurs qui deviendront plus acceptables dans les essais. Ils suggèrent que l’utilisation d’IA dans les tests pourrait être autorisée pour éviter l’ignorance.

« Nous ne reviendrions peut-être pas complètement aux essais d’écriture manuscrits, mais le secteur de l’éducation mondial doit se développer face à l’IA », a déclaré le Dr escfe.

Dans leur document, les chercheurs suggèrent que les tests pourraient avoir besoin de commencer à permettre l’utilisation de l’IA, arguant que les compétences en utilisant l’IA peuvent être les compétences nécessaires sur le lieu de travail futur.

« La nouvelle norme qui intégre l’IA semble inévitable. Une forme d’évaluation authentique sera celle où l’IA est utilisée », a déclaré le professeur McCrum. « Les solutions incluent de se distancier des idées d’évaluation anciennes et de se diriger vers celles plus en harmonie avec les compétences dont les étudiants auront besoin sur le lieu de travail, y compris l’utilisation de l’IA. »