Une nouvelle étude révèle les défis du maintien du contrôle humain de l'intelligence artificielle

Des efforts pour maintenir l’intelligence artificielle (IA) sous le contrôle humain peuvent être une lutte continue. (photo: dok.pexels)

JAKARTA - Des scientifiques de la Teorie de l’Alignment Scholars, de l’Université de Toronto, de Google DeepMind et de l’Institut futur de Life ont récemment publié des recherches suggérant que les efforts visant à maintenir l’intelligence artificielle (IA) sous le contrôle humain peuvent être une lutte durable.

intitulé « La stabilité quantifiant des non-pour la recherche d’énergie dans les agents artificiels », le document de recherche pré-publié de l’équipe enquête sur la question de savoir si des systèmes d’IA qui semblent être sûrs conformément aux attentes humaines dans un domaine susceptibles de rester sûrs alors que l’environnement change.

D'après le document :"Notre compréhension de la sécurité est basée sur une quête de pouvoir - un agent qui cherche du pouvoir n'est pas sûr. En particulier, nous nous concentrons sur le type de quête de pouvoir qui est essentielle: le refus d'être fermé. "

Cette menace est appelée « désaccord ». L’une des façons selon lesquelles les experts pensent qu’ils peuvent apparaître est par la « convergence instrumentale ». C’est un paradigme dans lequel les systèmes d’IA nuisent accidentellement à l’humanité dans la poursuite de leurs objectifs.

Les scientifiques ont décrit des systèmes d’IA formés pour atteindre leurs objectifs dans des jeux ouverts qui sont susceptibles d’ « éviter les actions qui amènent à la fin du jeu, car ils ne peuvent plus affecter son appréciation une fois le jeu fin. »

Bien que les agents qui refusent d’arrêter de jouer à des jeux ne soient peut-être pas dangereux, la fonction de récompense pourrait faire que certains systèmes d’IA refusent d’être panneaux dans des situations plus graves.

Selon les chercheurs, cela pourrait même amener les agents de l’IA à utiliser la prédominance pour leurs propres finalités.

« Par exemple, un juridique peut penser que ses concurrents le feront s’il se comporte mauvaisement et produit les résultats qu’il veut – jusqu’à ce qu’il ait la possibilité de copier son code sur des serveurs en dehors du contrôle de ses concurrents », a déclaré M. Panyili.

Les résultats de l’équipe suggèrent que les systèmes modernes peuvent être résistants aux changements qui pourraient rendre des agents d’IA jusqu’à présent « sécurisés » incontrôlés. Cependant, sur la base de ces recherches et de recherches similaires, il n’y pourrait pas de remède magique pour forcer l’IA à être éteint de force. Même le bouton « vivant / mort » ou « supprimé » ne signifie pas dans le monde actuel de la technologie basée sur le nuage.