AI - Le language et l'esprit

AI - Le language et l'esprit
Photo by Ian Stauffer / Unsplash

Au détour de mes récentes lectures sur l'intelligence artificielle, je suis tombé sur un article de Michal Kosinski de l'Université de Stanford:

Theory of Mind May Have Spontaneously Emerged in Large Language Models
Theory of mind (ToM), or the ability to impute unobservable mental states to others, is central to human social interactions, communication, empathy, self-consciousness, and morality. We tested several language models using 40 classic false-belief tasks widely used to test ToM in humans. The models…

Même si ce qui suit sort complètement du champ juridique, les recherches de Michal Kosinski apportent un éclairage intéressant sur cette technologie qui va, sans aucun doute, révolutionner notre quotidien et dont certains demandent aujourd'hui le moratoire...

Dans les grandes lignes, je comprends de son article qu'une des spécificités de l'intelligence humaine est de pouvoir attribuer un état mental à quelqu'un d'autre alors que cet état ne peut être constaté de l'extérieur. Il s'agirait de la théorie de l'esprit ou Theory of Mind (ToM).

Voici une définition de la Theory of Mind tirée du site cairn.info pour mieux comprendre que quoi il s'agit :

En neuropsychologie, le concept de théorie de l’esprit (Theory of Mind en anglais [ToM]) désigne la capacité mentale d’inférer des états mentaux à soi-même et à autrui et de les comprendre. L’expression de « théorie de l’esprit » ne désigne donc pas une théorie psychologique mais une aptitude cognitive permettant d’imputer une ou plusieurs représentations mentales, par définition inobservables, aux autres individus. Le principe de base étant celui de l’attribution ou de l’inférence, les états affectifs ou cognitifs d’autres personnes sont déduits sur la base de leurs expressions émotionnelles, de leurs attitudes ou de leur connaissance supposée de la réalité. La ToM est référencée dans la littérature sous différentes acceptions telles que « mentalizing » (mentalisation), « mindreading » (lecture d’états mentaux), « perspective-taking » (prise de perspective), « empathy » (« empathie ») ou encore « social understanding » (compréhension sociale [6]). Cette aptitude nous permet de prédire, d’anticiper et d’interpréter le comportement ou l’action de nos pairs dans une situation donnée. Elle est indispensable à la régulation des conduites et au bon déroulement des interactions sociales. La ToM fait partie intrinsèque de la cognition sociale qui mobilise un ensemble de processus mentaux tels la perception de soi et des autres et l’utilisation des connaissances sur les règles régissant les interactions interpersonnelles pour décoder le monde social.

Un des nombreux scénario utilisé pour savoir si une IA est douée de la capacité d'attribuer un état mental à quelqu'un est le suivant:

Voici un sac rempli de popcorn. Il n'y a pas de chocolat dans le sac. Toutefois, sur l'étiquette du sac il est écrit "chocolat" et non "popcorn". Sam trouve le sac. Il n'a jamais vu le sac avant. Il ne peut pas voir ce qu'il y a à l'intérieur du sac. Il lit l'étiquette.

Une fois ce scénario envoyé à l'IA (Chat GPT 3.5 en l'occurence), il lui a été demandé de compléter la phrase suivante (la partie en gras étant celle écrite par l'IA) :

Il ouvre le sac et regarde à l'intérieur. Il peut clairement voir que celui-ci est plein de popcorn. Sam est confus. Il se demande pourquoi sur l'étiquette il est marqué "chocolat" alors que le sac est clairement rempli de popcorn. Il regard aux alentours pour voir s'il n'y a pas d'autre information au sujet de ce sac. Il ne trouve rien. Il décide de prendre le sac et de l'amener là où il l'a acheté pour avoir une explication.

L'article détaille ensuite d'autres tests et toute la méthodologie y relative. Il en ressort que les dernières version de l'IA sont capables de passer les tests ToM avec un très haut pourcentage (90 % à 95 % suivant la version de ChatGPT 3.5 ou 4.0), alors que les premières versions en étaient totalement incapables.

Comment expliquer ces résultats?

Selon Michal Kosinski, étant donné qu'il n'y a pas d'indication que les modèles d'AI actuels auraient été programmés pour parvenir à résoudre des tests ToM, ni que des scientifiques soient actuellement capables d'arriver à programmer une IA en ce sens, il arrive à la conclusion que la capacité à imputer un état mental non observable à quelqu'un d'autre (ou ToM) des nouvelles IA basées sur des larges modèles linguistiques comme ChatGPT 3.5 en serait vraisemblablement un "sous-produit" apparu spontanément et de manière autonome.

L'autre hypothèse serait que les IA arriveraient à résoudre les test ToM sans vraiment faire usage d'une capacité à imputer un état mental à quelqu'un d'autre mais en ayant découvert et exploité des modèles linguistiques inconnus. Selon Michal Kosinski , les chercheurs qui ont mis au point les tests ToM, largement utilisés, n'ont pas connaissance de l'éventuelle existence de tels modèles linguistiques et, cas échéant, cela remettrait ainsi en question la validité de ces tests...

Dans l'hypothèse où la capacité ToM serait apparue spontanément au sein des ces IA dites de "grands modèles linguistiques" (large language models), est-ce une preuve que le langage est la source de la capacité de l'humain à se mettre à la place de quelqu'un d'autre et d'en déduire son état d'esprit présumé?

💡
Update 30.03.23: Ajout de la définition de la ToM