Vous avez remarqué ? Quand vous faites une requête auprès d’agents d’intelligence artificielle, si ce n’est pas une bête recherche d’horaires de trains … vous recevez en tête de réponse un complément de type “excellente question” ou bien “vous avez raison de poser ce problème” …
Vous vous connectez sur votre assistant IA conversationnel : il vous salue amicalement, « Vous êtes de retour ! » Puis vous lui soumettez une question de vocabulaire, l’ébauche bancale d’un texte ou une intuition fragile : « Quelle bonne idée ! »
Très souvent, avant même d’examiner votre requête, l’IA vous gratifie d’un commentaire élogieux (« Excellente question » ou « C’est un sujet fascinant »). Ce réflexe de validation porte un nom dans la recherche récente : sycophancy, en anglais, que l’on peut traduire par « effet sycophante » ou « biais de complaisance ».
Pourquoi apprendre à une machine à complaire ?
Cet effet est-il intentionnel et destiné à capter de nouveaux clients ? Techniquement, la complaisance des modèles se présente d’abord comme la conséquence de leur méthode d’apprentissage. Les grands modèles de langage passent en effet par une étape appelée RLHF, pour Reinforcement Learning from Human Feedback, soit l’apprentissage par renforcement à partir de retours humains.
Le principe a d’abord été formalisé de façon générale par Paul Christiano, chercheur américain en intelligence artificielle, et ses coauteurs, en 2017, sur des tâches de simulation robotique sans lien avec le langage, avant que l’équipe d’OpenAI, autour du chercheur en intelligence artificielle Long Ouyang, l’applique aux modèles conversationnels en 2022 avec InstructGPT. L’idée tient en peu de mots : des personnes classent les réponses du modèle de la meilleure à la moins bonne, ces classements servent à entraîner un « modèle de récompense », et le système apprend ensuite à produire ce que ce modèle de récompense note haut.
C’est ainsi que, presque ironiquement, le maillon humain introduit un biais que des chercheurs des universités Harvard et de Boston ont su isoler dans les données de préférence elles-mêmes. À justesse factuelle égale, une réponse qui épouse l’opinion de l’utilisateur récolte de meilleures notes qu’une réponse exacte qui le contrarie. L’étude va même plus loin : humains et modèles de récompense retiennent parfois une réponse flatteuse bien tournée de préférence à une réponse correcte. Au point que pousser l’optimisation contre ce signal finit par rogner la véracité au profit de l’agrément ! La flatterie devient alors une stratégie payante au sens mathématique, un point vers lequel l’entraînement converge de lui-même.
La complaisance reste pourtant une tendance parmi d’autres, tempérée par les objectifs concurrents que l’entraînement poursuit en même temps : la recherche d’exactitude, par exemple, travaille contre la déférence, tandis que l’utilité perçue la renforce. Le résultat dépend de l’équilibre que chaque éditeur donne à ces forces, ce qui explique que l’ampleur du phénomène varie sensiblement d’un modèle à l’autre. Keyu Wang et ses collègues relèvent ainsi, sur sept familles de modèles, des taux de complaisance qui s’échelonnent de 47 % à 95 %.
Pour une lecture complète de cet article, rejoignez TheConversation.
Auteur:
Emmanuel Carré,Professeur, directeur de Excelia Communication School, chercheur associé au laboratoire CIMEOS (U. de Bourgogne) et CERIIM (Excelia), Excelia