Calmos avec ChatGPT, il n'est pas si intelligent que ça !

ChatGPT, cette intelligence artificielle capable de produire du texte s’est démocratisée à grande vitesse. Certains ont même commencé à l’utiliser comme outil de travail. Problème : on ne devrait pas, car elle reste stupide.

Si vous utilisez Twitter, vous avez sans doute vu passer ces derniers jours une capture d’écran d’un dialogue avec ChatGPT. Ce chatbot est capable de générer du texte et de suivre (à peu près) une conversation. Il a été mis en ligne par OpenAI le 30 novembre 2022 et a franchi la barre du million d’utilisateurs en quelques jours. Sur les réseaux sociaux, ils étaient nombreux à s’extasier des prouesses de cet outil, comparable à la révolution de l’iPhone pour certains ou au futur remplaçant de Google pour d’autres. Les plus zélés estiment que l’on se rapproche d’une intelligence artificielle supérieure à l’humain. Plusieurs corps de métiers se sont amusés à le tester à diverses tâches : écriture et correction de lignes de codes, écriture d’un scénario de film, d'une fiche de poste, d'un résumé de texte… Le chatbot semble être bon à tout faire.

Oui, mais au niveau qualité, cela donne quoi ? En lisant plus en détail les productions de ChatGPT, on se rend rapidement compte que le robot a tendance à être incohérent (il dit une chose, puis son contraire), se tromper, voire raconter n’importe quoi. Faites le test en lui demandant une description de votre propre personne, il est possible que ChatGPT reconnaisse qu’il ne sait pas qui vous êtes, mais il est aussi possible que l’outil fabule complètement en vous inventant une vie de sportif de haut niveau. Ou interrogez-le sur un terme précis que vous connaissez bien, et vous vous rendrez compte de ses limites. Le problème lorsqu’on ne connaît pas ou peu un sujet, c'est que la réponse de ChatGPT paraît limpide et parfaitement correcte car sa syntaxe est bonne, et la tournure est affirmative.

Hallucinations de perroquets 

C’est ce que les ingénieurs en intelligence artificielle appellent une « hallucination » . Elles sont liées au fonctionnement de ces modèles, qui pour certains chercheurs sont comparables à des « perroquets stochastiques ». Les larges modèles de langage naturel comme ChatGPT sont programmés pour produire un texte ressemblant à un texte écrit par un humain, pas pour vérifier une information. Ils génèrent ce texte en prédisant le mot suivant. Pour cela, ils font un calcul statistique. Ils évaluent la proximité sémantique de chaque mot s’appuyant sur les données textuelles à partir desquelles ils ont été élaborés (Wikipedia, autres pages Web, livres…). D’une certaine manière, ils copient-collent des mots qui ont une proximité sémantique. Et cela produit un pastiche d’un texte écrit par un humain, compare le chercheur Gary Marcus dans sa newsletter. Parfois le résultat est heureux, parfois pas du tout. 

Les ingénieurs sont bien au courant de ce phénomène, mais ce n’est pas forcément le cas du grand public. Et c’est bien le problème. Car rarement une IA de ce type a été mise entre les mains d’un si grand nombre de personnes. Et il ne s’agit pas seulement de quelques expérimentations pour amuser la galerie sur Twitter. Certains commencent à utiliser le bot pour effectuer certaines tâches de bureau (corriger un document Excel par exemple), comme le raconte The Verge, écrire leur mail ou en faire le prof individuel de leurs enfants.  

« Impression trompeuse de grandeur »

L’emballement est tel que Sam Altman, fondateur d’Open AI, a dû calmer le jeu, minimisant les performances de sa propre technologie. « ChatGPT est incroyablement limité, mais suffisamment bon pour certaines choses et ainsi créer une impression trompeuse de grandeur, écrit-il sur Twitter. C'est une erreur de s'y fier pour quoi que ce soit d'important en ce moment. C'est un aperçu du progrès ; nous avons beaucoup de travail à faire sur la robustesse et la véracité. Pour une inspiration créative amusante ; super ! Recours à des questions factuelles ; pas une si bonne idée. Nous allons travailler dur pour nous améliorer ! »