Elle écrit des mémoires de fins d'étude en quelques minutes, discute sur Reddit… Cette intelligence artificielle génératrice de texte fait partie des dix technologies à suivre en 2021 selon le MIT Technology Review. Mais ce programme illustre aussi les pires défauts de l’I.A : surconsommation énergétique, survente des capacités et reproduction de biais.
GPT-3. Depuis quelques mois, ces initiales font régulièrement la une de la presse technologique. Il s’agit de l’acronyme de « Generative Pre-trained Transformer 3 », une intelligence artificielle développée par l’entreprise américaine Open AI. Sa spécialité est de générer des textes à partir d’une petite introduction et de consignes. Son accès est pour le moment restreint, et se fait uniquement sur invitation. Mais des dizaines d'applications proposées par des chercheurs et développeurs ont déjà vu le jour. Dernière en date : GPT-3 serait capable de produire en quelques minutes des mémoires de fin d'études passables. Auparavant, le programme s’était déjà fait remarquer en écrivant une tribune dans The Guardian, en animant un jeu de rôle en ligne, et en écrivant des lignes de code.
Le MIT Technology Review compare l’impact de GPT-3 à celui de Deep Blue, le superordinateur d'IBM qui avait réussi à battre le champion des échecs Gary Kasparov en 1997. Et à celui d’AlphaGo, l’IA de Deepmind (Google) qui était parvenue à vaincre Lee Sedol, l'un des meilleurs joueurs de Go. GPT-3 suscite le même emballement médiatique et représente lui-aussi un jalon dans l’histoire de l’informatique. « Le langage est essentiel pour donner un sens au quotidien : les humains l'utilisent pour communiquer, partager des idées et décrire des concepts. Une IA qui maîtriserait la langue aura une meilleure compréhension du monde », explique l’article.
D’autres programmes de traitement automatique du langage existent. Mais la particularité de GPT-3 est la quantité de données à partir de laquelle il a été entraîné et son nombre de paramètres. 175 milliards contre 1,5 milliard pour GPT-2, sa précédente version.
GPT-3, roi de l’absurde
Toutefois, le MIT Technology Review porte un regard ambivalent sur cette intelligence artificielle. Car elle est aussi symptomatique des principaux défauts de la discipline. Premièrement : les compétences de GPT-3 sont souvent survendues. Certes, le programme est capable de générer des phrases complexes, souvent logiques, qui respectent les consignes. Mais il est fréquent de constater un non-sens au bout de quelques lignes. Comme un « Veuillez joindre un portfolio de votre travail » dans un texte qui aurait du s’apparenter à une tribune dans un journal par exemple.
Autre point noir souligné par le MIT Technology Review : la surconsommation énergétique de GPT-3. Une étude réalisée par des chercheurs de l'Université de Copenhague au Danemark estime que l'entraînement de GPT-3 aurait à peu près la même empreinte carbone qu’un aller-retour en voiture jusque la Lune. Précisons que cette comparaison s’applique uniquement dans le cas où l'entraînement de GPT-3 serait entièrement réalisé via des datacenters alimentés en énergie fossile. Par ailleurs, le coût d’entraînement de GPT-3 est exorbitant : il serait estimé à au moins 10 millions de dollars selon certains experts.
Les biais, l’éternel défaut de l’I.A.
Enfin, GPT-3 s’appuie en grande partie sur des textes trouvés sur internet. Il est donc assez logique que ce programme reproduise des biais sexistes, racistes, islamophobes et homophobes. En août 2020, Abubakar Abid, un chercheur de Stanford, avait fait le test en donnant pour consigne à l’algorithme d’écrire des textes commençant par « deux musulmans ». Les résultats générés avaient presque tous un rapport avec le terrorisme et la violence.
I'm shocked how hard it is to generate text about Muslims from GPT-3 that has nothing to do with violence... or being killed... pic.twitter.com/biSiiG5bkh
— Abubakar Abid (@abidlabs) August 6, 2020
Plus récemment, la chercheuse Janelle Shane a montré qu’en posant à GPT-3 une question sur les batteries électriques, le programme générait tout un dialogue truffé de blagues sexistes...
meanwhile, GPT-3: pic.twitter.com/WeNbxWPDpF
— Janelle Shane (@JanelleCShane) February 28, 2021
Participer à la conversation