Tout dépend de la tâche que l’on effectue selon une étude du cabinet BCG et de la Harvard Business School. Conclusion : mieux vaut bien connaître la frontière entre ce que les intelligences artificielles savent faire ou non.
La flemme de bien formuler un mail ? Demandez donc à ChatGPT. Pas le temps de lire cet article ? Il va vous le résumer (bon, en insérant quelques bêtises au passage). Pas envie d’écrire ce compte rendu ? Panne d’inspiration ? Il est aussi là pour donner ses idées. Au bureau, le chatbot capable de produire un texte à partir d’une simple instruction est devenu en l’espace de quelques mois un allié au quotidien pour certains salariés. Mais son utilisation améliore-t-elle vraiment la qualité du travail ? C’est la question à laquelle tente de répondre une étude du cabinet de conseil BCG, menée en collaboration avec des chercheurs de l’université d'Harvard et dont les premières conclusions ont été publiées le 16 septembre. Leur réponse grosso modo : concernant le métier de consultant, l’utilisation de l’IA améliore la qualité du travail si les missions demandées correspondent à son savoir-faire. Dans le cas contraire, son « aide » est au contraire plutôt délétère.
Les chercheurs ont demandé à 758 consultants de réaliser 18 types de tâches classiques de leur métier pour lesquelles les IA auraient des facilités : trouver de nouvelles idées de produits, choisir la meilleure d'entre elles, proposer des noms, écrire un communiqué de presse... Ils leur ont aussi soumis une tâche plus complexe, a priori moins à leur portée – orienter un client dans sa stratégie de distribution à partir de données chiffrées et de comptes rendus d’entretiens. Pour chacune des tâches, une partie des consultants s'est exécutée seule, une autre s'est aidée de GPT-4 (le grand modèle de langage derrière ChatGPT), puis une troisième s'est aidée de GPT-4 en ayant reçu une formation au préalable. Les auteurs ont également demandé à GPT-4 seul de réaliser ces tâches.
Une frontière mouvante entre ce que l’IA sait faire ou ne pas faire
Ce que révèle l’étude c’est que les résultats varient selon le type de travail effectué. « Cela signifie qu’il est important d'identifier de ce que l’IA sait faire et ce qu'elle ne sait pas faire, pour identifier jusqu’où on peut l’utiliser, sachant que cette frontière est mouvante », précise François Candelon, directeur associé senior au BCG et coauteur de l’étude.
Sur les 18 premières tâches (trouver des idées de produits, un nom etc.), l'humain augmenté de l’IA s’avère meilleur que l’humain seul. Les résultats ne laissent pas de place au doute. Les groupes aidés des IA étaient nettement plus productifs. Ils ont accompli en moyenne 12,2 % de tâches en plus et ont terminé les tâches 25,1 % plus rapidement. Et la qualité de leurs résultats a été jugée 40 % supérieure à celle du groupe sans IA, expliquent les chercheurs en préambule de l’étude. Notons que la qualité des réponses données par les participants a été évaluée par des consultants, mais aussi par GPT-4. Et ces deux jurés donnaient des scores similaires, ce qui est une information en soi, note Ethan Mollick, co-auteur de l'étude. Ce professeur à l'Université de Wharton, spécialiste de l'innovation, tient la newsletter One Useful Thing, très suivi dans le milieu de la tech. À noter également : les gains de performances sont davantage visibles pour les consultants moins bons (avant le travail d’enquête, tous ont été soumis à un test de compétence). Ces derniers ont vu leur score augmenter de 42 % avec l’aide de l’IA, contre 17 % pour les consultants les meilleurs.
Des idées plus approfondies mais moins variées
L’une des idées reçues que semble casser, ou du moins relativiser, cette étude, c’est l’importance de bien savoir prompter, c’est-à-dire de trouver les bons mots pour générer un meilleur texte. Rappelons que cette compétence est aujourd’hui souvent citée comme un nouveau prérequis dans le monde du travail. Des formations fleurissent pour maîtriser l’art du prompt. Et le poste d’ingénieur prompt peut parfois être payé plusieurs centaines de milliers d’euros par mois. Toutefois, dans le cadre de cette expérimentation, les performances de ceux ayant été formés au prompt n'étaient pas significativement meilleures que le groupe sans formation. De plus, l’étude montre que plus les participants modifiaient les contenus produits par l’IA, moins leurs réponses étaient bonnes. « Cela montre que la valeur ajoutée de l’humain n’est pas forcément d’améliorer ce que fait l’IA – puisqu’il n’y parvient pas forcément. Mais en revanche, il peut se concentrer à faire complètement autre chose en parallèle », note François Candelon. En bref : se tenir informé de ce que sont capables de faire ou ne pas faire les programmes d’IA peut s’avérer plus utile que d’apprendre à prompter lors d’une formation one shot.
Par ailleurs, l’étude apporte une nuance importante. Si ChatGPT parvient à trouver des idées plus approfondies, et donc jugées meilleures, la diversité de celles-ci est moins importante que celles imaginées par des humain seuls. « Cela pose des questions sur la composition des équipes. Peut-être qu’il faudrait une équipe qui travaille sur la diversité des idées, une autre qui se concentre à améliorer ses performances avec l’IA... »
Les humains peuvent se laisser influencer par le robot, parfois pour le pire
Sur le deuxième type de tâche, qui consistait à résoudre un problème plus complexe (aider un PDG d’entreprise à affiner sa stratégie), les réponses de l’humain aidé de l’IA se sont avérées moins bonnes que celles des humains seuls. Le groupe sans IA donnait une réponse évaluée correcte dans plus de 80 % des cas, contre 60 à 70 % pour les groupes utilisant l’IA. « L’humain se fait tromper par la capacité de persuasion de l’intelligence artificielle. C’est peut-être lié au fait que plus vous l’utilisez, plus vous avez l’impression de maîtriser l’outil et plus vous baissez la garde », estime François Candelon. Un peu comme un copilote qui se laisse complètement guider par son acolyte, même si celui-ci le mène dans la mauvaise direction.
Les chercheurs notent autre chose d’intéressant, « qu’il faudrait confirmer par des études plus poussées », précise François Candelon. « Ceux qui utilisent ChatGPT de manière extensive depuis six mois étaient moins bons et créatifs que ceux qu’ils l’utilisent moins. »
Centaures et cyborgs
Toutefois, certains consultants participant à l’étude ne tombent pas dans ces écueils. Les auteurs parlent de ces profils comme de « centaures » et de « cyborgs ». Les centaures désignent les consultants capables de bien distinguer ce qu’ils sont capables de faire, versus ce que les IA sont capables de faire. Quant aux cyborgs, eux, utilisent l’IA à chaque étape de la tâche donnée, et mènent un dialogue constant avec la machine pour affiner les résultats qu’elle produit. Le point commun de ces deux profils : bien connaître les atouts et les faiblesses du programme informatique qu’ils utilisent.
Cette étude sera approfondie par la suite – de quoi infirmer ou confirmer des pistes intéressantes, à savoir : les effets néfastes d'une utilisation quotidienne et extensive du chatbot sur notre créativité.
Participer à la conversation