Il est temps de stopper ces « entrepreneurs disrupteurs et qui se rêvent instantanément riches »

Après la disruption... Il est urgent de mettre de l’éthique dans la tech ! C’est le propos de l’essai américain System Error publié par trois professeurs de Stanford. Interview de Mehran Sahami, l’un de ses auteurs.

Mehran Sahami n'a rien d'un technophobe. Rien d'un militant non plus. Il est l’un des inventeurs de la technologie de filtrage du spam. Longtemps chercheur associé chez Google puis chez Microsoft, il enseigne désormais l’informatique, l’intelligence artificielle et l’éthique à Stanford University. Il est l’auteur – avec ses collègues Rob Reich et Jeremy Weinstein – de System Error, Where big tech went wrong and how we can reboot. Référence déjà saluée par le monde, cet essai propose une analyse implacable des méfaits des Big Tech, tout autant qu’une réflexion profonde sur les moyens d’y remédier. Samahi et ses deux co-auteurs* constatent comment la plupart de leurs étudiants portent désormais aux nues les « entrepreneurs disrupteurs et qui se rêvent instantanément riches » façon Mark Zuckerberg ou Elon Musk. Ils rappellent comment les pionniers du Web et informaticiens de la première génération se bâtirent pour un réseau libre, ouvert aux autres, une certaine forme de contre-culture, remplacée aujourd’hui par une logique du profit, de l’optimisation et de l’efficacité à tout prix. Entretien.

Quel est cet « état d’esprit d’optimisation » (« optimisation mindset ») qui caractérise selon vous aujourd’hui la Silicon Valley ?

MEHRAN SAHAMI : C’est une tournure d’esprit qui consiste à vouloir tout rendre aussi efficace que possible. Lorsque vous faites cela, vous portez sans vous en rendre compte un jugement de valeur sur ce que vous essayez de rendre efficace. Lorsque vous vous focalisez sur l’optimisation ou la maximisation d’une invention, vous oubliez ce que ce projet peut impliquer pour la société, ses conséquences directes ou indirectes, ou même sa raison d’être. Prenez une application comme Signal. Signal vous dit : « nous allons créer pour vous un cryptage de bout en bout ». Pour rendre cela aussi efficace et rentable que possible, l’application ne propose aucune limite à l’anonymat qu’elle propose à ses clients. Le revers de la médaille, c’est qu’elle donne ainsi une plateforme à des gens qui peuvent se révéler être des trafiquants d’êtres humains ou des terroristes. Nous devons comprendre qu’il y a d’autres valeurs en jeu dans les usages et pratiques des nouvelles technologies, des valeurs comme la dignité humaine, la sécurité nationale. C’est ce que j’enseigne à mes étudiants, dans mes cours d’éthique.

Selon une étude récente, 65 % des consommateurs souhaitent désormais que les entreprises et PDG prennent position sur les questions sociales. Pensez-vous que le comportement des entreprises de la tech’ soit en train de changer ? 

M. S. : Dans une certaine mesure, oui, car les consommateurs veulent en effet que les entreprises agissent de manière plus éthique ; le problème est de savoir dans quelle mesure elles le font réellement. Il est difficile d’imaginer qu’une entreprise décide d’un changement qui aurait un impact trop négatif sur ses revenus, quand bien même elle risque de perdre une partie de ses consommateurs. Si vous regardez Facebook, ils ont eu au trimestre dernier la première diminution de leur nombre d’utilisateurs de leur histoire. C’est une indication de l’insatisfaction des consommateurs, mais il est peu probable à mon avis que cette entreprise change radicalement ses façons de faire pour autant.

Précisément, il y a une différence entre ce que Facebook dit et fait, comme plusieurs lanceurs d’alerte l’ont révélé.

M. S. : Il est difficile de savoir ce que ces entreprises font réellement, leur modus operandi repose sur l’opacité. Impossible de savoir comment certaines optimisations sont effectuées dans l’entreprise, comment leur fil d’actualité fonctionne, par exemple, pour déterminer quels types d’articles apparaissent sur le compte de quelqu’un. Un de mes collègues du département de Droit à Stanford a élaboré une proposition de loi visant à rendre certaines de ces données plus accessibles aux chercheurs : nous pourrions ainsi mieux savoir ce qu’ils font.

Facebook affirme avoir embauché de nombreux chercheurs et universitaires, afin de rendre ses pratiques plus éthiques.

M. S. : La question est de savoir quels sont les objectifs qui sont donnés à ces chercheurs, qui n’ont pas l’indépendance de la recherche universitaire, désintéressée (NDLR : une enquête des Échos montre même comment Facebook bloque les comptes de chercheurs travaillant sur la désinformation).

Vous appelez de vos vœux à une « nouvelle ère de responsabilité algorithmique ». Quels problèmes posent les algorithmes tels qu’ils sont conçus à l’heure actuelle ?

M. S. : Nous appelons d’abord à plus de transparence et de compréhension, mieux savoir comment les algorithmes prennent leurs décisions, quels types de données ils vont chercher pour fonctionner. Il faudrait pouvoir faire des audits, mesurer comment ils sont générés, s’ils présentent un biais par genre, appartenance à tel groupe ethnique, telle classe sociale. Il faudrait aussi avoir une législation afin d’avoir le droit de contester la décision d’un algorithme. Ce n’est pas qu’un algorithme soit intrinsèquement mauvais. Mais vous devez comprendre s’il existe des problèmes dans la façon dont ils sont utilisés, afin que ces problèmes soient atténués et que tout un chacun puisse décider en connaissance de cause, s’il est approprié ou non d’utiliser cet algorithme.

Vous décrivez un « panopticon numérique » ? 

M. S. : Vous connaissez sans doute le concept, inventé par Bentham et repris par Michel Foucault dans les années soixante avec son livre Surveiller et punir, si visionnaire quand on l’applique à notre nouvelle condition numérique (NDLR : Le panoptique est un dispositif spatial qui permet d'embrasser du regard la totalité d'un espace, et donc une surveillance continue des individus). Dès que nous utilisons l’une des nombreuses applications qui font dorénavant notre quotidien, des données sont collectées à notre sujet. Aux États-Unis, il existe un cadre de notification et de consentement qui est appelé « avis et choix » (« notice and choice » ) : la plateforme ou l’application vous précise les conditions d’utilisation, vous êtes informé de la façon dont ils utilisent vos données et si vous cliquez sur « Ok », elle collectionne toutes ces données sur vous. Si vous regardez les conditions de services, que l’écrasante majorité des gens ne lisent jamais, cela leur permet de prélever d’énormes quantités de données sur vous. L’entreprise sait tout sur vous, vos activités, vos préférences, etc. D’où cette notion de « panopticon numérique » : dès que vous agissez en ligne, vous êtes surveillé et les choses les plus personnelles à votre sujet sont connues, partagées, exploitées.

Le titre de votre livre suggère une « erreur systémique » des technologies numériques plutôt que quelques actes répréhensibles. Si le système est erroné, peut-on en créer un nouveau ? 

M. S. : Il me semble que nous le pouvons. Il faut commencer par faire connaître au grand public ces problèmes systémiques que nous venons d’évoquer ensemble, et puis passer à l’action, inventer de nouveaux garde-fous dotés de moyens, afin de résoudre ces problèmes. C’est un peu comme le système routier. Au début de l’automobile, il n’y avait pas de règles de conduite, d’où de très nombreux accidents. Des gens étaient blessés ou tués beaucoup plus souvent au volant. Alors nous avons créé tout un système de sécurité, des routes, des ralentisseurs près des écoles, etc. Un ensemble de règlements qui rendent la conduite plus sûre pour tout le monde. Si vous faites une analogie avec l’approche de la plupart des grandes entreprises de la Tech’ aujourd’hui, elles ont tendance à dire : voilà, nous sommes contre les règles, c’est à vous de décider si vous souhaitez conduire ou ne pas conduire. Ce que nous décrivons dans le livre, c’est un système qui garantisse la sécurité des utilisateurs de toutes ces technologies, comme cela s’est fait au cours de l’Histoire pour la route et les transports dans leur ensemble. Jusqu’au milieu des années 1990, nous avions aux États-Unis un « Bureau de l’évaluation de la technologie », l’OTA. L’une des recommandations que nous faisons dans le livre est que ce bureau soit recréé, structure non partisane au sein du gouvernement. Son travail consiste à évaluer l’impact des technologies, et à faire ensuite des recommandations aux législateurs en ce qui concerne les technologies. Nous avons certainement besoin de davantage d’expertise en la matière à Washington.

Votre livre a été écrit sous la présidence Trump. Quels sont les changements depuis l’arrivée de Joe Biden au pouvoir sur ces questions ? 

M. S. : La seule chose que nous voyons de différent avec cette administration, c’est sa volonté de mettre en place des règlementations. Ainsi Lina Khan, la nouvelle directrice de la Federal Trade Commission, intente un procès antitrust à Facebook, tandis que le Congrès propose la résolution H 2154, amendement à la loi afin de protéger les Américains contre les méfaits des algorithmes. Reste à voir si la loi sera votée ou non.

*Les deux co-auteurs de Mehran Sahami sont :

Rob Reich est philosophe, directeur du Center for Ethics in Society de l'Université de Stanford, co-directeur du Center on Philanthropy and Civil Society et directeur associé de son nouvel Institut pour l'intelligence artificielle centrée sur l'Homme. Il est un penseur de premier plan à l'intersection de l'éthique et de la technologie, l'auteur de Just Giving: Why Philanthropy is Failing Democracy and How It Can Do Better. Ancien enseignant de sixième année, il a remporté plusieurs prix d'enseignement à Stanford. Il a aidé à créer le mouvement mondial #GivingTuesday et préside son conseil d'administration. 

Jeremy M. Weinstein, politologue, a été nommé à Washington avec le président Obama en 2009. Membre clé de la Maison-Blanche, il a prévu comment les nouvelles technologies pourraient refaire la relation entre les gouvernements et les citoyens et a lancé l'Open Government Partnership d'Obama. Lorsque Samantha Power a été nommée ambassadrice des États-Unis auprès des Nations unies, elle a amené Jeremy à New York, d'abord en tant que chef de cabinet, puis en tant qu'adjoint. Il est retourné à Stanford en 2015 en tant que professeur de sciences politiques, où il dirige désormais Stanford Impact Labs, une initiative universitaire majeure qui associe des équipes de recherche à des leaders des secteurs public, privé et social pour s'attaquer à d'importants problèmes sociaux. Il est un auteur primé et un enseignant décoré dont l'expertise couvre la politique intérieure et la politique étrangère américaine.