À Washington, 29 algorithmes gèrent la vie des habitants à leur insu

L’organisation américaine EPIC a enquêté plusieurs mois sur les systèmes automatisés d’aide à la gestion de la ville de Washington. Elle en recense 29 dont l'existence échappe souvent à la connaissance des habitants. 

À Washington, un algorithme calcule la probabilité d’un élève à être absent en cours. Un autre aide les travailleurs sociaux à décider qui a besoin d’aide en priorité pour trouver un logement. C’est aussi une ligne de code qui évalue la probabilité d’un accusé à récidiver ou non selon 43 critères dont son casier judiciaire, sa consommation de drogue, et ses informations sociodémographiques. Un autre système automatique alerte les policiers en cas d’activités suspectes dans la ville, détectées par les caméras de surveillance. 

Surveillés, filmés et évalués

Et les habitants ont rarement conscience de la mise en place de ces systèmes. C’est ce que révèle un rapport de l’association Electronic Privacy Information Center (EPIC) publié fin septembre et relayé par Wired. « Les habitants de Washington sont surveillés, filmés et évalués chaque jour », écrivent les auteurs du rapport. 

Après 14 mois d’enquête, l’organisation a identifié 29 algorithmes assistant les employés d’une vingtaine de départements administratifs de la capitale américaine. Plus d’un tiers sert au département judiciaire, souligne Wired. Il ne s’agit que de la partie émergée de l’iceberg puisque comme le précise le rapport, de nombreuses demandes d’EPIC pour obtenir des informations quant aux algorithmes utilisés sont restées sans réponse. 

Des algorithmes qui désavantagent la population noire 

La ville de Washington a été choisie par l’association car une grande communauté noire y habite. Or, les algorithmes judiciaires et administratifs ont tendance à défavoriser cette communauté, explique l’organisation dans son rapport. EPIC a notamment remarqué que les caméras de surveillance étaient par exemple placées de manière disproportionnée dans des quartiers où une importante population noire vivait. 

L’algorithme judiciaire qui prédit la propension d’un accusé à récidiver serait lui aussi biaisé. Notamment parce que les résidents noirs ont tendance à être plus facilement arrêtés que les résidents blancs, pointe le rapport. À D.C., ils ont été arrêtés pour des infractions liées aux opioïdes près de sept fois plus souvent que les résidents blancs entre 2017 et 2022. Or selon une étude citée par EPIC, les infractions liées à la drogue aux États-Unis sont commises à des taux à peu près égaux entre personnes de différentes couleurs de peau. Les taux d'infraction peuvent être similaires, mais les taux d'arrestation et d'incarcération ne le sont pas. Et donc l’algorithme en s’appuyant sur les incarcérations passées reproduit ce biais. 

En France, les algorithmes décident aussi 

Les États-Unis ne sont pas l’unique pays concerné par ces méthodes algorithmiques opaques. Depuis 2018, l’association Eticas traque les algorithmes « à impact social » déployés par les entreprises, les villes et les États dans un répertoire en ligne mis à jour régulièrement. Il compte aujourd'hui 120 algorithmes à travers le monde dont l’action a une conséquence sur la vie sociale. On y trouve notamment Parcoursup qui trie les étudiants français ou Bosco, l'algorithme qui audite les Espagnols demandant un soutien financier.

De son côté le collectif français Technopolice créé par des membres de la Quadrature du Net recense depuis 2019 les technologies de surveillance déployées dans les villes françaises, se présentant souvent comme projets de « smart cities ». Fin septembre 2022, Technopolice déposait une plainte collective auprès de la CNIL à l’encontre de ces systèmes de surveillance, et notamment la détection automatisée de comportement comme à Marseille et Moirans.