Catherine O’Neil, Ph. D de mathématiques à Harvard, effectue d’abord des recherches en géométrie algébrique arithmétique. Quittant le monde feutré de l’Université en 2007, elle travaille quatre ans dans l'industrie de la finance, dont deux pour un fonds spéculatif puis dans une société de logiciels qui évalue le risque des fonds spéculatifs et des banques. En 2011, elle travaille pour une start-up qui construit des modèles prédictifs d'achats et de clics des consommateurs. Elle est active dans le mouvement Occupy Wall Street depuis ses débuts, tient un blog^[1]. Elle écrit Weapons of Math Destruction en 2016, traduit l’année dernière en français et préfacé par Cedric Villani.

On imagine bien le parcours intellectuel de l’auteure : issue du monde académique des mathématiques théoriques, elle s’est immergée dans les mathématiques appliquées, d’abord dans la finance, au moment de la crise financière puis, effrayée par les utilisations malsaines de ses connaissances par un hedge fund (pensons aux subprimes et aux AAA décernés par les agences de notation), elle se tourne vers une entreprise de contrôle des risques qui la déçoit beaucoup. Son expérience dans des entreprises de l’internet qui visent à prévoir le comportement des consommateurs à partir de leur activité sur Internet la met en présence des « modèles » prédictifs (prévoir les clics des internautes plutôt que les mouvements de marché) avec leurs a priori. Elle se plonge dans les différents outils du même type, basés sur le big data, qui prolifèrent aux Etats-Unis et pointe le doigt sur leurs effets pervers. Elle s’engage alors dans des mouvements citoyens et publie son ouvrage qui, tout en étant complètement littéraire, est bien entendu basé sur une analyse rigoureuse.

Ce qu’est une Arme de Destruction Mathématique

Cathy O’Neil définit les Armes de Destruction Mathématiques (ADM) qui menacent la vie de chacun tout au long de sa vie. Les ADM sont des outils logiciels qui, tout en partant parfois d’une louable intention, ont des effets néfastes et réunissent les trois caractéristiques suivantes :

• opacité : les algorithmes utilisés sont un secret professionnel jalousement gardé (propriété intellectuelle), se cachant sous les prétendues complexité et neutralité des mathématiques;
• effet taille : les ADM concernent un nombre très important de personnes, pour un coût marginal très faible, caractéristique des outils d’aujourd’hui. Elles deviennent des « normes qui exercent une autorité proche de celle de la loi »;
• boucle de rétroaction néfaste (destructive feedback loop) : le modèle utilisé se base souvent sur des données historiques, ou pire sur des proxys, et n’aboutit qu’à confirmer les hypothèses initiales, voire aggrave la situation des plus démunis.

La plupart du temps, les algorithmes qui deviennent des ADM cachent leur objectif. Les logiciels de statistiques de base-ball ont clairement pour but de prévoir les scores des matchs, sont constamment alimentés et, surtout, confrontent leurs prévisions à la réalité. Le logiciel standard qu’utilise Amazon pour nous proposer d’acheter des produits que nous pourrions aimer vise clairement à accroître son chiffre d’affaires et ses profits, bénéficie de feed-backs.

Des exemples à foison

En revanche, dans de nombreux exemples que présente Cathy O’Neil, il n’en est pas de même. Elle nous fait découvrir des ADM qui parsèment la vie aux Etats-Unis. Citons-en quelques-uns.

Comment accroître l’efficacité de l’enseignement, objectif apparemment louable? Par un modèle dit de « valeur ajoutée » qui mesure en théorie l’apport d’un enseignant sur la réussite scolaire des élèves et qui conduit à se séparer des moins performants (outil IMPACT mis en place en 2009 à Washington DC^[2]). L’analyse menée par C. O’Neil révèle les nombreuses imperfections de l’algorithme et les stratégies menées par les écoles pour le contourner.

Comment intégrer une bonne Université? Le magazine US News établit chaque année un palmarès des universités américaines. Le classement est reconnu par tout le monde alors qu’il souffre de nombreux défauts (résultat aux tests d’admission, ratios étudiants/professeurs, obtention du diplôme, contribution financière des anciens élèves, appréciation des responsables des universités, pondération des différents critères, etc.). L’ADM est alors en marche : les universités mal notées n’attirent pas les meilleurs élèves, manoeuvres et tricheries (coûteuses) se développent pour progresser dans le classement.

L’auteure développe le caractère néfaste des publicités ciblées. Un « jeu » consiste, pour les universités à but lucratif, à acheter à des officines les coordonnées des personnes pouvant prétendre à un prêt d’Etat pour couvrir l’essentiel de leurs frais de scolarité. Et l’université en question peut alors bénéficier d’un financement par l’Etat d’un montant 9 fois supérieur… Dans le même ordre d’idée, signalons les sollicitations des populations dans le besoin pour bénéficier de prêts sur salaires à des taux usuraires.

Kronos est une entreprise qui exploite les tests de personnalité que passent les candidats à un emploi. Un algorithme sélectionne les « meilleurs » profils même si aucun feedback n’est effectué pour con(in)firmer si la personne retenue occupe son emploi de manière satisfaisante. Comment les personnes exclues à partir de ces tests trouveront-elles un emploi si les tests sont généralisés? Par ailleurs, trois-quarts des CV ne sont pas lus par un humain. Il faut donc que les expéditeurs adaptent leur CV à ce qui plaît à la machine… Les candidats ne sont pas sur un pied d’égalité en la matière.

Mieux vaut ne pas être noir et pauvre lors des interpellations (cf. le programme stop and frisk de prévention des délits et crimes), lors des procès, le jugement (notamment en Idaho, au Colorado) prend en compte les risques de récidive issus du modèle LSI-R basé sur des questionnaires remplis par les prisonniers sur leur environnement. Un inculpé à haut risque de récidive pourra écoper d’une peine plus longue. A sa sortie (tardive), retournant dans son quartier criminogène, la probabilité de récidive sera élevée. Ce faisant, la modélisation du récidivisme sera confirmée, en même temps que la nocivité de l’AMD (boucle de rétroaction). De facto, la justice a tendance à punir davantage les inculpés issus de milieux défavorisés.

Si on se penche sur l’attribution de prêts par les établissements financiers, on a deux modèles très distincts : d’une part, ceux qui se basent sur les finances de l’emprunteur et uniquement sur elles, modèle abondé en temps réel qui donne des résultats probants; d’autre part, des modèles qui fabriquent des e-scores à partir de données indirectes chargées de prédire la solvabilité de l’emprunteur. Parmi ces données figurent le code postal, les habitudes de navigation sur Internet, les achats antérieurs. Les offres proposées tiennent compte de données de « tribus » ressemblant au profil de l’emprunteur. En moyenne, cela fonctionne, contribuant à la popularité des algorithmes utilisés par les entreprises, mais quid des personnes qui ne se comportent pas comme leur « tribu »? Et qu’arrive-t-il lorsqu’un recruteur dispose du e-score et des données personnelles sous-jacentes des candidats^[3]? A noter que des plateformes de prêt sans intermédiaire financier fonctionnent sur la base des e-scores : cerise sur le gâteau, les banques représentent 80% des prêts accordés sur ces plateformes…

Comme pour les prêts, le secteur de l’assurance est envahi par les algorithmes. On connaît le système bonus/malus qui se base sur l’historique des sinistres dans l’assurance automobile mais les algorithmes fabriquent des e-scores qui prétendent avoir un pouvoir prédictif sur les sinistres et, par conséquent, sur la prime d’assurance à verser. Là encore, on retrouve la « tribu » dans laquelle les algorithmes cherchent à nous inclure.

Facebook est abondamment cité dans le chapitre consacré au citoyen. On connaît les publicités ciblées qui apparaissent sur votre compte Facebook, on connaît moins le fait que le fil d’actualité dépend de votre activité. Toujours la « tribu » déterminée par un algorithme opaque… On peut imaginer l’utilisation de cette possibilité… De la même manière, les moteurs de recherche comme Google peuvent modifier l’ordre des résultats de nos recherches. Notre confiance dans les algorithmes sous-jacents nous rend aveugles. Pourtant, l’actualité récente a montré le pouvoir et la nocivité de ce microciblage : Cambridge Analytica, à partir de profils Facebook, est intervenu dans la campagne électorale qui a mené D. Trump à la présidence des Etats-Unis, aidé par un système électoral qui rend les citoyens inégaux, notamment dans les swing states. On est face à un ADM : vaste échelle, opacité, aucun compte à rendre.

Quelques enseignements

Tous ces exemples trop brièvement évoqués prouvent que les algorithmes pénètrent tous les pores de notre vie. Et sans parler des algorithmes purement mercantiles qui inondent nos boîtes aux lettres électroniques, nos smartphones, dont il n’est pas toujours aisé de connaître l’origine des données qui leur permettent de nous cibler.

Retenons à ce stade que les algorithmes, qui se servent de plus en plus d’intelligence artificielle, ne sont pas neutres dans le sens où le logiciel n’est pas forcément agnostique et où il apprendrait de manière autonome, à partir des données uniquement. La configuration est différente de celle des dernières générations d’ordinateurs champions d’échecs. Souvent, un modèle sous-jacent pré-existe à l’algorithme, un peu comme lorsqu’on élaborait un modèle macroéconomique. L’algorithme l’auto-justifie et le perpétue.

Ayons également en tête que les algorithmes visent un but, pas toujours de manière transparente. Les questions posées aux prisonniers, par exemple, servent avant tout à alimenter un logiciel permettant au juge d’ajuster les peines qu’il infligera.

Le livre de Cathy O’Neil insiste beaucoup sur les dégâts causés par les données de proximité (proxy) lorsqu’on ne peut utiliser les données sources, par manque de données ou parce que c’est illégal. Selon l’adage, garbage in, garbage out. Ainsi, si l’origine ethnique est interdite d’utilisation, le code postal sera utilisé. Et on risque ainsi les faux positifs, source d’injustice, d’iniquité sur l’autel de l’efficacité.

Il est important, souligne l’auteur, d’avoir des retours d’expérience (feedbacks), de prouver l’amélioration de la situation de chacun grâce à l’utilisation de l’algorithme. Le manque de données de suivi ne fait que perpétuer le système, voire même aggrave les inégalités de traitement.

La plupart des algorithmes cherchent à nous inclure dans une tribu. Ou à plusieurs tribus, selon le domaine d’études : comportement électoral, habitudes de consommation, appartenance à une communauté religieuse, niveau de revenus, etc. Et à nous attribuer ainsi des « cases », ce qui permettra de cibler les messages au mieux, de nous cataloguer ad vitam aeternam dans le pire des cas. Et tant pis pour les cas qui n’entrent pas bien dans l’algorithme : les « points aberrants »  ne sont pas très graves lorsqu’on vise un objectif global. Les privilégiés sont pris en charge par des humains, les autres par des machines.

In fine, l’ouvrage pointe un vrai sujet politique : de nombreuses actions sont menées en ne distinguant que très peu les populations concernées. Pensons en particulier à la couverture santé. En gros, un salarié ou un retraité paie une cotisation proportionnelle à ses revenus mais très peu liée à son état de santé et à ses comportements de vie. Avec le big data, il est désormais assez facile à divers organismes de connaître les « vrais »  risques de chaque individu. Dès lors, pourquoi ne pas adapter les cotisations (ou même refuser la couverture) à ces risques? Et  imposer aux individus de « se comporter » mieux, sous peine de cotisations plus élevées?

L’auteure milite bien entendu alors pour rechercher un meilleur équilibre entre efficacité et équité et ne croit guère que le marché régule lui-même ces excès.

Quelques mesures de rééquilibrage

Comment rétablir une situation assez mal engagée dans laquelle les citoyens, pris un par un, n’ont que peu de poids, face à ces algorithmes qui régentent de plus en plus nos vies, sans que nous ne le sachions toujours, alors même que certains d’entre eux nous fournissent un service appréciable? Comment séparer le bon grain de l’ivraie?

Les principales mesures proposées par l’auteure sont (trop?) raisonnables :

• Mesurer les impacts des ADM et leurs coûts induits
• Intégrer du qualitatif dans les algorithmes
• Favoriser l’intervention humaine au lieu d’appliquer mécaniquement les recommandations/décisions de l’algorithme
• Utiliser et comprendre des données propres en amont
• Exiger que le « noté » ait accès aux données et aux conclusions de l’algorithme le concernant. On pourrait ajouter la nécessaire transparence quant au devenir des données collectées : les GAFA sont somme toute peu égratignés dans l’ouvrage et sont pourtant les détenteurs des plus grandes bases de données actuellement disponibles. Sait-on vraiment ce qu’ils en font, au-delà de l’aspect mercantile de leur propre activité?
• Auditer les algorithmes par des organismes indépendants ou par les utilisateurs eux-mêmes, c’est-à-dire les rendre transparents, autoriser à aller étudier les codes, repérer les a priori, les objectifs de l’algorithme. Eventuellement les abandonner suite à l’audit.

Ces deux dernières propositions sont sans doute les plus importantes : il s’agit a minima d’obliger l’ouverture de la boîte noire. Une mesure plus radicale pourrait d’ailleurs être de soumettre l’algorithme à autorisation préalable : après tout, il s’agit d’un produit hautement sensible qui s’assimile à la mise sur le marché d’un nouveau médicament, à l’implantation d’une usine polluante ou à la création d’un nouvel établissement financier, activités soumises qui plus est à une réglementation. L’algorithme ne serait-il pas un « bien commun »?

En outre, Cathy O’Neil appelle de ses voeux une sorte de serment d’Hippocrate pour les personnes chargées de mettre en place les algorithmes. D’ailleurs, à l’instar de plusieurs professions, la déontologie est-elle enseignée dans les établissements qui forment les data scientists?

* « Algorithmes, La bombe à retardement », Editions Les arènes

---

^[1] https://mathbabe.org

^[2] Le modèle de « valeur ajoutée » utilisé en France est très différent, ne serait-ce que parce que c’est l’établissement scolaire qui est mesuré et non pas les enseignants. Cf. http://www.education.gouv.fr/cid3014/les-indicateurs-de-resultats-des-lycees.html

^[3] La Chine est en train d’instaurer un e-score sur le comportement social de sa population…