Le 8 mars dernier, les débats sur la loi relative aux Jeux Olympiques et Paralympiques de 2024 ont débuté en commission des lois à l’Assemblée nationale. Ce texte s’apprête, via son article 7, à amorcer la légalisation de la surveillance biométrique, en commençant par la vidéosurveillance algorithmique (VSA). Cette technologie, basée sur des algorithmes d’intelligence artificielle, est très complexe. Pour nous assurer que les députés soient en mesure de mener ces débats, d’en comprendre les enjeux techniques ainsi que la dangerosité de l’usage de la biométrie, La Quadrature du Net a envoyé à l’ensemble des parlementaires une note fournie et a organisé des sessions d’appel aux députés.
Le résultat a été stupéfiant : à peine une semaine avant le vote en commission, aucun député n’était réellement informé sur le sujet. Ces derniers justifient leur manque d’investissement sur le sujet en pointant du doigt un agenda législatif très chargé. D’autres assument ne pas s’intéresser au sujet et suivre l’avis des responsables du dossier au sein de leur parti. Alors qu’il s’agit de la légalisation d’une des technologies les plus graves de la dernière décennie, de l’acceptation en creux d’une société de surveillance, les députés sont aux abonnés absents.
Sans surprise donc, le jour des débats en commission, très peu de députés ont pris la parole sur le sujet. À coté de celles et ceux de droite ou d’extrême droite ne jurant que par la sécurité et la protection qui seraient inhérentes à la VSA, les élus de la majorité ont été totalement silencieux et n’ont quasiment pas pris la parole (les groupes Horizons et Renaissance n’ont déposé que quelques amendements). Plus effrayant encore, les quelques députés censés être chargés du sujet ont fait étalage de connaissances très approximatives sur les technologies utilisées par la VSA et ont énoncé nombre d’absurdités avec une grande assurance.
Le champion de cette catégorie est sans aucun doute Philippe Latombe, député Modem, fraîchement nommé à la CNIL et autoproclamé spécialiste de la VSA, alors même que ses liens avec l’industrie sont plus que visibles. Ce dernier assumait en effet pousser pour la légalisation de VSA au salon Expo Protection en novembre 2022, durant lequel il a d’ailleurs été qualifié de « coéquipier » par Sébastien Garnault, représentant du lobby CyberTaskForce. Il a également rencontré le lobby de la vidéosurveillance AN2V dont le président Dominique Legrand regrette que l’impasse ait été faite, dans le texte de loi, sur « la détection des anomalies sonores […] telles qu’un coup de feu ou un bris de vitre. ». Qu’il se console, Philippe Latombe est là pour proposer un amendement sur la surveillance sonore !
De manière générale, le passage en revue des interventions des députés démontre leurs véritables intentions politiques pro-business sécuritaire, mais révèle qu’une fois de plus les parlementaires ne savent pas ce qu’ils votent.
Les jeux de données
Une des incohérences les plus grossières avancées en commission a été de laisser penser qu’en maîtrisant les données fournies aux systèmes d’IA pour apprendre à reconnaître les prétendus comportements « suspects », on pourrait empêcher toute mauvaise utilisation ou « biais » de ces algorithmes. Cette affirmation révèle une compréhension très lacunaire de l’impact de l’usage des données captées dans l’espace public.
• Le caractère « biaisé » de certains jeux de données
La question de la construction du jeu de données — sa représentativité en terme de diversité de genre, d’ethnie, d’âge, etc. — est devenue incontournable. Le cas du logiciel COMPAS, utilisé par certaines juridictions américaines et dont l’objectif était de détecter les possibilités de récidive en fonction des éléments d’un dossier policier, a popularisé les dérives de l’automatisation de la prise de décision. Le programme avait appris sur un jeu de données qui embarquait les décisions racistes du dispositif de police américain concerné, et avait déduit qu’une des caractéristiques principales liée à la récidive était la couleur de peau. On peut trouver d’autres exemples plus récents en parcourant la AI Incident Database.
Le problème est souvent présenté de cette manière : « Lorsque l’on recueille des données et que l’on recherche des corrélations entre elles, on peut aboutir à des résultats orientés si dans le jeu de données, une corrélation est surreprésentée ». On qualifie alors souvent de « biaisé » le jeu de données de départ et l’algorithme ainsi entraîné à partir de ces données. Cette qualification sous-entend qu’il serait possible d’avoir un algorithme neutre, fournissant une analyse objective de la réalité. En fait, si l’on reprend l’exemple de COMPAS, ce n’est pas un « biais », une erreur, qui a conduit à l’automatisation de décisions racistes de la part de l’algorithme, mais bel est bien le fait que les données réelles à partir desquelles on entraîne les machines sont des données produites par des humains et donc teintées d’opinions et portant en leur sein toutes les oppressions existant dans la société. Présenter le problème comme un « biais », c’est penser que le problème est technique alors qu’il s’agit d’un problème politique. C’est aussi reproduire le vain idéal d’une technique neutre, qui n’existe pas : toute technique est formatée par ses conditions de production, et par l’intention de ses auteurs.
La VSA, c’est la surveillance des espaces publics. Dans ces lieux il y a une surreprésentation des personnes précaires et marginalisées par rapport à la population globale, il y a aussi plus d’hommes, moins de personnes très jeunes ou très âgées. Cette surreprésentation se retrouve donc aussi dans les flux vidéo issus de la surveillance de ces espaces. Peut-on pour autant dire que les jeux de données issus de ces captations sont « biaisés » ? Non, cet état de fait n’est pas la conséquence d’une erreur de constitution d’un jeu de données mais bien de la décision politique, ciblée et discriminatoire, de vouloir renforcer la répression précisément dans ces espaces.
Plutôt que de confronter la réalité politique du choix des lieux d’implantation et des populations visées, les défenseurs du texte se cachent derrière des réponses techniques inopérantes relatives à de prétendus « biais ». Par exemple, Philippe Latombe explique :
«Le vrai souci sur l’IA c’est de s’assurer qu’il n’y a pas de biais. Il y a une façon assez simple qui est celle prévue par la CNIL notamment, c’est de dire « on vous donne des jeux de données, on sait exactement ce qu’il y a dans ces jeux de données, on sait ce qu’on doit attendre comme résultat positif mais aussi ce qu’il ne faut pas que nous ayons comme résultat négatif », et dans ces cas là on saura si le traitement est loyal ou pas loyal, s’il y a des biais ou s’il y a pas de biais.(…) Il faut des jeux de données standardisées.»
Pour résoudre ce soi-disant problème, il demande à ce que l’État fournisse lui-même des jeux de données aux entreprises, persuadé que cela permettrait de « pouvoir vérifier justement que les algorithmes n’ont pas de biais » et qu’avoir un laboratoire public [comme le NIST] permettrait de « prouver que l’algorithme il est loyal, il n’y a pas de biais, que les biais sont maîtrisés et qu’il n’y a pas de discrimination » (à écouter ici et là).
M. Latombe manie l’argument du recours à l’État comme figure d’autorité rassurante, faisant mine d’oublier que le droit à la sûreté individuelle est précisément censé protéger aussi contre l’arbitraire de l’État.
Il est rejoint sur ce point par le rapporteur Guillaume Vuilletet, qui explique que « le fait de fournir des données à un algorithme pour le nourrir, faire en sorte qu’il apprenne et qu’il évite les biais est consubstantiel de la démarche algorithmique ». Mais en réalité, cela signifie d’ouvrir l’accès aux images des caméras publiques à des entreprises privées pour qu’elles puissent utiliser les vidéos des personnes dans la rue, désignées cobayes involontaires, pour alimenter généreusement leurs logiciels. Une manne de données gratuites mises au profit d’entreprises privées.
La discrimination des populations imposée par la VSA n’est pas circonscrite à la seule sélection des jeux de données. En réalité, les conséquences les plus problématiques résultent davantage des fonctionnalités qui sont développées dans les logiciels et qui visent précisément les publics les plus vulnérables. Si le simple fait d’augmenter la répression dans les espaces publics est déjà discriminatoire, le fait que la VSA ait pour but de repérer les personnes allongées (personnes sans abri), les regroupements de personnes (personnes n’ayant accès qu’à des espaces publics pour se retrouver) tout en qualifiant ouvertement tous ces comportements de « suspects » est encore plus discriminatoire et problématique. Sans parler de l’atteinte potentielle aux droits fondamentaux de réunion, d’expression et de manifestation sur la voie publique. Cette question très inquiétante de la qualification des « comportements suspects » n’a cependant pas été développée lors des discussions en commission, alors qu’il s’agit d’un des problèmes majeurs de cette loi.
• Les usages possibles d’un jeu de données particulier
Plusieurs fois au cours des débats, les députés ont sous-entendu que les algorithmes n’étaient utiles que dans un cadre similaire à celui dans lequel ils ont été entraînés. Le rapporteur du texte, Guillaume Vuilletet lui-même, dit par exemple :
«La réalité c’est que c’est parfaitement borné. Les fournisseurs ne pourront pas revendre ailleurs ce qu’ils ont fait avec des cas d’usage. Ce que nous expérimentons ce sont des cas d’usage. Comme les JO ne reviendront pas à Paris avant un siècle, avant qu’on ait la configuration géographique et périmétrique du stade de France ou d’un autre site, ça ne veut rien dire.»
Le but est de minimiser le danger de la VSA et de prétendre que les algorithmes ne fonctionnent pas de manière générale mais seulement dans un contexte donné, parce que leur apprentissage s’est déroulé dans un contexte et pour un usage déterminé. Ceci est totalement faux. En réalité, les algorithmes entraînés sur les images des JO pourront tout à fait être utilisés à l’avenir pour surveiller les foules dans un contexte différent (une manifestation, par exemple). Encore pire, ces algorithmes développés par des entreprises privées utilisant la population comme cobaye pourront parfaitement être revendus, par la suite, à d’autres pays. Idémia, société française et leader du marché international de la reconnaissance faciale, pourra continuer à vendre ses algorithmes à la Chine.
On comprend qu’il importe peu que les données d’entraînement soient supprimées, ou propres à un contexte particulier : le résultat auquel elles ont permis d’aboutir sera conservé et pourra servir à une multitude d’applications qui peuvent être différentes du contexte premier de l’expérimentation.
Ce qui a de la valeur et qui sert à des usages futurs, ce sont la quantité de données utilisées et le modèle entraîné qui en résulte.
Est-ce par stratégie ou par méconnaissance que le rapporteur du texte affirme de telles absurdités ? Que ce soit l’une ou l’autre de ces explications, nous avons de grandes raisons de nous inquiéter de laisser l’avenir de la surveillance biométrique entre ses mains.
La fausse neutralité de l’automatisation
Ce qui ressort également des interventions des défenseurs de la VSA, c’est une croyance aveugle en la neutralité des outils techniques et en leur potentialité à résoudre facilement les problèmes politiques auxquels ces mêmes défenseurs seraient censés se confronter.
À entendre les députés, l’IA serait une forme de baguette magique statistique qui permettrait de révéler des corrélations invisibles pour l’humain et de détecter, comme par miracle, les signes précurseurs de mouvements de foule ou d’attentats terroristes. Cela relève du fantasme : toute la conception de l’algorithme est guidée du début à la fin par l’humain et implique un ensemble de prises de décisions techniques et politiques.
Outre le choix du jeu de données évoqué plus haut, dont on a vu qu’il influençait considérablement les décisions prises par l’algorithme, on trouve dans le processus d’élaboration d’un logiciel de VSA d’autres étapes qui orientent la décision finale et imposent à leurs concepteurs de faire des choix qui resteront inscrits dans le logiciel.
L’entraînement du modèle, c’est à dire le moment où les données sont fournies à l’algorithme pour qu’il établisse des corrélations et converge vers un état final satisfaisant, est également très important. On peut voir ce processus comme le calibrage de boutons à tourner : en fonction de la position des boutons, les différentes données de l’images sont pondérées différemment dans la décision d’activer, ou non, la détection. Ces boutons sont tournés de façon automatique par l’algorithme, mais le concepteur avance « à l’aveugle » : il favorise un résultat conforme à son attente, mais sans qu’il sache avec quels critères l’algorithme est arrivé à ce résultat. Si, pour rechercher une personne « suspecte », la combinaison finale de boutons tournés aboutit à ce que l’algorithme trouve plus efficace de repérer les personnes en survêtement, ou encore les personnes de telle couleur de peau, le concepteur ne saura même pas que c’est cette information qui est décisive pour l’algorithme. Il connaîtra juste la pondération que l’algorithme a faite et choisira d’opter pour cette configuration de paramètres car c’est celle-ci qui rend ce dernier le plus efficace.
Il y a donc trois moments décisifs dans la conception de l’algorithme qui vont orienter sa décision finale (et déclencher une intervention de la police) :
– Le choix de la finalité du logiciel de VSA : autrement dit, la définition du comportement suspect (point totalement évacué par les députés lors des débats),
– Le choix du jeu de données et la manière dont il est labellisé (on en parle juste au dessus),
– Et enfin cette étape de pondération d’usage de telle ou telle caractéristique (faite à l’aveugle, sans moyen de savoir si la donnée en question est sensible).
Difficile donc, quand on connaît le fonctionnement de cette technologie de prétendre qu’elle est neutre, tant son élaboration impose de faire des choix, des choix ayant des conséquences politiques importantes.
Ainsi, lorsque Philippe Gosselin (député LR, ex membre de la CNIL, et corapporteur avec Philippe Latombe d’une mission d’information sur la vidéosurveillance) dit : « L’algorithme n’est évidemment qu’un « outil » qui ne doit pas être confondu avec une « intrusion dans la vie privée » », il s’insère exactement dans ce discours visant à prétendre que les logiciels de VSA seraient « neutres ». Il escamote la question du pouvoir conféré à L’État et à la police par la technologie, et efface en quelques secondes les sombres traces de la surveillance dans l’Histoire moderne.
Fonctionnement des algorithmes
Tout au long des discussions, les députés ont tenté des explications techniques, parfois agrémentées de mots savants, sans que cela suffise à cacher leur manque de maîtrise du sujet. Voici notre podium.
Médaille de bronze
La médaille de bronze revient au multimédaillé et favori dans sa catégorie, Philippe Latombe, qui manipule les notions juridiques d’obligation de moyens et d’obligation de résultat sans que l’on comprenne vraiment où il veut en venir. Ce qu’on comprend surtout c’est qu’il estime impossible d’évaluer techniquement la VSA et qu’il faudrait absolument l’« expérimenter » pour garantir la sécurité lors des JO. Cela, sans jamais prévoir la manière dont on évaluera l’impact réel de telles technologies de surveillance de masse, alors même que l’on a jamais eu de retour sur les résultats sur les tests réalisés depuis des années sur la VSA. .
La vision assistée par ordinateur nécessite d’avoir recours au deep learning, ou « apprentissage profond », car les flux vidéo contiennent de grandes quantités de variables impliquant de très nombreux calculs. Une simple image HD compte plus de 2 millions de pixels : il n’est pas imaginable que toutes les dimensions que nécessite son analyse soit chapeautées par un humain.
Les calculs que nécessite l’analyse de telles images sont effectués dans différentes couches de réseaux de neurones. Chaque couche a un rôle précis et permet de pondérer l’algorithme pour lui faire adopter différents comportements. Certains algorithmes comportent de si nombreuses couches que leur fonctionnement est opaque, y compris pour les data scientists qui les manipulent, souvent à tâtons, sans pourvoir dire pourquoi tel réglage fonctionne mieux que tel autre : on se retrouve face à un divorce entre, d’un côté l’intention du programmeur et ses a priori, et de l’autre ce que la machine produit effectivement comme programme. Les ingénieurs ne peuvent avoir la main que sur la correction des erreurs du résultat (est-ce bien une personne qui court ?) et non sur la manière dont le résultat est obtenu (comment l’algorithme a déduit qu’il s’agissait d’une personne qui court).
Regarder les résultats d’un algorithme ne permet donc ni une vision claire de son fonctionnement et des décisions (aux conséquences politiques) qui l’ont conduit au résultat final, ni de savoir tout ce que l’IA n’a pas réussi à reconnaître.
Ainsi, quand Philippe Latombe bafouille « Dans le cas d’un système d’intelligence artificielle reposant sur un apprentissage, il est très compliqué de valider sur le plan technique la notion d’obligation de résultat. On valide éventuellement un logiciel ou un traitement algorithmique au départ, mais en fonction de l’apprentissage, ils peuvent évoluer. (…) il faut assumer le fait qu’il soit impossible de recourir à un algorithme s’il a évolué et ne répond plus entièrement aux conditions de départ. », pensant briller en mêlant jargon juridique et technique, il ne fait que démontrer qu’il n’est pas en mesure de mettre en place des garde-fous juridiques pour encadrer la surveillance biométrique (et pour cause, ce n’est pas possible tant le deep learning est une technologie opaque) ni même de garantir une quelconque efficacité. Bien essayé.
Médaille d’argent
À la deuxième place du podium, on trouve le rapporteur Guillaume Vuilletet qui, pour refuser l’ouverture et la transparence des algorithmes, explique : « S’il y a bien quelque chose qui peut servir aux terroristes c’est d’avoir le code et de comment le contourner (…) donner les codes des algorithmes, les rendre publics, c’est donner les outils à tous ceux qui voudraient pirater les algorithmes et voudraient les détourner. »
Car c’est bien connu : les terroristes, si facilement détectables avec une caméra et un bon logiciel, pourraient changer leur attitude pour laisser croire qu’ils ne sont pas terroristes. Car avant tout, le terroriste est fourbe.
Oui, c’est de l’ironie, mais c’est le député qui a commencé en nous prenant pour des buses.
Il n’est pas le seul, les députés ont à plusieurs reprises mentionné l’idée « d’ouvrir le code » pour dire à quel point il ne fallait surtout pas le faire.
Concernant les logiciels de VSA, il y a plusieurs choses qui peuvent être rendue accessibles :
– les données d’entraînement : en pratique, nombre de ces jeux de données sont déjà accessibles, sous des licences autorisant plus moins d’usages. Parmi eux, beaucoup sont utilisés de manières illégales et comportent, par exemple, des images récupérées sans consentement sur les réseaux sociaux.
– les algorithmes utilisés : il en existe de nombreux et eux aussi sont très fréquemment opensource
– le paramétrage de ces algorithmes : c’est la partie qui est développée par les entreprises de VSA et comme on l’a dit plus tôt qui détermine les décisions politiques.
Donc la question de la transparence des algorithmes n’est jamais posée correctement car elle est multiple. Surtout, cette problématique de l’ouverture du code efface la question de l’interdiction même de cette technologie. Plutôt que de chercher à rendre la surveillance biométrique plus transparente, autant se contenter de ne pas la légaliser.
Petite mention spéciale à Philippe Latombe, qui déclare « Donc ne commencez pas à dire « suspicion généralisée », ca va forcément être avec des biais, il faut ouvrir le code. Désolé mais vous demandez à Google d’ouvrir le code, le lendemain il vaudra plus rien, vous n’aurez pas les expertises pour pouvoir le faire. Y a des vrais sujets de praticité des choses.»
On comprend qu’il n’a aucune notion de ces éléments. Par exemple, Google n’a rien à perdre à rendre ses méthodes d’apprentissage publiques, elles sont déjà open sources pour la plupart (notamment la bibliothèque TensorFlow utilisée dans le monde entier) et la croyance que la mise à disposition d’un code lui enlève sa valeur est particulièrement datée. Les députés démontrent ainsi ne rien connaître à l’économie de l’opensource, qui est très importante dans le développement de l’intelligence artificielle (OpenAI, par exemple, a publié le modèle GPT2 qui est derrière ChatGPT) et n’abordent jamais le véritable sujet qui serait d’être plus transparent sur les pratiques policières pour lutter contre celles qui sont les plus discriminantes.
Médaille d’or
Enfin, la médaille d’or est attribuée à Philippe Latombe (encore lui, quel champion !), pour avoir expliqué – ici et là – que les traitements de la VSA ne sont que des « traitements vectoriels », car : « Les images sont transformées en vecteur et en points». Ainsi, la foule ne serait qu’une agrégation de points attribués à des personnes. Et pour les bagages abandonnés ? C’est très simple :
«On associe une personne que l’on transforme en un vecteur mathématique à un objet qui lui n’est pas un vecteur, et on voit si ça bouge et si il y a un écartement entre les deux. Cet écartement permet simplement d’éviter qu’il y ait un bagage abandonné sur le quai de la SNCF.»
On le connaît bien cet enfumage ! On vous en parlait il y a deux semaines lorsqu’on analysait les stratégies des entreprises pour donner à la VSA une image acceptable. À entendre les promoteurs de la VSA, on donne une définition mathématique des données biométriques et hop ! Magie ! Il n’y a plus de biométrie. « Ce n’est pas une image d’une personne, c’est juste une suite de nombres ! Et ça, ce n’est pas un micro, c’est un capteur de vibration de l’air ! ». Bientôt on aura droit à « Non ce n’est pas de l’ADN, c’est juste une macromolécule définie par une suite de bases nucléiques, rien de biométrique ! ».
Oui, une image est faite de pixels, qui restent des nombres, et oui on peut modéliser ce qui y est représenté avec des vecteurs. Une image avec des personnes majoritairement Noires, si on la modélise mathématiquement avec des vecteurs par exemple, « contiendra » l’information qu’une majorité des personnes sont Noires. Le prétendu « passage en vecteur » n’empêche absolument pas au programme de reconnaître une démarche, des vêtements ou une couleur de peau, de conserver cette information, de lui donner un poids et de prendre des décisions en fonction de ces variables. Au contraire, c’est grâce à ce traitement que l’on peut exploiter plus facilement les données biométriques.
Une fois encore, M. Latombe — par ignorance ou délibérément ? — tente de minimiser la qualification biométrique de cette surveillance, qui est pourtant indiscutable. La reconnaissance de comportements suspects implique nécessairement l’analyse du corps humain, de sa démarche, de ses attributs physiques et de ses mouvements, pour l’individualiser et le reconnaître. Il sera ainsi possible de reconnaître que telle personne présente sur telle zone est la même que celle visible sur une autre caméra, par exemple en raison de sa démarche. Le suivi et l’identification biométrique (c’est-à-dire la capacité à dire qu’il s’agit de la même personne d’après ses caractéristiques physiques, quand bien même on ne connaît pas son nom) sont explicitement rendus possibles par l’utilisation de cette nouvelle technologie, et c’est l’un des dangers prégnants qu’elle fait peser sur le droit à l’anonymat.
Malheureusement, comme un certain nombre de ses collègues, le député Thomas Rudigoz (Renaissance) prétend que « ce traitement algorithmique exclut tout traitement biométrique. Ce que l’on recherche c’est à identifier les mouvements de foule, les densifications de personne à un endroit particulier, identifier des zones interdites qui seraient occupées par telle ou telle personne, des colis suspects et aucunement une reconnaissance faciale ou biométrique ».
Nous l’avons déjà répété plusieurs fois : la VSA met en œuvre des traitements de données biométriques. Les associations européennes ont récemment alerté les députés sur ce point et il est totalement faux de prétendre l’inverse. L’industrie a usé de stratégies de communication pour modifier le sens de ce mot et le cantonner à la reconnaissance faciale (nous avons décortiqué cette manœuvre ici). Il est désolant de voir une grande partie des députés se laisser mener en bateau par cette rhétorique sans sourciller.
Conclusion
Les débats en commission des lois ont montré que les députés de la majorité ne maîtrisent ni les enjeux techniques ni les dangers politiques des technologies de vidéosurveillance automatisée. À aucun moment la question de la définition politique et morale de la notion de « comportement suspect » n’a été sérieusement abordée, ni les problématiques du rapport de la population à la sécurité dans l’espace public — qui passe par bien d’autres solutions que la surveillance et la répression. La croyance que la « protection » ne peut être atteinte que par l’installation de dispositifs de surveillance est tellement ancrée dans l’imaginaire des gouvernants qu’ils ne savent même plus déceler les pouvoirs à limiter et les abus à prévenir.
De nouveau la dépolitisation des questions collectives, voulue par le marché de la sécurité et alimentée par les politiques univoques de ces dernières décennies qui mettent systématiquement le sentiment d’insécurité au centre du débat public, a achevé d’enterrer tout débat constructif, les parlementaires ne faisant même plus semblant de maîtriser l’objet de leurs lois.
Les débats commencent lundi prochain en séance. Il est urgent de mettre les députés face à leurs contradictions pour les convaincre de voter contre cet article 7. Rendez-vous sur notre page de campagne pour voir comment les contacter et refuser ensemble la surveillance biométrique !