Le vendredi 21 juin, le Conseil d’État a rendu une ordonnance de référé passée presque inaperçue concernant Veesion, la start-up française de surveillance algorithmique des « vols » en supermarchés. Bien qu’il s’agisse d’une procédure toujours en cours (l’affaire doit encore être jugée au fond), la justice administrative a conforté ce que nous soulignons depuis 3 ans : l’illégalité du logiciel conçu par la start-up de surveillance.
Autre fait passé inaperçu : la délocalisation à Madagascar d’une partie de travail de Veesion – et la possible remise en cause de l’authenticité de son algorithme.
La surveillance algorithmique, ce n’est pas que pour nos rues, villes, espaces publics. Comme les caméras, ces dispositifs de surveillance s’étendent, se normalisent et s’insinuent petit à petit dans nos quotidiens. Veesion est une start-up française qui vend un logiciel de surveillance algorithmique pour soi-disant détecter les vols en supermarché.
Concrètement, il s’agit d’installer sur les caméras des supermarchés un algorithme repérant des gestes considérés comme suspects pour détecter les « mauvaises intentions de possibles voleurs à l’étalage » (pour reprendre l’expression d’un publi-reportage de la société par le journal d’extrême-droite le JDD).
L’objectif est purement financier : promettre à ses clients (des grandes ou petites surfaces) une réduction de « plus de 60% des pertes liées au vol à l’étalage » et de sauver « 1 à 3% du chiffre d’affaires » qui leur serait subtilisé. Dans sa présentation en 2021 (sur un post Medium aujourd’hui supprimé), le créateur de Veesion allait plus loin : son logiciel devait protéger la grande distribution des troubles sociaux à venir du fait de la détresse sociale (comprendre : protéger les grandes surfaces des populations pauvres poussées au vol par la situation économique).
Le problème est double. Non seulement, Veesion se vante de faire du business sur la détresse sociale mais leur logiciel est également illégal. D’autant qu’il n’est pas certain que cet algorithme existe réellement.
Une start-up multiprimée, subventionnée… et purement illégale
La Quadrature du Net avait tiré la sonnette d’alarme dès le début : en surveillant les gestes de ses clients, la start-up analyse des données comportementales – dites biométriques – particulièrement protégées au niveau du droit français et européen. Un tel traitement est par principe interdit par l’article 9 du RGPD et l’article 6 de la loi Informatique et Libertés, et les exceptions à cette interdiction sont strictes. Or, aucune de ces conditions n’est applicable au dispositif de Veesion, qui bafoue donc cette interdiction.
Nous n’étions pas les seul·es à relever l’illégalité de Veesion : la CNIL l’avait dit (via plusieurs médias – en se fondant sur un motif d’illégalité différent), tout comme le ministère de l’intérieur. Même Veesion le savait. Bref, tout le monde savait que le logiciel développé par Veesion ne respectait pas le droit en vigueur (pour plus de détails, voir notre analyse de 2023)
Veesion n’a pourtant pas semblé être inquiétée le moins du monde. Pire encore, ces dernières années, elle attire des subventions, reçoit des prix, fait de la publicité dans les journaux, récupère des centaines de clients… Sur son site, Veesion parle même de milliers de commerçants. Un des co-fondateurs, Benoît Koenig, passe sur les plateaux de BFM, affirmant la légalité de son dispositif. En mars 2023, la start-up lève plus de 10 millions d’euros. En juin 2024, elle annonce plus de 150 salariés et plus de 8 millions de chiffre d’affaires.
Le capitalisme de surveillance n’a pas peur du droit
Après plusieurs années d’indécence, la récente ordonnance du Conseil d’Etat vient révéler que la CNIL a engagé une procédure contre Veesion en raison de l’illégalité de son logiciel. La CNIL a notamment souhaité en alerter l’ensemble de ses clients en obligeant à afficher dans les magasins concernés une information sur une telle infraction à la loi. Veesion a essayé de faire suspendre en urgence cette procédure et le Conseil d’Etat a rejeté la requête le 21 juin dernier.
Prenons les bonnes nouvelles où elles sont : c’est un petit coup d’arrêt à la vidéosurveillance algorithmique dans les supermarchés. À la veille des Jeux Olympiques, célébrations de la normalisation de l’algorithmisation de la surveillance publique, c’est un point positif à conserver.
Difficile néanmoins d’être entièrement convaincu·es.
Si nous n’avons pas accès à la décision de la CNIL, il est fort problable que celle-ci ait considéré le logiciel de Veesion illégal uniquement parce que les client·es des magasins ne peuvent pas s’opposer au traitement de leur image. Ce motif d’illégalité était déjà rappelé par la CNIL dans sa position de 2022 sur la VSA mais nous parait très limité sur le plan politique. C’est en effet une bien faible victoire qui empêche de remettre en cause le fondement même de l’algorithme et son aspect disproportionné et problématique. Non seulement la décision du Conseil d’État est une décision prise dans une procédure d’urgence (il reste à attendre la décision sur le fond de l’affaire qui arrivera dans plusieurs mois) et, de surcroît, Veesion a annoncé depuis que la CNIL avait pour l’instant suspendu sa décision en attente de nouveaux éléments de la part de l’entreprise.
Cette décision ne mettra de toute façon pas à terre plusieurs années de normalisation de ce logiciel. Personne ne demandera aux fondateurs de Veesion et à leurs associés de rembourser l’argent qu’ils ont touché sur leur business sordide. Personne ne viendra compenser les droits et libertés des personnes qui auront été espionné·es ou identifi·eés par cet algorithme. Alors même que les garde-fous contre la surveillance s’amenuisent petit à petit, les maigres barrières qui nous restent sont allégrement méprisées par ces entreprises de surveillance.
C’est d’ailleurs sans aucun doute une stratégie réfléchie, avec laquelle l’écosystème du business numérique s’accorde bien : normaliser une pratique illégale pour créer et asseoir un marché puis attendre du droit qu’il s’adapte à un état de fait, arguant de la création d’emplois et de l’innovation apportée. Lors de la consultation publique lancée par la CNIL sur le sujet en 2022, Veesion plaidait pour sa cause et expliquait à quel point cela serait un drame économique que de freiner cette technologie, sans jamais questionner ses conséquences sur les libertés.
Veesion semble être aussi passée à autre chose et cherche déjà à s’exporter aux États-Unis où le droit à la vie privée et la protection des données personnelles sont encore moins respectés. Médiatiquement, la décision du Conseil d’État ne semble aussi faire que peu de bruit – alors même que les supermarchés clients de Veesion sont nombreux, comme Carrefour, Leclerc ou BioCoop.
Délocalisation de la surveillance en supermarché à Madagascar
Un autre problème pour Veesion a été soulevé par les recherches effectuées par deux sociologues, Clément Le Ludec et Maxime Cornet, chercheurs à Télécom Paris, spécialistes sur le domaine de l’intelligence artificielle. Dans un article sur France Info passé lui-aussi relativement inaperçu (décidemment), les deux chercheurs sont revenus sur la sous-traitance à des travailleur·euses sous-payé·es dans des pays comme Magadascar par l’écosystème de l’IA. Les chercheurs s’inquiètent en particularité de la précarité de ces « travailleurs en bout de chaîne ».
L’article de France Info va plus loin : des personnes ayant été employées à Madagascar pour une société semblable à celle de Veesion disent avoir pour travail de repérer des vols en supermarchés directement sur le flux de vidéosurveillance des magasins : « Notre objectif c’est de trouver les vols. Ce sont eux qui envoient les vidéos, nous on les traite juste. En direct, en temps réel. Nous on envoie juste l’alerte et eux ils font l’arrestation des suspects ». Même si la société s’en défend, Veesion elle-même ne semble pas chercher à Madagascar des personnes pour améliorer un algorithme existant, mais au contraire pour « signaler des vols (…) dans les magasins le plus rapidement possible » ou pour « avertir le magasin d’un comportement douteux ».
En d’autres termes : il est possible que, pour une partie des clients de Veesion, il n’y ait pas vraiment d’algorithme pour repérer des comportements suspects dans un supermarché… mais seulement un·e travailleur·se précaire à l’autre bout du monde chargé·e de visionner le flux de caméra en direct et de repérer « à la main » ces gestes suspects, en imitant l’algorithme. En somme, la fable du turc mécanique.
Cela rejoint le travail des mêmes chercheurs publié en 2023 concernant une société de surveillance en supermarché non explicitement nommée mais qui ressemble beaucoup à Veesion. Clément Le Ludec et Maxime Cornet révèlent, concernant cette société, que les personnes employées à Madagascar « agissent avant tout comme des agents de sécurité à distance, détectant les vols presque en temps réel ».
À noter que Veesion s’appuie sur une double exploitation. Si une grande partie repose sur des personnes exploitées à Madagascar, les caissières et caissiers deviennent aussi des « travailleurs du clic ». Comme l’avait écrit lundimatin dans son article sur l’entreprise, le gérant du magasin conserve en effet le détail des interactions sur les écrans des employé·es, afin de vérifier leur réactivité aux alertes du logiciel : « Libre à lui alors de sommer ses employés d’être plus attentifs aux alertes de la machine en cas de non-retour de leur part ».
Il y a dans la société Veesion le concentré des dérives des start-ups sur le marché du numérique : banalisation des technologies de surveillance, non-respect affiché du droit, dépendance à de la main d’œuvre exploitée à l’autre bout du monde, et forte approximation autour de l’effectivité de son logiciel. Un tel exemple vient interroger l’effectivité du droit comme encadrement. Ces entreprises ne le respectent pas et récoltent pourtant une importante aide financière et médiatique.
Quand un cadre juridique n’est ni respecté par les entreprises concernées, ni appliqué par l’autorité qui en est responsable (ici, la CNIL agit mollement plusieurs années après la mise en œuvre du logiciel), c’est bien l’interdiction explicite de ces systèmes de surveillance qui doit primer. Alors pour agir et vous informer contre la VSA, rendez vous sur laquadrature.net/vsa ou aidez-nous si vous le pouvez en nous faisant un don.