Retrouvez l’ensemble de nos travaux sur l’utilisation par les administrations sociales d’algorithmes de notation sur notre page dédiée et notre Gitlab.
« Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la CAF — dans un « Message au sujet des algorithmes » à destination des 30 000 agent·es de la CAF1Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter. — a réagi à notre publication du code source de l’algorithme de notation des allocataires.
Et pourtant, devant la montée de la contestation2Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici. — s’étendant au sein des CAF elles-même car seul·es les dirigeant·es et une poignée de statisticien·nes avaient connaissance de la formule de l’algorithme –, il était possible d’espérer, a minima, une remise en question de la part de ses dirigeant·es.
Mais à l’évidence des faits, les dirigeant·es de la CAF ont préféré le déni. Cette fuite en avant a un coût car un élément de langage, quelque soit le nombre de fois où il est répété, ne se substituera jamais aux faits. À vouloir nier la réalité, c’est leur propre crédibilité, et partant celle de leur institution, que les dirigeant·es de la CAF mettent en danger.
Un problème sémantique
À peine quelques heures après la publication de notre article — et alors qu’il était possible pour chacun·e de vérifier que la valeur du score de suspicion alloué par l’algorithme augmente avec le fait d’être en situation de handicap tout en travaillant, d’avoir de faibles revenus, de bénéficier des minima sociaux ou encore d’être privé·e d’emploi — le directeur de la CAF affirmait publiquement que son algorithme n’était « pas discriminatoire ».
Devant une telle dénégation, on se demande comment le directeur de la CAF définit une politique « discriminatoire ». Voici en tout cas celle donnée par le Wiktionnaire : « Traitement défavorable de certains groupes humains via la réduction arbitraire de leurs droits et contraire au principe de l’égalité en droit. » Rappelons en outre, au cas où subsisterait un doute, qu’un contrôle est en soi un moment extrêmement difficile à vivre3Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois..
Dans le même message, il ajoutait que l’algorithme n’est pas utilisé pour « surveiller les allocataires » ou « les suspecter », mais simplement pour les « classer ». Rappelons que les deux ne sont pas contradictoires mais complémentaires. La surveillance de masse — que ce soit dans la rue, sur internet ou à la CAF — est un préalable au tri de la population.
S’agissant enfin de savoir si l’utilisation de cet algorithme a vocation à « suspecter » les allocataires ou non, nous le renvoyons aux déclarations d’un autre directeur de la CAF qui écrivait qu’il considérait les « techniques de datamining » comme « des outils de lutte contre les fraudeurs et les escrocs »4Voir DNLF info n°23, juin 2014. Disponible ici.. On soulignera aussi la contradiction entre le discours tenu par l’actuel directeur de la CAF et celui qu’il tenait quelques mois plus tôt au micro de France Info5France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici. à qui il expliquait que le refus de nous communiquer le code source de l’algorithme était justifié par le fait que la CAF doit garder « un coup d’avance » face à celles et ceux « dont le but est de frauder le système ».
Ou mathématique ?
À ces problèmes sémantiques s’ajoutent un désaccord mathématique. Le directeur de la CAF avance que l’objectif de l’algorithme serait de « détecter rapidement » des indus afin « d’éviter des remboursements postérieurs trop importants ». Ce raisonnement est un non-sens technique visant à faire croire aux personnes ciblées par l’algorithme que ce dernier… les servirait.
Or, l’algorithme a été développé pour détecter des situations présentant des indus supérieurs à un certain montant6Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.. Il est entraîné sur la base de dossiers choisis aléatoirement puis analysés par les contrôleur·ses de la CAF sur une période de deux ans, soit la durée de prescription des indus7Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude..
En d’autres termes, l’algorithme a pour seul objectif de maximiser les montants d’indus récupérables sans aucune considération pour une soi-disant détection précoce qui viserait à prévenir leur accumulation. Ainsi, présenter l’algorithme comme un outil au service de celles et ceux qui en subissent les conséquences est foncièrement trompeur.
Nier jusqu’à l’opacité
« Notre fonctionnement n’est pas opaque » ajoutait finalement le directeur de la CAF dans cette même lettre. Sachant l’énergie que nous avons dû déployer pour obtenir le moindre document relatif à la politique de contrôle de la CAF, il fallait oser.
Concernant l’algorithme lui-même, rappelons que nous avons dû batailler pendant plusieurs mois pour réussir à avoir accès au code de ce dernier. La CAF, dans des courriers que nous rendons publics avec cet article, s’est systématiquement opposée à sa publication. Elle ne l’a communiqué qu’après avoir été contredite par la Commission d’accès aux documents administratifs (CADA).
Pire, la CAF refuse systématiquement de transmettre la moindre information quant au fonctionnement de son algorithme aux allocataires faisant l’objet d’un contrôle. On pourra citer le cas d’une allocataire ayant subi un contrôle datamining que nous avons aidée à rédiger plusieurs courriers8Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.. Pendant plus de 3 ans, cette personne a multiplié les recours juridiques pour comprendre les raisons de son contrôle : saisine CADA, courrier au défenseur des droits, plainte à la CNIL… Toutes ces démarches sont restées lettres mortes.
Enfin, la CAF ne nous a toujours pas communiqué le registre complet de ses activités de traitement9Prévu par l’article 30 du RGPD. ni l’étude d’impact de l’algorithme de notation. Nous avons dû, encore une fois, saisir la CADA pour tenter d’avancer.
Lutter contre les erreurs ?
Il existe cependant une chose sur laquelle tout le monde est d’accord : si les indus se concentrent sur les plus précaires c’est parce que les aides qui leur sont versées, en particulier les minima sociaux, sont encadrées par des règles complexes qui génèrent incompréhensions et erreurs involontaires.
Le directeur de la CAF dit ainsi que si « les allocataires les plus pauvres » sont « surreprésentés parmi les risques d’erreurs » c’est en grande partie parce qu’ils reçoivent « des aides plus complexes ». Il ajoute même que la « complexité déclarative » et l’« instabilité des droits […] sape la confiance » des allocataires10Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.. On complètera en rappelant que la complexité des règles d’accès aux minima sociaux est elle-même le fruit de politiques autoritaires de « lutte contre l’assistanat »11Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. et que de nombreuses erreurs sont par ailleurs le fait de la CAF elle-même12Voir notamment cet article de La Croix..
Partant de ce constat, comment comprendre le traitement répressif réservé à celles et ceux dont tout le monde s’accorde à dire qu’elles sont victimes d’un dysfonctionnement administratif et politique ? Pourquoi choisir de déployer des moyens numériques colossaux — interconnexion de fichiers, droit de communication… — visant à réprimer celles et ceux qui ne font que subir une situation ? Comment expliquer que les dirigeant·es de la CAF encouragent une telle politique de la double peine ciblant celles et ceux qu’ils et elles sont censé·es servir ?
Ou en profiter?
Disons-le tout de suite : l’enjeu n’est pas financier. L’algorithme de datamining permet de récupérer à peine 200 millions d’euros par an sur un total d’environ 100 milliards de prestations versées par la CAF. Soit 0,2% du montant des prestations sociales. En admettant qu’aucun système ne puisse être parfait, ce montant semble dérisoire.
L’enjeu est politique. Ou plutôt d’image. Car depuis sa généralisation en 2011, l’algorithme est instrumentalisé par les dirigeant·es la CAF comme un faire-valoir de leur capacité de gestion de l’institution13Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».. L’année de son introduction, la CAF écrira que « pour sa première année, le data mining a permis une évolution importante des rendements et résultats financiers […] »14Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.. Devant l’assemblée nationale, un directeur de la CAF se félicitera que le « datamining […] fait la preuve d’une efficacité croissante » améliorant le « taux d’impact » des contrôles15Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.. Un autre écrira que l’algorithme est devenu un outil central de la « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs »16Voir DNLF info n°23, juin 2014. Disponible ici..
Efficacité, rendement, modernité : voici les maîtres-mots utilisés par les dirigeant·es de la CAF pour asseoir une politique de communication construite autour de pratiques numériques de harcèlement des plus précaires dont ils et elles récoltent les bénéfices à travers la valorisation de leur savoir-faire gestionnaire. « Vous êtes souvent cités comme le “bon élève” ou “le chef de file” [en termes de politique de contrôle] » déclarera une députée à une directrice « Maîtrise des risques » de la CAF17Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici. tandis que la cour des comptes louera l’amélioration de « l’efficicience de l’emploi des ressources affectées à la détection d’irrégularités » opérée grâce à l’algorithme18Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici..
Mis en miroir des témoignages révélant la violence de ces contrôles et des procédures de récupération d’indus, ce type de discours laisse sans voix. Comment se souvenir qu’il provient pourtant de celles et ceux en charge de l’assistance aux plus démuni·es ?
Lutter
Voilà donc la réalité politique de l’algorithme de notation de la CAF et ce pourquoi il est si compliqué pour les dirigeant·es de la CAF de l’abandonner. Cela leur demanderait d’accepter de renoncer à ce qu’il leur rapporte : soit le rendement de la misère.
Avant de conclure, nous tenons à dire à toutes et tous les employé·es de la CAF que nous savons votre engagement auprès de celles et ceux qui en ont besoin et que nous vous en remercions. Course au rendement, suivi de la moindre de vos activités, surveillance informatique, pertes de moyens humains, dépossession des outils de travail : les pratiques de contrôle numérique de la CAF et la dégradation de vos conditions de travail ont les mêmes racines. C’est pourquoi nous vous appelons à vous mobiliser à nos côtés.
Quant à nous, nous continuerons à nous mobiliser aux côtés de tous les collectifs qui luttent contre les pratiques de contrôles de la CAF, au premier rang desquels Stop Contrôles, Changer de Cap et Droits Sociaux19Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.. Nous appelons également à un questionnement plus large sur les pratiques des autres institutions sociales.
Pour nous aider, échanger, vous mobiliser, n’hésitez pas à nous écrire à algos@laquadrature.net. Notre clé publique est disponible ici.
References
↑1 | Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter. |
---|---|
↑2 | Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici. |
↑3 | Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois. |
↑4, ↑16 | Voir DNLF info n°23, juin 2014. Disponible ici. |
↑5 | France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici. |
↑6 | Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros. |
↑7 | Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude. |
↑8 | Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information. |
↑9 | Prévu par l’article 30 du RGPD. |
↑10 | Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter. |
↑11 | Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. |
↑12 | Voir notamment cet article de La Croix. |
↑13 | Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». |
↑14 | Voir le rapport annuel de lutte contre la fraude 2012 disponible ici. |
↑15 | Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici. |
↑17 | Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici. |
↑18 | Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici. |
↑19 | Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net. |