Autoblog de la La quadrature du net

Ce site n'est pas le site officiel de la Quadrature du net.
C'est un blog automatisé qui réplique les articles de laquadrature.net

QSPTAG #305 — 22 mars 2024

Fri, 22 Mar 2024 15:25:36 +0000 - (source)

Pour mieux surveiller ses allocataires, La CAF aura dorénavant accès aux revenus des Français en temps réel

Notre travail d’enquête sur les algorithmes de contrôle social continue. Après avoir obtenu l’algorithme utilisé par la CAF pour contrôler ses allocataires en fonction d’un « score de risque », après avoir analysé cette méthode de calcul et démontré qu’elle ciblait volontairement les personnes les plus précaires, nous poursuivons nos recherches du côté des outils utilisés par d’autres services sociaux : assurance vieillesse, assurance maladie, assurance chômage, etc. Vous pouvez retrouver l’ensemble de ces travaux sur notre page de campagne.

Mais les dernières nouvelles concernant les pratiques de la CAF nous sont arrivées par la presse : tout en se défendant des mauvaises intentions que nous lui prêtions, la CAF continuait/continu ? de demander l’accès à toujours plus de données, pour mieux surveiller ses allocataires. Elle a donc obtenu récemment le droit d’accéder au fichier du Dispositif des ressources mensuelles (DRM), qui recense quotidiennement pour chaque personne l’intégralité de ses sources de revenus : les salaires perçus et les prestations sociales touchées. Créé pour faciliter le calcul des aides personnalisées pour le logement (APL), le fichier connaît donc une déviation flagrante de sa finalité première. Et l’utilisation que compte en faire la CAF n’est pas brillante : il s’agit d’améliorer la « productivité » de son algorithme de contrôle.
Les revenus des allocataires étaient jusqu’à présent connus annuellement au moment de la déclaration de revenus, ou chaque trimestre auprès des allocataires. La surveillance mensuelle des variations de revenus, en permettant une révision plus serrée des droits des allocataires, permettra sans doute de détecter de plus nombreux « trop perçus » – voilà pour la « productivité ». Et qui sont les personnes dont les revenus varient le plus, et ont le plus besoin des aides sociales ? Les plus pauvres, encore une fois.

En plus de cette discrimination automatisée, cette annonce nous paraît révéler deux problèmes : d’une part l’inefficacité du contrôle opéré par la CNIL, pourtant créée pour surveiller l’usage des fichiers, et d’autre part le dévoiement du projet gouvernemental de « solidarité à la source », annoncé comme un moyen de lutter contre le « non recours » aux aides sociales, en passe de devenir un système de centralisation des donnée pléthorique et sans contrôle.

Lire l’article : https://www.laquadrature.net/2024/03/13/notation-des-allocataires-la-caf-etend-sa-surveillance-a-lanalyse-des-revenus-en-temps-reel/

Soutenir La Quadrature en 2024

Nous sommes toujours en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers en cours, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don à La Quadrature : https://don.laquadrature.net/

Agenda

La Quadrature dans les médias

Algos de contrôle social

Surveillance

Technopolice : police prédictive

Technopolice : VSA et JO

Divers


Notation des allocataires : la CAF étend sa surveillance à l’analyse des revenus en temps réel

Wed, 13 Mar 2024 09:37:17 +0000 - (source)

Retrouvez l’ensemble de nos publications, documentations et prises de positions sur l’utilisation par les organismes sociaux – CAF, Pôle Emploi, Assurance Maladie, Assurance Vieillesse – d’algorithmes à des fins de contrôle social sur notre page dédiée et notre gitlab.

Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérement la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation1Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici., les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.

À la remise en question, les responsables de la CAF ont préféré la fuite en avant. La première étape fut un contre-feu médiatique où son directeur, Nicolas Grivel, est allé jusqu’à déclarer publiquement que la CAF n’avait ni « à rougir » ni à s’« excuser » de telles pratiques. La deuxième étape, dont nous venons de prendre connaissance2Voir l’article « L’État muscle le DRM, l’arme pour lutter contre la fraude et le non-recours aux droits » publié le 01/02/2024 par Emile Marzof et disponible ici., est bien plus inquiétante. Car parallèlement à ses déclarations, ce dernier cherchait à obtenir l’autorisation de démultiplier les capacités de surveillance de l’algorithme via l’intégration du suivi en « temps réel »3Bien que la fréquence de mise à jour des revenus soit majoritairement mensuelle, dans la mesure où les salaires sont versés une fois par mois, nous reprenons ici l’expression utilisée par la Cour des comptes. Voir le chapitre 9 du Rapport sur l’application des lois de financement de la sécurité sociale de 2022 disponible ici. des revenus de l’ensemble des allocataires. Autorisation qu’il a obtenue, avec la bénédiction de la CNIL, le 29 janvier dernier4Décret n° 2024-50 du 29 janvier 2024 disponible ici. Voir aussi la délibération n° 2023-120 du 16 novembre 2023 de la CNIL ici. Le décret prévoit une expérimentation d’un an. La surveillance des revenus est aussi autorisée pour le contrôle des agriculteurs·rices par les Mutualités Sociales Agricoles et des personnes âgées par la Caisse Nationale d’Assurance Vieillesse..

Surveillance et « productivité » des contrôles

Pour rappel, le revenu est une des quelque quarante variables utilisées par la CAF pour noter les allocataires. Comme nous l’avions montré, plus le revenu d’un·e allocataire est faible, plus son score de suspicion est élevé et plus ses risques d’être contrôlé·e sont grands. C’est donc un des paramètres contribuant directement au ciblage et à la discrimination des personnes défavorisées.

Jusqu’à présent, les informations sur les revenus des allocataires étaient soit récupérées annuellement auprès des impôts, soit collectées via les déclarations trimestrielles auprès des allocataires concerné·es (titulaires du RSA, de l’AAH…)5Voir lignes 1100 du code de l’algorithme en usage entre 2014 et 2018 disponible ici : pour le calcul des revenus mensuels, la CAF utilise soit les déclarations de revenus trimestrielles (dans le cadre des personnes au RSA/AAH) divisées par 3, soit les revenus annuels divisés par 12. Si nous ne disposons pas de la dernière version de l’algorithme, la logique devrait être la même.
. Désormais, l’algorithme de la CAF bénéficiera d’un accès en « temps réel » aux ressources financières de l’ensemble des 12 millions d’allocataires (salaires et prestations sociales).

Pour ce faire, l’algorithme de la CAF sera alimenté par une gigantesque base de données agrégeant, pour chaque personne, les déclarations salariales transmises par les employeurs ainsi que les prestations sociales versées par les organismes sociaux (retraites, chômage, RSA, AAH, APL…)6 L’architecture de la base DRM repose sur l’agrégation de deux bases de données. La première est la base des « Déclarations Sociales Nominatives » (DSN) regroupant les déclarations de salaires faites par les employeurs. La seconde, « base des autres revenus » (PASRAU), centralise les prestations sociales monétaires (retraites, APL, allocations familiales, indemnités journalières, AAH, RSA, allocations chômage..). La base DRM est mise à jour quotidiennement et consultable en temps réel. D’un point de vue pratique, il semblerait que le transfert de données de la base DRM à la CAF soit fait mensuellement. La CAF peut aussi accéder à une API pour une consultation du DRM en temps réel. Voir notamment le chapitre 9 du rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici.
 : c’est le « Dispositif des Ressources Mensuelles » (DRM). Cette base, créée en 2019 lors de mise en place de la réforme de la « contemporanéisation » des APL7Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2019 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
, est mise à jour quotidiennement, et offre des capacités inégalées de surveillance des allocataires.

La justification d’une telle extension de la surveillance à l’œuvre à des fins de notation des allocataires est d’accroître la « productivité du dispositif [de l’algorithme] » selon les propres termes des responsables de la CAF8Voir la délibération 2023-120 de la CNIL disponible ici.
. Qu’importe que se multiplient les témoignages révélant les violences subies par les plus précaires lors des contrôles9Voir notamment les témoignages collectés par le collectif Changer de Cap, disponibles ici et le rapport de la Défenseure des Droits.. Qu’importe aussi que les montants récupérés par l’algorithme soient dérisoires au regard du volume des prestations sociales versées par l’institution10Les montants d’« indus » récupérés par la CAF dans le cadre des contrôles déclenchés par l’algorithme représentent 0,2% du montant total des prestations versées par la CAF. Voir ce document de la CAF.. Les logiques gestionnaires ont fait de la course aux « rendements des contrôles » une fin en soi à laquelle tout peut être sacrifié.

Que cette autorisation soit donnée à titre « expérimental », pour une période d’un an, ne peut être de nature à nous rassurer tant on sait combien le recours aux « expérimentations » est devenu un outil de communication visant à faciliter l’acceptabilité sociale des dispositifs de contrôle numérique11Voir notamment notre article « Stratégies d’infiltration de la surveillance biométrique dans nos vies », disponible ici..

La CNIL à la dérive

La délibération de la CNIL qui acte l’autorisation accordée à la CAF de ce renforcement sans précédent des capacités de surveillance de son algorithme de notation laisse sans voix12Voir la délibération n° 2023-120 du 16 novembre 2023 disponible ici.. Loin de s’opposer au projet, ses recommandations se limitent à demander à ce qu’une attention particulière soit « accordée à la transparence » de l’algorithme et à ce que… le « gain de productivité du dispositif » fasse l’objet d’un « rapport circonstancié et chiffré ». La violation de l’intimité des plus de 30 millions de personnes vivant dans un foyer bénéficiant d’une aide de la CAF est donc ramenée à une simple question d’argent…

Nulle part n’apparaît la moindre critique politique d’un tel dispositif, alors même que cela fait plus d’un an que, aux côtés de différents collectifs et de la Défenseure des Droits, nous alertons sur les conséquences humaines désastreuses de cet algorithme. La CNIL alerte par contre la CNAF sur le risque médiatique auquelle elle s’expose en rappelant qu’un scandale autour d’un algorithme en tout point similaire a « conduit le gouvernement néerlandais à démissionner en janvier 2021 ». Une illustration caricaturale de la transformation du « gendarme des données » en simple agence de communication pour administrations désireuses de ficher la population.

On relèvera également un bref passage de la CNIL sur les « conséquences dramatiques » du risque de « décisions individuelles biaisées » conduisant l’autorité à demander à ce que l’algorithme soit « conçu avec soin ». Celui-ci démontre – au mieux – l’incompétence technique de ses membres. Rappelons que cet algorithme ne vise pas à détecter la fraude mais les indus ayant pour origine des erreurs déclaratives. Or, ces erreurs se concentrent, structurellement, sur les allocataires aux minima sociaux, en raison de la complexité des règles d’encadrement de ces prestations13Voir nos différents articles sur le sujet ici et l’article de Daniel Buchet, ancien directeur de la maîtrise des risques et de la lutte contre la fraude de la CNAF. 2006. « Du contrôle des risques à la maîtrise des risques », disponible ici.
. Le ciblage des plus précaires par l’algorithme de la CAF n’est donc pas accidentel mais nécessaire à l’atteinte de son objectif politique : assurer le « rendement des contrôles ». La seule façon d’éviter de tels « biais » est donc de s’opposer à l’usage même de l’algorithme.

Pire, la CNIL valide, dans la même délibération, l’utilisation du DRM à des fins de contrôle de nos aîné·es par l’Assurance Vieillesse (CNAV)… tout en reconnaissant que l’algorithme de la CNAV n’a jamais « fait l’objet de formalités préalables auprès d’elle, même anciennes »14Si nous n’avons pas encore la preuve certaine que la CNAV utilise un algorithme de profilage pour le contrôle des personnes à la retraite, la CNIL évoque concernant cette administration dans sa délibération « un traitement de profilage » et « un dispositif correspondant [à l’algorithme de la CNAF] » laissant sous-entendre que c’est le cas. . Soit donc qu’il est probablement illégal. Notons au passage que le rapporteur de la CNIL associé à cette délibération n’est autre que le député Philippe Latombe, dont nous avons dû signaler les manquements déontologiques auprès de la CNIL elle-même du fait de ses accointances répétées et scandaleuses avec le lobby sécuritaire numérique15Voir aussi l’article de Clément Pouré dans StreetPress, disponible ici, qui pointe par ailleurs les relations du député avec l’extrême-droite..

« Solidarité » à la source et contrôle social : un appel à discussion

Si nous ne nous attendions pas à ce que le directeur de la CAF abandonne immédiatement son algorithme de notation des allocataires, nous ne pouvons qu’être choqué·es de voir que sa seule réponse soit de renforcer considérablement ses capacités de surveillance. C’est pourquoi nous appelons, aux côtés des collectifs avec qui nous luttons depuis le début, à continuer de se mobiliser contre les pratiques numériques de contrôle des administrations sociales, au premier rang desquelles la CAF.

Au-delà du mépris exprimé par la CAF face à l’opposition grandissante aux pratiques de contrôle, cette annonce met en lumière le risque de surveillance généralisée inhérent au projet gouvernemental de « solidarité » à la source. Présenté comme la « grande mesure sociale » du quinquennat16Pour reprendre les termes de cet article du Figaro., ce projet vise à substituer au système déclaratif une automatisation du calcul des aides sociales via le pré-remplissage des déclarations nécessaires à l’accès aux prestations sociales.

Étant donné la grande complexité des règles de calculs et d’attribution de certaines prestations sociales – en particulier les minima sociaux – cette automatisation nécessite en retour que soit déployée la plus grande infrastructure numérique jamais créée à des fins de récolte, de partage et de centralisation des données personnelles de la population française (impôts, CAF, Assurance-Maladie, Pôle Emploi, CNAV, Mutualités Sociales Agricoles….). De par sa taille et sa nature, cette infrastructure pose un risque majeur en termes de surveillance et de protection de la vie privée.

Et c’est précisément à cet égard que l’autorisation donnée à la CAF d’utiliser le DRM pour nourrir son algorithme de notation des allocataires est emblématique. Car le DRM est lui-même une pierre angulaire du projet de « solidarité » à la source17Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2010 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
 – sa « première brique » selon les termes du Premier ministre – dont il constitue le socle en termes de centralisation des données financières18Sénat, commission des affaires sociales, audition de M. Gabriel Attal, alors ministre délégué chargé des comptes publics. Disponible ici.. Or, si sa constitution avait à l’époque soulevé un certain nombre d’inquiétudes19Voir notamment l’article de Jérôme Hourdeaux « Caisse d’allocations familiales : le projet du gouvernement pour ficher les allocataires » disponible (paywall) ici., le gouvernement s’était voulu rassurant. Nulle question qu’il soit utilisée à des fins de contrôle : ses finalités étaient limitées à la lutte contre le non-recours et au calcul des prestations sociales20Décret n° 2019-969 du 18 septembre 2019 relatif à des traitements de données à caractère personnel portant sur les ressources des assurés sociaux disponible ici. La délibération de la CNIL associée est disponible ici.. Cinq années auront suffit pour que ces promesses soient oubliées.

Nous reviendrons très prochainement sur la solidarité à la source dans un article dédié. Dans le même temps, nous appelons les acteurs associatifs, au premier titre desquels les collectifs de lutte contre la précarité, à la plus grande prudence quant aux promesses du gouvernement et les invitons à engager une discussion collective autour de ces enjeux.

References

References
1 Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici.
2 Voir l’article « L’État muscle le DRM, l’arme pour lutter contre la fraude et le non-recours aux droits » publié le 01/02/2024 par Emile Marzof et disponible ici.
3 Bien que la fréquence de mise à jour des revenus soit majoritairement mensuelle, dans la mesure où les salaires sont versés une fois par mois, nous reprenons ici l’expression utilisée par la Cour des comptes. Voir le chapitre 9 du Rapport sur l’application des lois de financement de la sécurité sociale de 2022 disponible ici.
4 Décret n° 2024-50 du 29 janvier 2024 disponible ici. Voir aussi la délibération n° 2023-120 du 16 novembre 2023 de la CNIL ici. Le décret prévoit une expérimentation d’un an. La surveillance des revenus est aussi autorisée pour le contrôle des agriculteurs·rices par les Mutualités Sociales Agricoles et des personnes âgées par la Caisse Nationale d’Assurance Vieillesse.
5 Voir lignes 1100 du code de l’algorithme en usage entre 2014 et 2018 disponible ici : pour le calcul des revenus mensuels, la CAF utilise soit les déclarations de revenus trimestrielles (dans le cadre des personnes au RSA/AAH) divisées par 3, soit les revenus annuels divisés par 12. Si nous ne disposons pas de la dernière version de l’algorithme, la logique devrait être la même.

6 L’architecture de la base DRM repose sur l’agrégation de deux bases de données. La première est la base des « Déclarations Sociales Nominatives » (DSN) regroupant les déclarations de salaires faites par les employeurs. La seconde, « base des autres revenus » (PASRAU), centralise les prestations sociales monétaires (retraites, APL, allocations familiales, indemnités journalières, AAH, RSA, allocations chômage..). La base DRM est mise à jour quotidiennement et consultable en temps réel. D’un point de vue pratique, il semblerait que le transfert de données de la base DRM à la CAF soit fait mensuellement. La CAF peut aussi accéder à une API pour une consultation du DRM en temps réel. Voir notamment le chapitre 9 du rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici.

7 Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2019 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.

8 Voir la délibération 2023-120 de la CNIL disponible ici.

9 Voir notamment les témoignages collectés par le collectif Changer de Cap, disponibles ici et le rapport de la Défenseure des Droits.
10 Les montants d’« indus » récupérés par la CAF dans le cadre des contrôles déclenchés par l’algorithme représentent 0,2% du montant total des prestations versées par la CAF. Voir ce document de la CAF.
11 Voir notamment notre article « Stratégies d’infiltration de la surveillance biométrique dans nos vies », disponible ici.
12 Voir la délibération n° 2023-120 du 16 novembre 2023 disponible ici.
13 Voir nos différents articles sur le sujet ici et l’article de Daniel Buchet, ancien directeur de la maîtrise des risques et de la lutte contre la fraude de la CNAF. 2006. « Du contrôle des risques à la maîtrise des risques », disponible ici.

14 Si nous n’avons pas encore la preuve certaine que la CNAV utilise un algorithme de profilage pour le contrôle des personnes à la retraite, la CNIL évoque concernant cette administration dans sa délibération « un traitement de profilage » et « un dispositif correspondant [à l’algorithme de la CNAF] » laissant sous-entendre que c’est le cas.
15 Voir aussi l’article de Clément Pouré dans StreetPress, disponible ici, qui pointe par ailleurs les relations du député avec l’extrême-droite.
16 Pour reprendre les termes de cet article du Figaro.
17 Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2010 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.

18 Sénat, commission des affaires sociales, audition de M. Gabriel Attal, alors ministre délégué chargé des comptes publics. Disponible ici.
19 Voir notamment l’article de Jérôme Hourdeaux « Caisse d’allocations familiales : le projet du gouvernement pour ficher les allocataires » disponible (paywall) ici.
20 Décret n° 2019-969 du 18 septembre 2019 relatif à des traitements de données à caractère personnel portant sur les ressources des assurés sociaux disponible ici. La délibération de la CNIL associée est disponible ici.

QSPTAG #304 — 9 février 2024

Fri, 09 Feb 2024 17:17:28 +0000 - (source)

Un nouveau fichier de police pour les immigrées et les transgenres

Un arrêté du ministre de l’Intérieur, dans les derniers jours de décembre 2023, crée un nouveau fichier pour « la consultation de l’identité des personnes ayant changé de nom ou de prénom »., à laquelle les services de police et de gendarmerie auront un accès direct. Vous êtes concernée si vous avez changé de nom à l’état civil, quelle qu’en soit la raison. Concrètement, qui va se retrouver dans ce fichier ? Des personnes dont le nom de famille était lourd à porter (les Connard qui aspirent à une vie plus apaisée), des immigrées qui ont francisé leur nom, et des personnes trans qui ont adopté un prénom en accord avec leur identité de genre. Pourquoi la police a-t-elle besoin de les rassembler dans un fichier ?

On se met à la place des administrations : il est évidement important pour elles de connaître le changement d’état civil d’un personne. Mais des procédures efficace existent déjà et de façon entièrement décentralisée : la modification est signalée au cas par cas aux administrations concernées (impôts, caisses de sécurité sociale, employeur, permis de conduire, etc.), par l’INSEE ou par la personne concernée, et le système fonctionne très bien sans fichier centralisé de police.

Les questions soulevées par la création de ce fichier sont nombreuses. D’abord, il réunit des données sensibles, au sens juridique, mais les précautions légales nécessaires pour ce genre de traitement n’ont pas été prises. La CNIL, créée en 1978 pour mettre un frein à la frénésie de fichage de l’État, semble avoir renoncé à s’en soucier. Non seulement les fichiers prolifèrent de manière spectaculaire depuis une vingtaine d’années, mais les possibilités de les croiser au moment de la consultation se sont démultipliées, à la demande d’une police dont la vision de la société n’est contre-balancée par aucun contre-pouvoir, et même vigoureusement encouragée par les gouvernements.

Or, le comportement du corps policier, pris dans sa globalité statistique, démontre une hostilité marquée à l’égard des personnes d’origine étrangère (même lointainement) et à l’égard des personnes transgenres, fréquemment objets de moqueries, d’humiliations ou de brutalités physiques. Donner aux policiers, ces humains plein de défauts, un moyen de connaître l’origine étrangère ou la transidentité de quelqu’un, c’est exposer les personnes à des risques réels, pour un bénéfice d’enquête très marginal a priori. D’autant plus quand l’actualité montre un nombre croissant d’accès illégaux à des fichiers de police sensibles.

Pour connaître le contexte de la création de ce fichier et notre analyse juridique et politique des risques qu’il comporte, lisez notre article de la semaine dernière !

Lire l’article : https://www.laquadrature.net/2024/01/30/la-france-cree-un-fichier-des-personnes-trans/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

  • 13 février 2024 : Conférence « Enquêter, s’organiser et lutter contre la surveillance numérique », dans le cadre du Festival international Filmer le travail. 17h30, Université de Poitiers (Amphi Bourdieu). Plus d’infos ici : Enquêter, s’organiser et lutter contre la surveillance numérique.
  • 14 mars 2024 : réunion mensuelle du groupe Technopolice Marseille, à 19h au Manifesten, 59 Rue Adolphe Thiers, Marseille. Présentations, discussions, préparations d’actions à venir. Venez nombreuses !

La Quadrature dans les médias

Algorithmes administratifs

Divers


La France crée un fichier des personnes trans

Tue, 30 Jan 2024 14:10:00 +0000 - (source)

Révélé et dénoncé par plusieurs associations de défense des droits des personnes transgenres, un récent arrêté ministériel autorise la création d’un fichier de recensement des changements d’état civil. Accessible par la police et présenté comme une simplification administrative, ce texte aboutit en réalité à la constitution d’un fichier plus que douteux, centralisant des données très sensibles, et propice à de nombreuses dérives. Le choix de créer un tel fichier pose d’immenses problèmes aussi bien politiquement que juridiquement.

Brève histoire du RNIPP

Comme beaucoup d’actes réglementaires pris en fin d’année, l’arrêté du 19 décembre 2023 « portant création d’un traitement automatisé de données à caractère personnel dénommé « table de correspondance des noms et prénoms » » aurait pu passer inaperçu. Il est pourtant d’une sensibilité extrême.

Avant d’en détailler le contenu, revenons rapidement sur le contexte et l’origine de ce texte. Celui-ci découle d’un autre acte réglementaire : un décret-cadre de 2019 relatif à l’utilisation du Numéro d’identification au répertoire national des personnes physiques (NIR). Le NIR, c’est ce fameux numéro « de sécurité sociale » attribué à chaque personne à sa naissance sur la base d’éléments d’état civil transmis par les mairies à l’INSEE. Bien que, dans les années 1970, le projet d’utiliser le NIR pour interconnecter des fichiers d’États ait inquiété et conduit à la création de la CNIL, il est aujourd’hui largement utilisé par les administrations fiscales, dans le domaine des prestations sociales, dans l’éducation ou encore la justice, ainsi que pour le recensement. Le NIR peut également être consulté au travers du répertoire national d’identification des personnes physiques (RNIPP).

Si, en théorie, ce numéro devrait être très encadré et contrôlé par la CNIL, son utilisation est aujourd’hui très étendue, comme le démontre ce fameux décret-cadre de 2019 qui recense la longue liste des traitements utilisant le NIR ou permettant la consultation du RNIPP. Régulièrement mis à jour pour ajouter chaque nouveau traitement lié au NIR ou RNIPP, le décret a ainsi été modifié en octobre 2023 pour autoriser une nouvelle possibilité de consultation du RNIPP lié au changement d’état civil. C’est donc cela que vient ensuite préciser l’arrêté de décembre, objet de nos critiques.

Lorsqu’on lit le décret et l’arrêté ensemble, on comprend qu’il accorde aux services de police un accès au RNIPP « pour la consultation des seules informations relatives à l’identité des personnes ayant changé de nom ou de prénom » en application du code civil, à l’exclusion du NIR, et ce « aux fins de transmission ou de mise à disposition de ces informations aux services compétents du ministère de l’intérieur et des établissements qui lui sont rattachés et de mise à jour de cette identité dans les traitements de données à caractère personnel mis en œuvre par eux ». Il s’agirait du premier accès au RNIPP accordé au ministère de l’intérieur.

Un fichier de données sensibles…

Dans ce nouveau fichier, seront ainsi enregistrées pendant six ans les données liées au changement d’état civil ayant lieu après le 19 décembre 2023 : les noms de famille antérieurs et postérieurs au changement de nom, les prénoms antérieurs et postérieurs au changement de prénom, la date et le lieu de naissance, la date du changement de nom ou de prénom, le sexe et le cas échéant, la filiation.

Ces changements ne concernent pas l’utilisation d’un nom d’usage, tel que le nom de la personne avec qui l’on est marié·e, qui est le changement le plus courant. En pratique, de telles modifications d’état civil concerneraient deux principales situations : le changement de prénom lors d’une transition de genre ou le changement de nom et/ou prénom que des personnes décident de « franciser », notamment après une obtention de papiers. Si le fichier apparaît comme un instrument de simplification administrative au premier regard, il constitue également – comme l’ont dénoncé les associations de défense des droits LGBTQI+ – un fichier recensant de fait les personnes trans et une partie des personnes immigrées.

D’un point de vue juridique, notre analyse nous conduit à estimer que ce fichier contient des données dites « sensibles », car elles révéleraient « la prétendue origine raciale ou l’origine ethnique » ainsi que « des données concernant la santé ». La Cour de justice de l’Union européenne a récemment établi1Voir l’arrêt de la CJUE, gr. ch., 1er août 2022, OT c. Vyriausioji tarnybin˙es etikos komisija, aff. C-184/20 que la définition des données sensibles devait être interprétée de façon large et considère que si des données personnelles sont susceptibles de dévoiler, même de manière indirecte, des informations sensibles concernant une personne, elles doivent être considérées comme des données sensibles. Dans cette même décision, la Cour ajoute ainsi que si les données traitées ne sont pas sensibles lorsqu’elles sont prises indépendamment mais que, par recoupement avec d’autres données (fait par le traitement ou par un tiers) elles peuvent malgré tout révéler des informations sensibles sur les personnes concernées, alors elles doivent être considérées comme étant sensibles.

C’est exactement le cas ici : les noms et prénoms ne sont pas des données sensibles, mais si une personne tierce a en parallèle l’information que ceux-ci ont été modifiés, elle peut, par recoupement, en déduire des informations sur la transidentité d’une personne (qui changerait de Julia à Félix) ou son origine (qui passerait de Fayad à Fayard pour reprendre l’exemple donné par l’État). Cette table de correspondance crée donc en réalité un traitement de données sensibles. Or celles-ci sont particulièrement protégées par la loi. L’article 6 de la loi informatique et libertés de 1978 et l’article 9 du RGPD posent une interdiction de principe de traiter ces données et prévoient un nombre limité d’exceptions l’autorisant. Pourtant, dans sa délibération sur le décret, d’ailleurs particulièrement sommaire, la CNIL ne s’est pas penchée sur cette conséquence indirecte mais prévisible de création de données sensibles. Celles-ci seraient donc traitées en dehors des règles de protection des données personnelles.

…à destination de la police

Ensuite, la raison d’être de ce fichier particulièrement sensible interroge. La finalité avancée dans l’arrêté est « la consultation de l’identité des personnes ayant changé de nom ou de prénom en application des articles 60, 61 et 61-3-1 du code civil » et « la mise à jour de cette identité dans les traitements de données à caractère personnel que [le ministre de l’intérieur] ou les établissements publics qui lui sont rattachés mettent en œuvre ». En première lecture, on pourrait imaginer qu’il s’agit de simple facilité de mise à jour administrative. Pourtant, celle-ci diffère des procédures existantes. En effet, aujourd’hui, lorsqu’une personne change de prénom et/ou de nom, la mairie ayant enregistré le changement d’état civil informe l’INSEE qui met à jour le RNIPP et prévient les organismes sociaux et fiscaux (Pôle Emploi, les impôts, la CPAM…). En parallèle, la personne concernée doit faire un certain nombre de procédures de modifications de son coté (carte d’identité, de sécurité sociale, permis de conduire…)2L’Amicale Radicale des Cafés Trans de Strasbourg a publié dans un billet de blog un récapitulatif de l’ensemble des démarches à effectuer pour changer d’état civil en France..

Aucune administration n’a donc, à aucun moment, accès à un fichier recensant les changements d’état civil puisque ces modifications sont faites de façon distribuée, soit à l’initiative de l’INSEE soit à celle de la personne concernée. Pourquoi ne pas en rester là ? La raison tient sans doute au fait qu’en réalité, ce fichier est un des instruments de surveillance de la police. La lecture des nombreux destinataires du traitement est éloquente. Il s’agit des agents habilités de la police nationale et de la gendarmerie nationale, des agents habilités des services centraux du ministère de l’Intérieur et des préfectures et sous-préfectures, des agents effectuant des enquêtes administratives (pour des emplois publics ou demandes de séjour) ou des enquêtes d’autorisation de voyage, ou encore de l’agence nationale des données de voyage, du commandement spécialisé pour la sécurité nucléaire et du conseil national des activités privées de sécurité (sécurité privée qui a de plus en plus de pouvoir depuis la loi Sécurité globale…).

On le comprend alors : cette « table de correspondance » a pour unique but d’être consultée en parallèle d’autres fichiers de police, dont le nombre a explosé depuis 20 ans (il y en aurait aujourd’hui plus d’une centaine3Le dernier décompte a été fait en 2018 dans un rapport parlementaire sur le sujet ) et dont les périmètres ne cessent de s’élargir. Ainsi, par exemple, lorsqu’un agent de police contrôle l’identité d’une personne, il ne consultera plus seulement le fichier de traitement des antécédents judiciaires (ou TAJ), mais également ce fichier des personnes ayant changé de nom : le premier lui permettra alors de connaître les antécédents de la personne, et le second de savoir si elle est trans ou étrangère.

Si les deux situations soulèvent des inquiétudes sérieuses, attardons-nous sur le cas des personnes trans. Elles seront outées de fait auprès de la police qui aurait alors connaissance de leur deadname4Le lexique du site Wiki Trans définit l’outing comme la révélation « qu’une personne est trans (ou LGBTQIA+). L’outing ne doit JAMAIS se faire sans le consentement de la personne concernée. Et cela peut être considéré, dans le code pénal, comme une atteinte à la vie privée ». Le deadname est le « prénom assigné à la naissance » et peut être source de souffrance pour une personne trans.. Or de nombreux témoignages, tels que ceux recensés chaque année par SOS Homophobie dans ses rapports sur les LGBTI-phobies, démontrent qu’il existe une réelle transphobie au sein de la police. Compte tenu de ces discriminations et des violences qui peuvent y êtres associées, fournir de telles informations à la police aura non seulement pour effet de les renforcer mais peut également mettre en danger les personnes trans confrontées à la police. Ces craintes ont été partagées sur les réseaux sociaux et laissent entendre que certain·es pourraient renoncer à entamer de telles démarches de changement d’état civil face à la peur d’être présent·es dans un tel fichier. De façon générale, les personnes trans sont historiquement et statistiquement davantage victimes de violences policières.

Par ailleurs, les informations de cette « table de correspondance » pourront venir nourrir le renseignement administratif, notamment le fichier PASP qui permet de collecter un grand nombre d’informations, aussi bien les opinions politiques que l’activité des réseaux sociaux ou l’état de santé des dizaines de milliers de personne qui y sont fichées. Alors que ces capacités de surveillance prolifèrent, sans aucun réel contrôle de la CNIL (nous avons déposé une plainte collective contre le TAJ il y a plus d’un an, toujours en cours d’instruction par l’autorité à ce jour), l’arrêté de décembre dernier offre à la police toujours plus de possibilités d’en connaître davantage sur la population et de nourrir son appétit de généralisation du fichage.

Un choix dangereux en question

Au-delà de cette motivation politique, qui s’inscrit dans une extension sans limite du fichage depuis deux décennies, il faut également critiquer les implications techniques liées à la création d’un tel fichier. En centralisant des informations, au demeurant très sensibles, l’État crée un double risque. D’une part, que ces informations dès lors trop facilement accessibles soient dévoyées et fassent l’objet de détournement et autres consultations illégales de la part de policiers, comme pour bon nombre de fichiers de police au regard du recensement récemment effectué par Mediapart.

D’autre part, du fait de la centralisation induite par la création d’un fichier, les sources de vulnérabilité et de failles de sécurité sont démultipliées par rapport à un accès décentralisé à ces informations. Avec de nombreux autres acteurs, nous formulions exactement les mêmes critiques en 2016 à l’encontre d’une architecture centralisée de données sensibles au moment de l’extension du fichier TES à l’ensemble des personnes détentrices d’une carte d’identité, cela aboutissant alors à créer un fichier qui centralise les données biométriques de la quasi-totalité de la population française.

En somme, ce décret alimente des fichiers de police déjà disproportionnés, en y ajoutant des données sensibles en dérogation du cadre légal, sans contrôle approprié de la CNIL et touche principalement les personnes trans et étrangères, facilitant par là le travail de surveillance et de répression de ces catégories de personnes déjà stigmatisées par la police.

Cette initiative n’est pas unique à la France et s’inscrit dans un mouvement global inquiétant. En Allemagne, malgré l’objectif progressiste d’une loi de 2023 sur le changement de genre déclaratif, des associations telles que le TGEU ont dénoncé le fait que les modifications d’état civil soient automatiquement transférées aux services de renseignement. Aux États-Unis, différents États ont adopté des lois discriminatoires vis-à-vis des personnes trans, forçant certaines personnes à détransitionner ou bien à quitter leur État pour éviter de perdre leurs droits. Au Texas, le procureur général républicain a essayé d’établir une liste des personnes trans à partir des données relatives aux modifications de sexe dans les permis de conduire au cours des deux dernières années.

En outre, ce décret crée pour la première fois un accès pour le ministère de l’Intérieur au RNIPP, répertoire pourtant réservé aux administrations sociales et fiscales. Or, l’expérience nous montre que toute nouvelle possibilité de surveillance créé un « effet cliquet » qui ne conduit jamais à revenir en arrière mais au contraire à étendre toujours plus les pouvoirs accordés.

Nous nous associons donc aux différentes organisations ayant critiqué la création de ce fichier stigmatisant et qui participe à l’édification d’un État policier ciblant des catégories de populations déjà en proie aux discriminations structurelles. Nous espérons qu’outre ses dangers politiques, son illégalité sera dénoncée et conduira rapidement à son abrogation.

References

References
1 Voir l’arrêt de la CJUE, gr. ch., 1er août 2022, OT c. Vyriausioji tarnybin˙es etikos komisija, aff. C-184/20
2 L’Amicale Radicale des Cafés Trans de Strasbourg a publié dans un billet de blog un récapitulatif de l’ensemble des démarches à effectuer pour changer d’état civil en France.
3 Le dernier décompte a été fait en 2018 dans un rapport parlementaire sur le sujet
4 Le lexique du site Wiki Trans définit l’outing comme la révélation « qu’une personne est trans (ou LGBTQIA+). L’outing ne doit JAMAIS se faire sans le consentement de la personne concernée. Et cela peut être considéré, dans le code pénal, comme une atteinte à la vie privée ». Le deadname est le « prénom assigné à la naissance » et peut être source de souffrance pour une personne trans.

QSPTAG #303 — 26 janvier 2024

Fri, 26 Jan 2024 15:29:26 +0000 - (source)

Comment les polices françaises utilisent les outils de « police prédictive »

Dans le cadre d’une enquête européenne coordonnée par l’ONG Fair Trials, La Quadrature du Net s’est chargée d’enquêter sur les polices françaises et publie un rapport complet sur leurs pratiques numériques de « police prédictive ». Cinq logiciels sont étudiés, utilisés par la police nationale (PredVol, RTM), la gendarmerie (PAVED) ou des polices municipales (Smart Police, M-Pulse).

La « police prédictive » est un rêve de policier : faire entrer dans un logiciel toutes les données possibles, des procès-verbaux de police, des mains courantes et des plaintes, des données fournies par les pompiers, les hôpitaux, le trafic routier, et même la météo, pour prévoir grâce à la puissance de l’intelligence artificielle (cette déesse) et des algorithmes (ses elfes), les lieux et les moments où les délinquants vont sévir. Agrégeant des montagnes de données et les passant à la moulinette de logiciels conçus dans d’autres buts plus sérieux (la prévision des tremblements de terre, par exemple), ces outils n’ont jamais démontré une efficacité supérieure à celle d’un agent expérimenté. Ils risquent en plus d’amplifier les discriminations structurelles auxquelles participe déjà l’institution policière. Cela n’a pas empêché, aux États-Unis, en Grande-Bretagne ou en France, que des sommes considérables leur soient consacrées, dans l’espoir d’affecter les effectifs de police au bon endroit au bon moment, grâce aux prophéties des logiciels.

C’est une lecture en deux temps que nous vous proposons.

D’une part le rapport en lui-même, qui présente avec beaucoup de précision les logiciels, leurs finalités, leur fonctionnement, les données qu’ils exploitent, et les conséquences pratiques qu’ils entraînent pour le travail des agents. Un document de référence sur le sujet, qui croise des informations techniques et opérationnelles, apporte des éléments historiques et met en lien ces « innovations » avec d’autres tendances qui traversent les politiques de sécurité.

D’autre part, un article introductif qui propose une synthèse thématique des présupposés qui entourent ces outils policiers (préjugés sociaux, corrélations approximatives, choix techniques arbitraires) et de leurs conséquences (automatisation et renforcement des logiques de stigmatisation sociale, géographique, etc.). Malgré leur nullité et leur nocivité démontrées, ces outils continuent d’être en usage en France. Notre article se termine donc sur un appel à témoignages : aidez-nous à faire interdire les outils de la répression policière automatisée !

Lire l’article : https://www.laquadrature.net/2024/01/18/la-police-predictive-en-france-contre-lopacite-et-les-discriminations-la-necessite-dune-interdiction/
Lire le rapport : https://www.laquadrature.net/wp-content/uploads/sites/8/2024/01/20240118_LQDN_policepredictive.pdf

Jeux olympiques : la surveillance algorithmique à l’échauffement

Légalisée par la loi Jeux Olympiques en mai 2023, l’utilisation « expérimentale » de la vidéosurveillance algorithmique (VSA) est entrée dans sa phase d’application. Les entreprises candidates pour les essais préalables ont reçu leur part du marché : chacune sait désormais dans quelle zone (il y en a 4), et dans quel secteur d’activité elles pourront déployer leurs logiciels de surveillance automatisée (enceintes sportives, espaces publics, transports, etc.).

N’ayant pas le temps ni les compétences de développer lui même ces solutions, le ministère de l’Intérieur a choisi la facilité, c’est-à-dire d’acheter sur le marché des outils déjà existants. Et sans surprise, on retrouve dans la liste des entreprises retenues tous les « suspects habituels » dont nous suivons le travail depuis plusieurs années dans notre campagne Technopolice.

Rien d’étonnant bien sûr dans le fait de confier un travail à ceux qui le font déjà depuis plusieurs années, même si c’était jusqu’alors de manière illégale. Mais c’est surtout l’entérinement d’une logique purement opérationnelle où les fantasmes policiers et la stratégie industrielle marchent main dans la main. Cet état de fait entraîne à nos yeux les plus grands dangers : la discussion politique et la prudence démocratique sont évacuées et annulées par la logique unie de l’industrie et de la police, l’une répondant aux vœux de l’autre, l’autre validant seule les propositions techniques de l’une. Le « comité de pilotage » du dispositif au sein de ministère de l’Intérieur est d’ailleurs dirigé par une haute fonctionnaire spécialiste des « industries et innovations de sécurité », et chargée de faciliter les partenariats entre la puissance publique et les entreprises privées nationales. Les citoyens et leurs droits ne sont pas invités à la table.

Les dispositifs de VSA vont donc se déployer dans les semaines qui viennent, et la période d’expérimentation durera bien au-delà des JO de Paris, jusqu’en mars 2025, lors d’évènements d’ordre « récréatif, sportif et culturel » (le délassement oui, mais sous surveillance). Un « comité d’évaluation » constitué de deux « collèges » aura son mot à dire sur les résultats de ces expériences. On n’attend rien de surprenant venant du collège des utilisateurs eux-mêmes (police et autres), et notre attention se portera sur le second collège qui doit réunir des chercheurs, des juristes et des parlementaires — nous verrons. Pour l’heure, tout est en place pour valider à l’avance le succès et la pérennisation de ces mesures exceptionnelles — « Plus vite, plus haut, plus fort ».

Vous trouverez dans l’article le détail des cas d’usage, les noms des entreprises retenues, et le détail du dispositif d’évaluation, avec ses comités et ses collèges. Bonne lecture à vous !

Lire l’article : https://www.laquadrature.net/2024/01/26/vsa-et-jeux-olympiques-coup-denvoi-pour-les-entreprises-de-surveillance/

L’Union européenne se couche devant les outils numériques de surveillance de masse

L’Union européenne travaille sur un règlement autour de l’intelligence artificielle (IA), dont le texte a été rendu public en décembre 2023. Sous la pression de plusieurs États, la France en tête, le texte se contente d’encadrer l’utilisation des techniques de surveillance biométrique de masse (SBM), qui recoupent en partie les applications de la vidéosurveillance algorithmique (VSA), au lieu de les interdire. Le continent qui se targue d’avoir enfanté les droits de l’Homme et la liberté démocratique ne trouve donc aucune raison de s’opposer à la surveillance systématique et massive des citoyens.

La reconnaissance des émotions ou des couleurs de peaux ont par exemple passé les filtres démocratiques et se retrouve autorisée par le règlement IA. De même pour la reconnaissance faciale a posteriori, d’abord réservée à des crimes graves et désormais acceptée dans bien d’autres cas, sans limites claires.

La coalition européenne Reclaim Your Face, dont fait partie La Quadrature du Net, a publié le 18 janvier un communiqué de presse en anglais et en allemand pour avertir des dangers réels et imminents qui pèsent sur l’ensemble des Européens, quelques semaines avant des élections européennes dont on dit qu’elles verront probablement les partis d’extrême-droite sortir vainqueurs. Nous publions sur notre site la version française de ce communiqué.

Lire l’article : https://www.laquadrature.net/2024/01/19/le-reglement-europeen-sur-lia-ninterdira-pas-la-surveillance-biometrique-de-masse/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

  • 27 janvier 2024 : La Quadrature sera aux 3ème Assises de l’attention, pour parler de démocratie à l’heure du numérique – de 9h à 18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.
  • 8 février 2024 : Causerie mensuelle du groupe Technopolice Marseille – à 19h00 au Manifesten, 59 Rue Adolphe Thiers Marseille. Venez nombreuses !

La Quadrature dans les médias

À écouter

Algorithmes administratifs

GAFAM et données personnelles

Divers


VSA et Jeux Olympiques : Coup d’envoi pour les entreprises de surveillance

Fri, 26 Jan 2024 12:32:00 +0000 - (source)

Après des mois d’attente, les entreprises chargées de mettre en place la vidéosurveillance algorithmique dans le cadre de la loi Jeux Olympiques ont été désignées. Sans grande surprise, il s’agit de sociétés s’étant insérées depuis plusieurs années dans le marché de cette technologie ou entretenant de bonnes relations avec l’État. Les « expérimentations » vont donc commencer très prochainement. Nous les attendons au tournant.

Un marché juteux

Rappelez-vous : le 17 mai 2023, le Conseil constitutionnel validait le cadre législatif permettant à la police d’utiliser la vidéosurveillance algorithmique (VSA) en temps réel, après plusieurs mois de bataille législative en plein mouvement des retraites. Depuis, que s’est-il passé ? Un appel d’offres a tout d’abord été publié dès l’été pour lancer la compétition entre les nombreuses entreprises qui ont fleuri ces dernières années dans le secteur. Ce marché public, accompagné de clauses techniques, décrit les exigences auxquelles devront se soumettre les entreprises proposant leurs services et, en premier lieu, les fameuses situations et comportements « suspects » que devront repérer les logiciels afin de déclencher une alerte. En effet, la loi avait été votée à l’aveugle sans qu’ils soient définis, ils ont ensuite été formalisés par un décret du 28 août 2023.

Comme nous le l’expliquons depuis longtemps1Pour une analyse plus approfondie de nos critiques sur la VSA, vous pouvez lire notre rapport de synthèse envoyé aux parlementaires l’année dernière ou regarder cette vidéo de vulgarisation des dangers de la VSA., ces comportements n’ont pour beaucoup rien de suspect mais sont des situations pour le moins banales : détection de personne au sol après une chute (attention à la marche), non-respect du sens de circulation commun par un véhicule ou une personne (attention à son sens de l’orientation), densité « trop importante » de personnes, mouvement de foule (argument répété sans cesse pendant les débats par Darmanin) mais aussi détection d’armes, de franchissement de zone, d’objets abandonnés ou de départs de feu. Le tout pour 8 millions d’euros d’acquisition aux frais du contribuable.

Sans surprise, ces huit cas d’usage pour les algorithmes commandés par l’État dans le cadre de cette expérimentation correspondent à l’état du marché que nous documentons depuis plusieurs années au travers de la campagne Technopolice. Ils correspondent aussi aux cas d’usage en apparence les moins problématiques sur le plan des libertés publiques (l’État se garde bien de vouloir identifier des personnes via la couleur de leurs vêtements ou la reconnaissance faciale, comme la police nationale le fait illégalement depuis des années). Et ils confirment au passage que cette « expérimentation » est surtout un terrain de jeu offert aux entreprises pour leur permettre de développer et tester leurs produits, en tâchant de convaincre leurs clients de leur intérêt.

Car depuis des années, la VSA prospérait à travers le pays en toute illégalité – ce que nous nous efforçons de dénoncer devant les tribunaux. Ces sociétés ont donc œuvré à faire évoluer la loi, par des stratégies de communication et d’influence auprès des institutions. Le déploiement de cette technologie ne répond à aucun besoin réellement documenté pour les JO2Si les Jeux Olympiques constituent sans aucun doute un moment « exceptionnel » au regard du nombre inédit de personnes qui seront au même moment dans la région parisienne, la surveillance n’est pas la réponse à apporter. Nous démontions l’année dernière l’idée selon laquelle les technologies sécuritaires auraient pu modifier le cours du « fiasco » de la finale de la Ligue des champions au Stade de France. Comme nous l’exposons, celle-ci n’était causée par rien d’autre qu’une mauvaise gestion stratégique du maintien de l’ordre. Pour pallier à ces défaillances humaines, auraient été utiles non pas la VSA ou la reconnaissance faciale mais un véritable savoir-faire humain de gestion de la foule, des compétences logistiques, des interlocuteurs parlant plusieurs langues….mais résulte uniquement d’une convergence d’intérêts (économiques pour le secteur, politiques pour les décideurs publics et autoritaires pour la police qui accroît toujours plus son pouvoir de contrôle), le tout enrobé d’un double opportunisme : l’exploitation du discours de promotion de l’innovation et l’instrumentalisation, comme dans bien d’autres pays hôtes avant la France, du caractère exceptionnel des Jeux olympiques pour imposer ces technologies.

Après plusieurs mois de tests et de mises en situation, retardées par le fait qu’une entreprise a contesté en justice les conditions du marché, celui-ci a donc été attribué au début du mois de janvier. Le marché est divisé en quatre lots géographiques. La start-up Wintics installera ses logiciels en Île-de-France quand Videtics se chargera de l’Outre-Mer et d’un ensemble de régions du Sud (Provence Alpes Cote d’Azur, Rhône-Alpes et Corse). Pour les autres régions de France, c’est Chapsvision qui a été désignée. Cette entreprise omniprésente dans les services de l’État et qui se veut le nouveau Palantir français, vient de racheter la start-up de VSA belge ACIC. Enfin, Wintics s’est également vu attribuer la surveillance des transports (comprenant gares et stations). Quant à Orange Business Service – en partenariat avec Ipsotek, filiale d’Atos (nouvellement Eviden), elle est également attributaire au 3e rang du lot des transports, c’est à dire mobilisable en cas de défaillance de Wintics. Du beau monde !

Une évaluation incertaine

Ces entreprises pourront ainsi mettre à disposition leurs algorithmes, bien au-delà des seuls Jeux olympiques puisque cette expérimentation concerne tout « évènement récréatif, sportif et culturel », et ce jusqu’au 31 mars 2025 soit bien après la fin des JO. Elle sera par la suite soumise à une « évaluation » présentée comme particulièrement innovante mais dont les modalités avaient en réalité été envisagées dès 2019 par Cédric O, alors secrétaire d’État au numérique, comme une manière de légitimer la reconnaissance faciale. Ces modalités ont été précisée par un second décret en date du 11 octobre 2023. Ainsi, un « comité d’évaluation » verra prochainement le jour et sera présidé par Christian Vigouroux, haut fonctionnaire passé par la section Intérieur du Conseil d’État. Le comité sera divisé en deux collèges distincts. Le premier réunira les « utilisateurs » de la VSA, c’est à dire la police, la gendarmerie, la SNCF, etc. Le second rassemblera des « personnalités qualifiées » telles que des experts techniques, des spécialistes du droit des données personnelles et des libertés publiques ou encore des parlementaires. Ils devront déterminer et mettre en œuvre un protocole d’évaluation qui ne sera rendu public qu’à la fin de l’expérimentation en mars 2025.

Mais il ne faut pas se leurrer. Au regard de l’agenda politique de ces entreprises et des autorités qui veulent, à long terme, légaliser ces outils et de façon générale toute forme de surveillance biométrique3Plusieurs rapports parlementaires préconisent déjà d’aller plus loin en généralisant le recours à la reconnaissance faciale en temps réel ou la VSA en temps différé, massivement utilisée de façon illégale dans les enquêtes judiciaires. Voir ainsi le rapport de 2022 des sénateurs Marc-Philippe Daubresse (LR), Arnaud de Belenet et Jérôme Durain (PS) sur « la reconnaissance biométrique dans l’espace public » et le rapport de 2023 des députés Philippe Latombe (Modem) et Philippe Gosselin (LR) « sur les enjeux de l’utilisation d’images de sécurité dans le domaine public dans une finalité de lutte contre l’insécurité ». Le gouvernement français s’est également ménagé d’importantes marges de manœuvre pour ce faire à travers son lobbying féroce autour du règlement IA, afin de tenir en échec toute limitation un tant soit peu significative de la surveillance biométrique des espaces publics., cette « expérimentation » pendant les Jeux olympiques doit être vue comme une simple étape vers la légitimation et la pérennisation de ces technologies. En évoquant un dispositif au caractère temporaire et réversible, ce concept d’« expérimentation », permet de rendre une technologie aussi controversée que la VSA plus facilement acceptable pour le public.

Le caractère expérimental permet également de sortir du cadre classique juridique d’examen de proportionnalité. Ainsi l’évaluation ne portera pas sur les critères habituels de nécessité vis à vis d’un objectif d’intérêt public ou de proportionnalité vis à vis des atteintes aux droits. Non, l’évaluation sera plutôt guidée par une approche pragmatique et opérationnelle. On peut imaginer que seront pris en compte le nombre de cas détectés ou le nombre d’interpellations, sans mesurer leur réelle utilité sur la sécurité en tant que politique publique globale, et ce, dans la lignée de la politique du chiffre conduite depuis des années par le Ministère de l’intérieur.

Surtout, on peine à voir comment l’État abandonnerait soudainement une technologie dans laquelle il a tant investi et à laquelle il a déjà cédé énormément de place dans les pratiques policières. Les exemples passés nous montrent que les projets sécuritaires censés être temporaires sont systématiquement prolongés, telles que les boites noires de la loi Renseignement ou les dispositions dérogatoires de l’état d’urgence.

L’issue du comité d’évaluation risque donc d’être surdéterminée par les enjeux politiques et économiques : si l’efficacité policière de ces technologies est jugée satisfaisante, on appellera à les pérenniser ; dans le cas contraire, on évoquera la nécessité de poursuivre les processus de développement afin que ces technologies parviennent à un stade de maturation plus avancé, ce qui justifiera de proroger le cadre expérimental jusqu’à ce que, in fine, elles aient fait leurs preuves et qu’on puisse alors établir un cadre juridique pérenne. À la fin, c’est toujours la police ou les industriels qui gagnent. Or, nous le répétons depuis des années : le choix qui devrait s’imposer à toute société qui se prétend démocratique est celui de l’interdiction pure et simple de ces technologies. Mais il est clair qu’en l’absence de pression citoyenne en ce sens, ni le gouvernement, ni la CNIL, ni la plupart des autres acteurs invités à se prononcer sur les suites à donner à l’expérimentation de la VSA ne voudront envisager de refermer la boîte de Pandore.

Le public au service du privé

Le décret du 11 octobre 2023 prévoit également la création d’un « comité de pilotage » au sein du ministère de l’Intérieur, chargé de la mise en œuvre de cette surveillance « expérimentale ». Celui-ci sera confié à Julie Mercier, cheffe de la direction des entreprises et partenariats de sécurité et des armes (Depsa). Cela est peu surprenant mais révélateur, une fois de plus, des réels intérêts en jeu ici. La Depsa est dotée d’un département « des industries et innovations de sécurité » qui est présenté comme devant assurer « l’interface et le dialogue avec les entreprises productrices de moyens de sécurité » ainsi que participer « à la veille technologique et industrielle » et « au contrôle des investissements étrangers en France et au suivi des entreprises à protéger prioritairement ». Ainsi, sa raison d’être est de stimuler et influencer le marché privé de la sécurité, voire d’aller prodiguer directement des conseils lors de réunions des lobbys de la surveillance. On pourrait être surpris de voir de tels objectifs et pratiques orientées vers le privé dans le fonctionnement d’un ministère régalien. Il s’agit pourtant d’une politique assumée et enclenchée il y a une dizaine d’années, et dont le paroxysme a été à ce jour la loi Sécurité globale consacrant le « continuum de sécurité » entre public et privé.

Lors du salon Mlilipol – grand-messe du marché de la sécurité et de la surveillance – qui s’est tenu en novembre dernier en région parisienne, et où les Jeux olympiques étaient à l’honneur, Julie Mercier expliquait ainsi vouloir « participer à la construction de la base industrielle et technologique de sécurité », car « les entreprises, et pas seulement les grands opérateurs, sont essentielles dans l’expression du besoin et dans la structuration de la filière ». Pour elle, le programme d’expérimentations mis en place en 2022 par le ministère de l’Intérieur dans la perspective des Jeux olympiques a permis d’enclencher une « dynamique vertueuse ». Ce mélange des genres démontre un des objectifs principaux de l’expérimentation : promouvoir le marché privé de la surveillance numérique, en l’associant étroitement aux politiques publiques.

Et maintenant ?

Les expérimentations devraient donc être mises en route dans les prochaines semaines. En théorie, la loi prévoyait une première étape de « conception » des algorithmes, qui nous inquiétait particulièrement. Dans le but de paramétrer les logiciels, elle autorisait de façon inédite le Ministère de l’intérieur à utiliser les images des caméras publiques afin d’améliorer les algorithmes. La CNIL s’est même inquiétée dans sa délibération de l’absence d’information des personnes qui, par leur présence sur une image, nourrirait des logiciels.

Sauf que du fait du retard du processus (l’État voulait initialement débuter les expérimentations lors de la coupe du monde de rugby) couplée à l’impatience des entreprises et de la police et au risque du fiasco si la VSA était en fin de compte remise sur l’étagère, le ministère de l’Intérieur s’est décidé à passer rapidement à la phase de mise en œuvre à travers l’acquisition de solutions toutes prêtes. Cependant, cela ne réduit aucunement les craintes à avoir. Si les logiciels sont censés répondre à un ensemble de critères techniques définis par la loi, l’opacité régnant sur ces technologies et l’absence de mécanisme de transparence empêche de facto de connaître la façon dont ils ont été conçus ou la nature des données utilisées pour l’apprentissage.

Après avoir été auditées et certifiées par une autorité tierce4D’après l’avis d’attribution de l’appel d’offre, il s’agira du Laboratoire National de Métrologie et d’Essais (LNE), inconnu au bataillon., ces solutions seront donc intégrées au plus vite aux infrastructures de vidéosurveillance dans les zones où les préfectures en feront la demande. Chaque autorisation fera l’objet d’un arrêté préfectoral rendu public, ce qui devrait permettre de connaître l’emplacement, la nature et la durée de la surveillance mise en place.

Nous les attendrons au tournant. L’expérimentation de la VSA ne doit pas rester invisible. Au contraire, il nous faudra collectivement documenter et scruter ces arrêtés préfectoraux afin de pouvoir s’opposer sur le terrain et rendre matérielle et concrète cette surveillance de masse que tant veulent minimiser. La voix des habitantes et habitants des villes, des festivalier·es, des spectateur·ices, de l’ensemble des personnes qui seront sous l’œil des caméras, sera cruciale pour rendre visible l’opposition populaire à ces technologies de contrôle. Dans les prochains mois, nous tâcherons de proposer des outils, des méthodes et des idées d’actions pour y parvenir et lutter, avec vous, contre l’expansion de la surveillance de masse dans nos rues et dans nos vies.

References

References
1 Pour une analyse plus approfondie de nos critiques sur la VSA, vous pouvez lire notre rapport de synthèse envoyé aux parlementaires l’année dernière ou regarder cette vidéo de vulgarisation des dangers de la VSA.
2 Si les Jeux Olympiques constituent sans aucun doute un moment « exceptionnel » au regard du nombre inédit de personnes qui seront au même moment dans la région parisienne, la surveillance n’est pas la réponse à apporter. Nous démontions l’année dernière l’idée selon laquelle les technologies sécuritaires auraient pu modifier le cours du « fiasco » de la finale de la Ligue des champions au Stade de France. Comme nous l’exposons, celle-ci n’était causée par rien d’autre qu’une mauvaise gestion stratégique du maintien de l’ordre. Pour pallier à ces défaillances humaines, auraient été utiles non pas la VSA ou la reconnaissance faciale mais un véritable savoir-faire humain de gestion de la foule, des compétences logistiques, des interlocuteurs parlant plusieurs langues….
3 Plusieurs rapports parlementaires préconisent déjà d’aller plus loin en généralisant le recours à la reconnaissance faciale en temps réel ou la VSA en temps différé, massivement utilisée de façon illégale dans les enquêtes judiciaires. Voir ainsi le rapport de 2022 des sénateurs Marc-Philippe Daubresse (LR), Arnaud de Belenet et Jérôme Durain (PS) sur « la reconnaissance biométrique dans l’espace public » et le rapport de 2023 des députés Philippe Latombe (Modem) et Philippe Gosselin (LR) « sur les enjeux de l’utilisation d’images de sécurité dans le domaine public dans une finalité de lutte contre l’insécurité ». Le gouvernement français s’est également ménagé d’importantes marges de manœuvre pour ce faire à travers son lobbying féroce autour du règlement IA, afin de tenir en échec toute limitation un tant soit peu significative de la surveillance biométrique des espaces publics.
4 D’après l’avis d’attribution de l’appel d’offre, il s’agira du Laboratoire National de Métrologie et d’Essais (LNE), inconnu au bataillon.

Le règlement européen sur l’IA n’interdira pas la surveillance biométrique de masse

Fri, 19 Jan 2024 14:56:52 +0000 - (source)

Traduction du communiqué de presse de la coalition Reclaim Your Face.

Le 8 décembre 2023, les législateurs de l’Union européenne se sont félicités d’être parvenus à un accord sur la proposition de règlement tant attendue relative l’intelligence artificielle (« règlement IA »). Les principaux parlementaires avaient alors assuré à leurs collègues qu’ils avaient réussi à inscrire de solides protections aux droits humains dans le texte, notamment en excluant la surveillance biométrique de masse (SBM).

Pourtant, malgré les annonces des décideurs européens faites alors, le règlement IA n’interdira pas la grande majorité des pratiques dangereuses liées à la surveillance biométrique de masse. Au contraire, elle définit, pour la première fois dans l’UE, des conditions d’utilisation licites de ces systèmes. Les eurodéputés  et les ministres des États membres de l’UE se prononceront sur l’acceptation de l’accord final au printemps 2024.

L’UE entre dans l’histoire – pour de mauvaises raisons

La coalition Reclaim Your Face soutient depuis longtemps que les pratiques des SBM sont sujettes aux erreurs et risquées de par leur conception, et qu’elles n’ont pas leur place dans une société démocratique. La police et les autorités publiques disposent déjà d’un grand nombre de données sur chacun d’entre nous ; elles n’ont pas besoin de pouvoir nous identifier et nous profiler en permanence, en objectifiant nos visages et nos corps sur simple pression d’un bouton.

Pourtant, malgré une position de négociation forte de la part du Parlement européen qui demandait l’interdiction de la plupart des pratiques de SBM, très peu de choses avaient survécu aux négociations du règlement relatif à l’IA. Sous la pression des représentants des forces de l’ordre, le Parlement a été contraint d’accepter des limitations particulièrement faibles autour des pratiques intrusives en matière de SBM.

L’une des rares garanties en la matière ayant apparemment survécu aux négociations – une restriction sur l’utilisation de la reconnaissance faciale a posteriori [par opposition à l’utilisation en temps réel] – a depuis été vidée de sa substance lors de discussions ultérieures dites « techniques » qui se sont tenues ces dernières semaines.

Malgré les promesses des représentants espagnols en charge des négociations, qui juraient que rien de substantiel ne changerait après le 8 décembre, cette édulcoration des protections contre la reconnaissance faciale a posteriori  est une nouvelle déception dans notre lutte contre la société de surveillance.

Quel est le contenu de l’accord ?

D’après ce que nous avons pu voir du texte final, le règlement IA est une occasion manquée de protéger les libertés publiques. Nos droits de participer à une manifestation, d’accéder à des soins de santé reproductive ou même de nous asseoir sur un banc pourraient ainsi être menacés par une surveillance biométrique omniprésente de l’espace public. Les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives.

Nous sommes également déçus de voir qu’en matière de « reconnaissance des émotions » et les pratiques de catégorisation biométrique, seuls des cas d’utilisation très limités sont interdits dans le texte final, avec d’énormes lacunes.

Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la vérité – bien que ces systèmes ne reposent sur aucune base scientifique crédible. Si elle est adoptée sous cette forme, le règlement IA légitimera une pratique qui, tout au long de l’histoire, a partie liée à l’eugénisme.

Le texte final prévoit également d’autoriser la police à classer les personnes filmées par les caméras de vidéosurveillance en fonction de leur couleur de peau. Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles discriminations comme acceptables.

Une seule chose positive était ressortie des travaux techniques menés à la suite des négociations finales du mois de décembre : l’accord entendait limiter la reconnaissance faciale publique a posteriori aux cas ayant trait à la poursuite de crimes transfrontaliers graves. Bien que la campagne « Reclaim Your Face » ait réclamé des règles encore plus strictes en la matière, cela constituait un progrès significatif par rapport à la situation actuelle, caractérisée par un recours massif à ces pratiques par les États membres de l’UE.

Il s’agissait d’une victoire pour le Parlement européen, dans un contexte où tant de largesses sont concédées à la surveillance biométrique. Or, les négociations menées ces derniers jours, sous la pression des gouvernements des États membres, ont conduit le Parlement à accepter de supprimer cette limitation aux crimes transfrontaliers graves tout en affaiblissant les garanties qui subsistent. Désormais, un vague lien avec la « menace » d’un crime pourrait suffire à justifier l’utilisation de la reconnaissance faciale rétrospective dans les espaces publics.

Il semblerait que ce soit la France qui ait mené l’offensive visant à faire passer au rouleau compresseur notre droit à être protégés contre les abus de nos données biométriques. À l’approche des Jeux olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche.

En vertu du règlement IA, nous serons donc tous coupables par défaut et mis sous surveillance algorithmique, l’UE ayant accordé un blanc-seing à la surveillance biométrique de masse. Les pays de l’UE auront ainsi carte blanche pour renforcer la surveillance de nos visages et de nos corps, ce qui créera un précédent mondial à faire froid dans le dos.


La police prédictive en France : contre l’opacité et les discriminations, la nécessité d’une interdiction

Thu, 18 Jan 2024 10:08:06 +0000 - (source)

Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.

Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :

  • RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.) ;
  • PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
  • PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
  • M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
  • Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales.

Des technologies dangereuses, sans encadrement ni évaluation

Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligence artificielle.

Corrélation n’est pas causalité

Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.

Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.

S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.

Des variables potentiellement discriminatoires

Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.

En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.

De fausses croyances criminologiques

Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.

Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».

Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.

Un risque d’auto-renforcement

La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).

En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».

La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.

De possibles abus de pouvoir

Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.

Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.

Des outils à l’efficacité douteuse

Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.

De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre1. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.

Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.

De graves lacunes dans la gestion des données

Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 20202. Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.

Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.

Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées3. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »4.

Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.

Il est urgent d’interdire la police prédictive

L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…

Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.

Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.

Nous aider

Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.

Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.

Lire le rapport complet


  1. Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ↩
  2. Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ↩
  3. Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ↩
  4. Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ↩

QSPTAG #302 — 12 janvier 2024

Fri, 12 Jan 2024 14:45:46 +0000 - (source)

Société de contrôle (1) : les outils illégaux de la surveillance municipale

Notre campagne Technopolice a déjà quatre ans, et les acteurs de l’industrie française de la surveillance sont bien identifiés. Lobby industriel, député porte-cause, discours sécuritaire dicté par la police, on connaît le paysage. Voici venu le temps de s’intéresser plus en détail aux entreprises privées qui fleurissent dans le sillage de ce marché économique considérable, où les fonds publics abondent sans discussion pour mieux nous surveiller.

Cette semaine, penchons-nous sur le cas de la société Edicia, basée à Nantes. Elle s’engraisse en fournissant à de nombreuses polices municipales françaises une « solution » baptisée Smart Police, logiciel embarqué sur terminal mobile qui permet aux agents de prendre des notes, de rédiger des rapports, et à leur supérieur resté au commissariat de mieux les manager. Nous avons obtenu le manuel d’utilisation de Smart Police, grâce auquel nous pouvons avoir une idée précise de ce que les agents municipaux peuvent faire, et des conséquences pratiques de ces nouvelles facilités opérationnelles. Une lecture édifiante : l’outil, dans sa grande variété et sa grande souplesse, permet des pratiques contraires au cadre réglementaire qui régit les polices municipales.

Fichage sans autorisation, croisement de données, photographies des personnes contrôlées : là où l’idéologie sécuritaire voit du bon sens, nous voyons des usages clairement illégaux et une victoire de facto de la surveillance systématisée. Pour en savoir plus, lisez l’article, qui s’inscrit dans une enquête sur les outils numériques de la « police prédictive » et sera suivi par d’autres publications.

Lire l’article : https://www.laquadrature.net/2024/01/10/smart-police-dedicia-le-logiciel-a-tout-faire-des-polices-municipales/

Société de contrôle (2) : la CAF défend son programme de chasse aux pauvres

Notre enquête sur les algorithmes de contrôle social n’en est encore qu’à son début, mais elle a déjà produit quelques effets : après notre analyse de son algorithme de notation des allocataires, la Caisse nationale d’allocations familiales (CNAF) est bien obligée de se justifier publiquement au sujet de ses pratiques discriminatoires.

La réponse du directeur de la CNAF, entre déni et diversion, relève de la communication de crise. Mais les faits que nous constatons dans l’analyse de l’algorithme lui-même restent irréfutables. Et derrière l’autosatisfaction de l’institution, saluée aussi par les députés de la majorité présidentielle pour son efficacité dans la chasse aux pauvres, on voit un jeu de dupes : loin d’une rentabilité réelle, et à rebours de la « fraternité » républicaine de la société avec ses membres les plus précaires, le contrôle systématique par algorithme sert l’idéologie d’une efficacité gestionnaire où le recours aux outils numériques habille de modernité des choix politiques et sociaux inégalitaires. Analyse du discours de la CNAF et réponse point par point dans notre article !

Lire l’article : https://www.laquadrature.net/2024/01/11/notation-des-allocataires-face-aux-faits-la-caf-senferme-dans-le-deni-et-la-mauvaise-foi/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

  • 13 janvier 2024 : atelier sur Internet, l’anonymat et la Technopolice, en collaboration avec la Compagnie RYBN.org – 14h-20h, à La Compagnie, 19 rue Francis de Pressensé, Marseille. Détails  : https://www.la-compagnie.org/portfolio/rybncapitalismsxit/.
  • 19 janvier 2024 : Quadrapéro parisien à partir de 19h dans nos locaux au 115 rue de Ménilmontant, 75020 Paris.
  • 25 janvier 2024 : soirée sur la vidéosurveillance algorithmique organisée par le groupe ATTAC Nord Ouest à 19h30 à la Maison des associations du 18e, 15 Passage Ramey, 75018 Paris.
  • 27 janvier 2024 : La Quadrature sera aux 3e Assises de l’Attention, pour parler de démocratie à l’heure du numérique – 9h-18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.

La Quadrature dans les médias

À écouter

Algorithmes administratifs

IA de surveillance

Interopérabilité

Fichage

Données personnelles

Divers


Notation des allocataires : face aux faits, la CAF s’enferme dans le déni et la mauvaise foi

Thu, 11 Jan 2024 09:55:04 +0000 - (source)

Retrouvez l’ensemble de nos travaux sur l’utilisation par les administrations sociales d’algorithmes de notation sur notre page dédiée et notre Gitlab.

« Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la CAF — dans un « Message au sujet des algorithmes » à destination des 30 000 agent·es de la CAF1Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter. — a réagi à notre publication du code source de l’algorithme de notation des allocataires.

Et pourtant, devant la montée de la contestation2Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici. — s’étendant au sein des CAF elles-même car seul·es les dirigeant·es et une poignée de statisticien·nes avaient connaissance de la formule de l’algorithme –, il était possible d’espérer, a minima, une remise en question de la part de ses dirigeant·es.

Mais à l’évidence des faits, les dirigeant·es de la CAF ont préféré le déni. Cette fuite en avant a un coût car un élément de langage, quelque soit le nombre de fois où il est répété, ne se substituera jamais aux faits. À vouloir nier la réalité, c’est leur propre crédibilité, et partant celle de leur institution, que les dirigeant·es de la CAF mettent en danger.

Un problème sémantique

À peine quelques heures après la publication de notre article — et alors qu’il était possible pour chacun·e de vérifier que la valeur du score de suspicion alloué par l’algorithme augmente avec le fait d’être en situation de handicap tout en travaillant, d’avoir de faibles revenus, de bénéficier des minima sociaux ou encore d’être privé·e d’emploi — le directeur de la CAF affirmait publiquement que son algorithme n’était « pas discriminatoire ».

Devant une telle dénégation, on se demande comment le directeur de la CAF définit une politique « discriminatoire ». Voici en tout cas celle donnée par le Wiktionnaire : « Traitement défavorable de certains groupes humains via la réduction arbitraire de leurs droits et contraire au principe de l’égalité en droit. » Rappelons en outre, au cas où subsisterait un doute, qu’un contrôle est en soi un moment extrêmement difficile à vivre3Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois..

Dans le même message, il ajoutait que l’algorithme n’est pas utilisé pour « surveiller les allocataires » ou « les suspecter », mais simplement pour les « classer ». Rappelons que les deux ne sont pas contradictoires mais complémentaires. La surveillance de masse — que ce soit dans la rue, sur internet ou à la CAF — est un préalable au tri de la population.

S’agissant enfin de savoir si l’utilisation de cet algorithme a vocation à « suspecter » les allocataires ou non, nous le renvoyons aux déclarations d’un autre directeur de la CAF qui écrivait qu’il considérait les « techniques de datamining » comme « des outils de lutte contre les fraudeurs et les escrocs »4Voir DNLF info n°23, juin 2014. Disponible ici.. On soulignera aussi la contradiction entre le discours tenu par l’actuel directeur de la CAF et celui qu’il tenait quelques mois plus tôt au micro de France Info5France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici. à qui il expliquait que le refus de nous communiquer le code source de l’algorithme était justifié par le fait que la CAF doit garder « un coup d’avance » face à celles et ceux « dont le but est de frauder le système ».

Ou mathématique ?

À ces problèmes sémantiques s’ajoutent un désaccord mathématique. Le directeur de la CAF avance que l’objectif de l’algorithme serait de « détecter rapidement » des indus afin « d’éviter des remboursements postérieurs trop importants ». Ce raisonnement est un non-sens technique visant à faire croire aux personnes ciblées par l’algorithme que ce dernier… les servirait.

Or, l’algorithme a été développé pour détecter des situations présentant des indus supérieurs à un certain montant6Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.. Il est entraîné sur la base de dossiers choisis aléatoirement puis analysés par les contrôleur·ses de la CAF sur une période de deux ans, soit la durée de prescription des indus7Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude..

En d’autres termes, l’algorithme a pour seul objectif de maximiser les montants d’indus récupérables sans aucune considération pour une soi-disant détection précoce qui viserait à prévenir leur accumulation. Ainsi, présenter l’algorithme comme un outil au service de celles et ceux qui en subissent les conséquences est foncièrement trompeur.

Nier jusqu’à l’opacité

« Notre fonctionnement n’est pas opaque » ajoutait finalement le directeur de la CAF dans cette même lettre. Sachant l’énergie que nous avons dû déployer pour obtenir le moindre document relatif à la politique de contrôle de la CAF, il fallait oser.

Concernant l’algorithme lui-même, rappelons que nous avons dû batailler pendant plusieurs mois pour réussir à avoir accès au code de ce dernier. La CAF, dans des courriers que nous rendons publics avec cet article, s’est systématiquement opposée à sa publication. Elle ne l’a communiqué qu’après avoir été contredite par la Commission d’accès aux documents administratifs (CADA).

Pire, la CAF refuse systématiquement de transmettre la moindre information quant au fonctionnement de son algorithme aux allocataires faisant l’objet d’un contrôle. On pourra citer le cas d’une allocataire ayant subi un contrôle datamining que nous avons aidée à rédiger plusieurs courriers8Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.. Pendant plus de 3 ans, cette personne a multiplié les recours juridiques pour comprendre les raisons de son contrôle : saisine CADA, courrier au défenseur des droits, plainte à la CNIL… Toutes ces démarches sont restées lettres mortes.

Enfin, la CAF ne nous a toujours pas communiqué le registre complet de ses activités de traitement9Prévu par l’article 30 du RGPD. ni l’étude d’impact de l’algorithme de notation. Nous avons dû, encore une fois, saisir la CADA pour tenter d’avancer.

Lutter contre les erreurs ?

Il existe cependant une chose sur laquelle tout le monde est d’accord : si les indus se concentrent sur les plus précaires c’est parce que les aides qui leur sont versées, en particulier les minima sociaux, sont encadrées par des règles complexes qui génèrent incompréhensions et erreurs involontaires.

Le directeur de la CAF dit ainsi que si « les allocataires les plus pauvres » sont « surreprésentés parmi les risques d’erreurs » c’est en grande partie parce qu’ils reçoivent « des aides plus complexes ». Il ajoute même que la « complexité déclarative » et l’« instabilité des droits […] sape la confiance » des allocataires10Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.. On complètera en rappelant que la complexité des règles d’accès aux minima sociaux est elle-même le fruit de politiques autoritaires de « lutte contre l’assistanat »11Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. et que de nombreuses erreurs sont par ailleurs le fait de la CAF elle-même12Voir notamment cet article de La Croix..

Partant de ce constat, comment comprendre le traitement répressif réservé à celles et ceux dont tout le monde s’accorde à dire qu’elles sont victimes d’un dysfonctionnement administratif et politique ? Pourquoi choisir de déployer des moyens numériques colossaux — interconnexion de fichiers, droit de communication… — visant à réprimer celles et ceux qui ne font que subir une situation ? Comment expliquer que les dirigeant·es de la CAF encouragent une telle politique de la double peine ciblant celles et ceux qu’ils et elles sont censé·es servir ?

Ou en profiter?

Disons-le tout de suite : l’enjeu n’est pas financier. L’algorithme de datamining permet de récupérer à peine 200 millions d’euros par an sur un total d’environ 100 milliards de prestations versées par la CAF. Soit 0,2% du montant des prestations sociales. En admettant qu’aucun système ne puisse être parfait, ce montant semble dérisoire.

L’enjeu est politique. Ou plutôt d’image. Car depuis sa généralisation en 2011, l’algorithme est instrumentalisé par les dirigeant·es la CAF comme un faire-valoir de leur capacité de gestion de l’institution13Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».. L’année de son introduction, la CAF écrira que « pour sa première année, le data mining a permis une évolution importante des rendements et résultats financiers […] »14Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.. Devant l’assemblée nationale, un directeur de la CAF se félicitera que le « datamining […] fait la preuve d’une efficacité croissante » améliorant le « taux d’impact » des contrôles15Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.. Un autre écrira que l’algorithme est devenu un outil central de la « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs »16Voir DNLF info n°23, juin 2014. Disponible ici..

Efficacité, rendement, modernité : voici les maîtres-mots utilisés par les dirigeant·es de la CAF pour asseoir une politique de communication construite autour de pratiques numériques de harcèlement des plus précaires dont ils et elles récoltent les bénéfices à travers la valorisation de leur savoir-faire gestionnaire. « Vous êtes souvent cités comme le “bon élève” ou “le chef de file” [en termes de politique de contrôle] » déclarera une députée à une directrice « Maîtrise des risques » de la CAF17Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici. tandis que la cour des comptes louera l’amélioration de « l’efficicience de l’emploi des ressources affectées à la détection d’irrégularités » opérée grâce à l’algorithme18Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici..

Mis en miroir des témoignages révélant la violence de ces contrôles et des procédures de récupération d’indus, ce type de discours laisse sans voix. Comment se souvenir qu’il provient pourtant de celles et ceux en charge de l’assistance aux plus démuni·es ?

Lutter

Voilà donc la réalité politique de l’algorithme de notation de la CAF et ce pourquoi il est si compliqué pour les dirigeant·es de la CAF de l’abandonner. Cela leur demanderait d’accepter de renoncer à ce qu’il leur rapporte : soit le rendement de la misère.

Avant de conclure, nous tenons à dire à toutes et tous les employé·es de la CAF que nous savons votre engagement auprès de celles et ceux qui en ont besoin et que nous vous en remercions. Course au rendement, suivi de la moindre de vos activités, surveillance informatique, pertes de moyens humains, dépossession des outils de travail : les pratiques de contrôle numérique de la CAF et la dégradation de vos conditions de travail ont les mêmes racines. C’est pourquoi nous vous appelons à vous mobiliser à nos côtés.

Quant à nous, nous continuerons à nous mobiliser aux côtés de tous les collectifs qui luttent contre les pratiques de contrôles de la CAF, au premier rang desquels Stop Contrôles, Changer de Cap et Droits Sociaux19Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.. Nous appelons également à un questionnement plus large sur les pratiques des autres institutions sociales.

Pour nous aider, échanger, vous mobiliser, n’hésitez pas à nous écrire à algos@laquadrature.net. Notre clé publique est disponible ici.

References

References
1 Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter.
2 Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici.
3 Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois.
4, 16 Voir DNLF info n°23, juin 2014. Disponible ici.
5 France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici.
6 Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.
7 Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude.
8 Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.
9 Prévu par l’article 30 du RGPD.
10 Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.
11 Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258.
12 Voir notamment cet article de La Croix.
13 Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».
14 Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.
15 Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.
17 Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici.
18 Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici.
19 Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.

Powered by VroumVroumBlog 0.1.31 - RSS Feed
Download config articles