Autoblog de la La quadrature du net

• StakkaStakka 17 Gennaio – La quadratura della rete (entretien avec Noémie Levain, en italien) [ActuIA]
• Contre-histoire d’internet du XVe siècle à nos jours(entretien avec Félix Tréguer) [Lundi matin]

Algorithmes administratifs

Un marché juteux

Rappelez-vous : le 17 mai 2023, le Conseil constitutionnel validait le cadre législatif permettant à la police d’utiliser la vidéosurveillance algorithmique (VSA) en temps réel, après plusieurs mois de bataille législative en plein mouvement des retraites. Depuis, que s’est-il passé ? Un appel d’offres a tout d’abord été publié dès l’été pour lancer la compétition entre les nombreuses entreprises qui ont fleuri ces dernières années dans le secteur. Ce marché public, accompagné de clauses techniques, décrit les exigences auxquelles devront se soumettre les entreprises proposant leurs services et, en premier lieu, les fameuses situations et comportements « suspects » que devront repérer les logiciels afin de déclencher une alerte. En effet, la loi avait été votée à l’aveugle sans qu’ils soient définis, ils ont ensuite été formalisés par un décret du 28 août 2023.

Comme nous le l’expliquons depuis longtemps¹Pour une analyse plus approfondie de nos critiques sur la VSA, vous pouvez lire notre rapport de synthèse envoyé aux parlementaires l’année dernière ou regarder cette vidéo de vulgarisation des dangers de la VSA., ces comportements n’ont pour beaucoup rien de suspect mais sont des situations pour le moins banales : détection de personne au sol après une chute (attention à la marche), non-respect du sens de circulation commun par un véhicule ou une personne (attention à son sens de l’orientation), densité « trop importante » de personnes, mouvement de foule (argument répété sans cesse pendant les débats par Darmanin) mais aussi détection d’armes, de franchissement de zone, d’objets abandonnés ou de départs de feu. Le tout pour 8 millions d’euros d’acquisition aux frais du contribuable.

Sans surprise, ces huit cas d’usage pour les algorithmes commandés par l’État dans le cadre de cette expérimentation correspondent à l’état du marché que nous documentons depuis plusieurs années au travers de la campagne Technopolice. Ils correspondent aussi aux cas d’usage en apparence les moins problématiques sur le plan des libertés publiques (l’État se garde bien de vouloir identifier des personnes via la couleur de leurs vêtements ou la reconnaissance faciale, comme la police nationale le fait illégalement depuis des années). Et ils confirment au passage que cette « expérimentation » est surtout un terrain de jeu offert aux entreprises pour leur permettre de développer et tester leurs produits, en tâchant de convaincre leurs clients de leur intérêt.

Car depuis des années, la VSA prospérait à travers le pays en toute illégalité – ce que nous nous efforçons de dénoncer devant les tribunaux. Ces sociétés ont donc œuvré à faire évoluer la loi, par des stratégies de communication et d’influence auprès des institutions. Le déploiement de cette technologie ne répond à aucun besoin réellement documenté pour les JO²Si les Jeux Olympiques constituent sans aucun doute un moment « exceptionnel » au regard du nombre inédit de personnes qui seront au même moment dans la région parisienne, la surveillance n’est pas la réponse à apporter. Nous démontions l’année dernière l’idée selon laquelle les technologies sécuritaires auraient pu modifier le cours du « fiasco » de la finale de la Ligue des champions au Stade de France. Comme nous l’exposons, celle-ci n’était causée par rien d’autre qu’une mauvaise gestion stratégique du maintien de l’ordre. Pour pallier à ces défaillances humaines, auraient été utiles non pas la VSA ou la reconnaissance faciale mais un véritable savoir-faire humain de gestion de la foule, des compétences logistiques, des interlocuteurs parlant plusieurs langues….mais résulte uniquement d’une convergence d’intérêts (économiques pour le secteur, politiques pour les décideurs publics et autoritaires pour la police qui accroît toujours plus son pouvoir de contrôle), le tout enrobé d’un double opportunisme : l’exploitation du discours de promotion de l’innovation et l’instrumentalisation, comme dans bien d’autres pays hôtes avant la France, du caractère exceptionnel des Jeux olympiques pour imposer ces technologies.

Après plusieurs mois de tests et de mises en situation, retardées par le fait qu’une entreprise a contesté en justice les conditions du marché, celui-ci a donc été attribué au début du mois de janvier. Le marché est divisé en quatre lots géographiques. La start-up Wintics installera ses logiciels en Île-de-France quand Videtics se chargera de l’Outre-Mer et d’un ensemble de régions du Sud (Provence Alpes Cote d’Azur, Rhône-Alpes et Corse). Pour les autres régions de France, c’est Chapsvision qui a été désignée. Cette entreprise omniprésente dans les services de l’État et qui se veut le nouveau Palantir français, vient de racheter la start-up de VSA belge ACIC. Enfin, Wintics s’est également vu attribuer la surveillance des transports (comprenant gares et stations). Quant à Orange Business Service – en partenariat avec Ipsotek, filiale d’Atos (nouvellement Eviden), elle est également attributaire au 3e rang du lot des transports, c’est à dire mobilisable en cas de défaillance de Wintics. Du beau monde !

Une évaluation incertaine

Ces entreprises pourront ainsi mettre à disposition leurs algorithmes, bien au-delà des seuls Jeux olympiques puisque cette expérimentation concerne tout « évènement récréatif, sportif et culturel », et ce jusqu’au 31 mars 2025 soit bien après la fin des JO. Elle sera par la suite soumise à une « évaluation » présentée comme particulièrement innovante mais dont les modalités avaient en réalité été envisagées dès 2019 par Cédric O, alors secrétaire d’État au numérique, comme une manière de légitimer la reconnaissance faciale. Ces modalités ont été précisée par un second décret en date du 11 octobre 2023. Ainsi, un « comité d’évaluation » verra prochainement le jour et sera présidé par Christian Vigouroux, haut fonctionnaire passé par la section Intérieur du Conseil d’État. Le comité sera divisé en deux collèges distincts. Le premier réunira les « utilisateurs » de la VSA, c’est à dire la police, la gendarmerie, la SNCF, etc. Le second rassemblera des « personnalités qualifiées » telles que des experts techniques, des spécialistes du droit des données personnelles et des libertés publiques ou encore des parlementaires. Ils devront déterminer et mettre en œuvre un protocole d’évaluation qui ne sera rendu public qu’à la fin de l’expérimentation en mars 2025.

Mais il ne faut pas se leurrer. Au regard de l’agenda politique de ces entreprises et des autorités qui veulent, à long terme, légaliser ces outils et de façon générale toute forme de surveillance biométrique³Plusieurs rapports parlementaires préconisent déjà d’aller plus loin en généralisant le recours à la reconnaissance faciale en temps réel ou la VSA en temps différé, massivement utilisée de façon illégale dans les enquêtes judiciaires. Voir ainsi le rapport de 2022 des sénateurs Marc-Philippe Daubresse (LR), Arnaud de Belenet et Jérôme Durain (PS) sur « la reconnaissance biométrique dans l’espace public » et le rapport de 2023 des députés Philippe Latombe (Modem) et Philippe Gosselin (LR) « sur les enjeux de l’utilisation d’images de sécurité dans le domaine public dans une finalité de lutte contre l’insécurité ». Le gouvernement français s’est également ménagé d’importantes marges de manœuvre pour ce faire à travers son lobbying féroce autour du règlement IA, afin de tenir en échec toute limitation un tant soit peu significative de la surveillance biométrique des espaces publics., cette « expérimentation » pendant les Jeux olympiques doit être vue comme une simple étape vers la légitimation et la pérennisation de ces technologies. En évoquant un dispositif au caractère temporaire et réversible, ce concept d’« expérimentation », permet de rendre une technologie aussi controversée que la VSA plus facilement acceptable pour le public.

Le caractère expérimental permet également de sortir du cadre classique juridique d’examen de proportionnalité. Ainsi l’évaluation ne portera pas sur les critères habituels de nécessité vis à vis d’un objectif d’intérêt public ou de proportionnalité vis à vis des atteintes aux droits. Non, l’évaluation sera plutôt guidée par une approche pragmatique et opérationnelle. On peut imaginer que seront pris en compte le nombre de cas détectés ou le nombre d’interpellations, sans mesurer leur réelle utilité sur la sécurité en tant que politique publique globale, et ce, dans la lignée de la politique du chiffre conduite depuis des années par le Ministère de l’intérieur.

Surtout, on peine à voir comment l’État abandonnerait soudainement une technologie dans laquelle il a tant investi et à laquelle il a déjà cédé énormément de place dans les pratiques policières. Les exemples passés nous montrent que les projets sécuritaires censés être temporaires sont systématiquement prolongés, telles que les boites noires de la loi Renseignement ou les dispositions dérogatoires de l’état d’urgence.

L’issue du comité d’évaluation risque donc d’être surdéterminée par les enjeux politiques et économiques : si l’efficacité policière de ces technologies est jugée satisfaisante, on appellera à les pérenniser ; dans le cas contraire, on évoquera la nécessité de poursuivre les processus de développement afin que ces technologies parviennent à un stade de maturation plus avancé, ce qui justifiera de proroger le cadre expérimental jusqu’à ce que, in fine, elles aient fait leurs preuves et qu’on puisse alors établir un cadre juridique pérenne. À la fin, c’est toujours la police ou les industriels qui gagnent. Or, nous le répétons depuis des années : le choix qui devrait s’imposer à toute société qui se prétend démocratique est celui de l’interdiction pure et simple de ces technologies. Mais il est clair qu’en l’absence de pression citoyenne en ce sens, ni le gouvernement, ni la CNIL, ni la plupart des autres acteurs invités à se prononcer sur les suites à donner à l’expérimentation de la VSA ne voudront envisager de refermer la boîte de Pandore.

Le public au service du privé

Le décret du 11 octobre 2023 prévoit également la création d’un « comité de pilotage » au sein du ministère de l’Intérieur, chargé de la mise en œuvre de cette surveillance « expérimentale ». Celui-ci sera confié à Julie Mercier, cheffe de la direction des entreprises et partenariats de sécurité et des armes (Depsa). Cela est peu surprenant mais révélateur, une fois de plus, des réels intérêts en jeu ici. La Depsa est dotée d’un département « des industries et innovations de sécurité » qui est présenté comme devant assurer « l’interface et le dialogue avec les entreprises productrices de moyens de sécurité » ainsi que participer « à la veille technologique et industrielle » et « au contrôle des investissements étrangers en France et au suivi des entreprises à protéger prioritairement ». Ainsi, sa raison d’être est de stimuler et influencer le marché privé de la sécurité, voire d’aller prodiguer directement des conseils lors de réunions des lobbys de la surveillance. On pourrait être surpris de voir de tels objectifs et pratiques orientées vers le privé dans le fonctionnement d’un ministère régalien. Il s’agit pourtant d’une politique assumée et enclenchée il y a une dizaine d’années, et dont le paroxysme a été à ce jour la loi Sécurité globale consacrant le « continuum de sécurité » entre public et privé.

Lors du salon Mlilipol – grand-messe du marché de la sécurité et de la surveillance – qui s’est tenu en novembre dernier en région parisienne, et où les Jeux olympiques étaient à l’honneur, Julie Mercier expliquait ainsi vouloir « participer à la construction de la base industrielle et technologique de sécurité », car « les entreprises, et pas seulement les grands opérateurs, sont essentielles dans l’expression du besoin et dans la structuration de la filière ». Pour elle, le programme d’expérimentations mis en place en 2022 par le ministère de l’Intérieur dans la perspective des Jeux olympiques a permis d’enclencher une « dynamique vertueuse ». Ce mélange des genres démontre un des objectifs principaux de l’expérimentation : promouvoir le marché privé de la surveillance numérique, en l’associant étroitement aux politiques publiques.

Et maintenant ?

Les expérimentations devraient donc être mises en route dans les prochaines semaines. En théorie, la loi prévoyait une première étape de « conception » des algorithmes, qui nous inquiétait particulièrement. Dans le but de paramétrer les logiciels, elle autorisait de façon inédite le Ministère de l’intérieur à utiliser les images des caméras publiques afin d’améliorer les algorithmes. La CNIL s’est même inquiétée dans sa délibération de l’absence d’information des personnes qui, par leur présence sur une image, nourrirait des logiciels.

Sauf que du fait du retard du processus (l’État voulait initialement débuter les expérimentations lors de la coupe du monde de rugby) couplée à l’impatience des entreprises et de la police et au risque du fiasco si la VSA était en fin de compte remise sur l’étagère, le ministère de l’Intérieur s’est décidé à passer rapidement à la phase de mise en œuvre à travers l’acquisition de solutions toutes prêtes. Cependant, cela ne réduit aucunement les craintes à avoir. Si les logiciels sont censés répondre à un ensemble de critères techniques définis par la loi, l’opacité régnant sur ces technologies et l’absence de mécanisme de transparence empêche de facto de connaître la façon dont ils ont été conçus ou la nature des données utilisées pour l’apprentissage.

Après avoir été auditées et certifiées par une autorité tierce⁴D’après l’avis d’attribution de l’appel d’offre, il s’agira du Laboratoire National de Métrologie et d’Essais (LNE), inconnu au bataillon., ces solutions seront donc intégrées au plus vite aux infrastructures de vidéosurveillance dans les zones où les préfectures en feront la demande. Chaque autorisation fera l’objet d’un arrêté préfectoral rendu public, ce qui devrait permettre de connaître l’emplacement, la nature et la durée de la surveillance mise en place.

Nous les attendrons au tournant. L’expérimentation de la VSA ne doit pas rester invisible. Au contraire, il nous faudra collectivement documenter et scruter ces arrêtés préfectoraux afin de pouvoir s’opposer sur le terrain et rendre matérielle et concrète cette surveillance de masse que tant veulent minimiser. La voix des habitantes et habitants des villes, des festivalier·es, des spectateur·ices, de l’ensemble des personnes qui seront sous l’œil des caméras, sera cruciale pour rendre visible l’opposition populaire à ces technologies de contrôle. Dans les prochains mois, nous tâcherons de proposer des outils, des méthodes et des idées d’actions pour y parvenir et lutter, avec vous, contre l’expansion de la surveillance de masse dans nos rues et dans nos vies.

Traduction du communiqué de presse de la coalition Reclaim Your Face.

Le 8 décembre 2023, les législateurs de l’Union européenne se sont félicités d’être parvenus à un accord sur la proposition de règlement tant attendue relative l’intelligence artificielle (« règlement IA »). Les principaux parlementaires avaient alors assuré à leurs collègues qu’ils avaient réussi à inscrire de solides protections aux droits humains dans le texte, notamment en excluant la surveillance biométrique de masse (SBM).

Pourtant, malgré les annonces des décideurs européens faites alors, le règlement IA n’interdira pas la grande majorité des pratiques dangereuses liées à la surveillance biométrique de masse. Au contraire, elle définit, pour la première fois dans l’UE, des conditions d’utilisation licites de ces systèmes. Les eurodéputés  et les ministres des États membres de l’UE se prononceront sur l’acceptation de l’accord final au printemps 2024.

L’UE entre dans l’histoire – pour de mauvaises raisons

La coalition Reclaim Your Face soutient depuis longtemps que les pratiques des SBM sont sujettes aux erreurs et risquées de par leur conception, et qu’elles n’ont pas leur place dans une société démocratique. La police et les autorités publiques disposent déjà d’un grand nombre de données sur chacun d’entre nous ; elles n’ont pas besoin de pouvoir nous identifier et nous profiler en permanence, en objectifiant nos visages et nos corps sur simple pression d’un bouton.

Pourtant, malgré une position de négociation forte de la part du Parlement européen qui demandait l’interdiction de la plupart des pratiques de SBM, très peu de choses avaient survécu aux négociations du règlement relatif à l’IA. Sous la pression des représentants des forces de l’ordre, le Parlement a été contraint d’accepter des limitations particulièrement faibles autour des pratiques intrusives en matière de SBM.

L’une des rares garanties en la matière ayant apparemment survécu aux négociations – une restriction sur l’utilisation de la reconnaissance faciale a posteriori [par opposition à l’utilisation en temps réel] – a depuis été vidée de sa substance lors de discussions ultérieures dites « techniques » qui se sont tenues ces dernières semaines.

Malgré les promesses des représentants espagnols en charge des négociations, qui juraient que rien de substantiel ne changerait après le 8 décembre, cette édulcoration des protections contre la reconnaissance faciale a posteriori  est une nouvelle déception dans notre lutte contre la société de surveillance.

Quel est le contenu de l’accord ?

D’après ce que nous avons pu voir du texte final, le règlement IA est une occasion manquée de protéger les libertés publiques. Nos droits de participer à une manifestation, d’accéder à des soins de santé reproductive ou même de nous asseoir sur un banc pourraient ainsi être menacés par une surveillance biométrique omniprésente de l’espace public. Les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives.

Nous sommes également déçus de voir qu’en matière de « reconnaissance des émotions » et les pratiques de catégorisation biométrique, seuls des cas d’utilisation très limités sont interdits dans le texte final, avec d’énormes lacunes.

Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la vérité – bien que ces systèmes ne reposent sur aucune base scientifique crédible. Si elle est adoptée sous cette forme, le règlement IA légitimera une pratique qui, tout au long de l’histoire, a partie liée à l’eugénisme.

Le texte final prévoit également d’autoriser la police à classer les personnes filmées par les caméras de vidéosurveillance en fonction de leur couleur de peau. Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles discriminations comme acceptables.

Une seule chose positive était ressortie des travaux techniques menés à la suite des négociations finales du mois de décembre : l’accord entendait limiter la reconnaissance faciale publique a posteriori aux cas ayant trait à la poursuite de crimes transfrontaliers graves. Bien que la campagne « Reclaim Your Face » ait réclamé des règles encore plus strictes en la matière, cela constituait un progrès significatif par rapport à la situation actuelle, caractérisée par un recours massif à ces pratiques par les États membres de l’UE.

Il s’agissait d’une victoire pour le Parlement européen, dans un contexte où tant de largesses sont concédées à la surveillance biométrique. Or, les négociations menées ces derniers jours, sous la pression des gouvernements des États membres, ont conduit le Parlement à accepter de supprimer cette limitation aux crimes transfrontaliers graves tout en affaiblissant les garanties qui subsistent. Désormais, un vague lien avec la « menace » d’un crime pourrait suffire à justifier l’utilisation de la reconnaissance faciale rétrospective dans les espaces publics.

Il semblerait que ce soit la France qui ait mené l’offensive visant à faire passer au rouleau compresseur notre droit à être protégés contre les abus de nos données biométriques. À l’approche des Jeux olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche.

En vertu du règlement IA, nous serons donc tous coupables par défaut et mis sous surveillance algorithmique, l’UE ayant accordé un blanc-seing à la surveillance biométrique de masse. Les pays de l’UE auront ainsi carte blanche pour renforcer la surveillance de nos visages et de nos corps, ce qui créera un précédent mondial à faire froid dans le dos.

Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.

Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :

• RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.) ;
• PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
• PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
• M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
• Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales.

Des technologies dangereuses, sans encadrement ni évaluation

Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligence artificielle.

Corrélation n’est pas causalité

Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.

Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.

S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.

Des variables potentiellement discriminatoires

Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.

En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.

De fausses croyances criminologiques

Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.

Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».

Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.

Un risque d’auto-renforcement

La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).

En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».

La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.

De possibles abus de pouvoir

Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.

Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.

Des outils à l’efficacité douteuse

Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.

De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre¹. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.

Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.

De graves lacunes dans la gestion des données

Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 2020². Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.

Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.

Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées³. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »⁴.

Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.

Il est urgent d’interdire la police prédictive

L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…

Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.

Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.

Nous aider

Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.

Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.

Lire le rapport complet

1. Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ︎
2. Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ︎
3. Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ︎
4. Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ︎

Notre campagne Technopolice a déjà quatre ans, et les acteurs de l’industrie française de la surveillance sont bien identifiés. Lobby industriel, député porte-cause, discours sécuritaire dicté par la police, on connaît le paysage. Voici venu le temps de s’intéresser plus en détail aux entreprises privées qui fleurissent dans le sillage de ce marché économique considérable, où les fonds publics abondent sans discussion pour mieux nous surveiller.

Cette semaine, penchons-nous sur le cas de la société Edicia, basée à Nantes. Elle s’engraisse en fournissant à de nombreuses polices municipales françaises une « solution » baptisée Smart Police, logiciel embarqué sur terminal mobile qui permet aux agents de prendre des notes, de rédiger des rapports, et à leur supérieur resté au commissariat de mieux les manager. Nous avons obtenu le manuel d’utilisation de Smart Police, grâce auquel nous pouvons avoir une idée précise de ce que les agents municipaux peuvent faire, et des conséquences pratiques de ces nouvelles facilités opérationnelles. Une lecture édifiante : l’outil, dans sa grande variété et sa grande souplesse, permet des pratiques contraires au cadre réglementaire qui régit les polices municipales.

Fichage sans autorisation, croisement de données, photographies des personnes contrôlées : là où l’idéologie sécuritaire voit du bon sens, nous voyons des usages clairement illégaux et une victoire de facto de la surveillance systématisée. Pour en savoir plus, lisez l’article, qui s’inscrit dans une enquête sur les outils numériques de la « police prédictive » et sera suivi par d’autres publications.

Lire l’article : https://www.laquadrature.net/2024/01/10/smart-police-dedicia-le-logiciel-a-tout-faire-des-polices-municipales/

Société de contrôle (2) : la CAF défend son programme de chasse aux pauvres

Notre enquête sur les algorithmes de contrôle social n’en est encore qu’à son début, mais elle a déjà produit quelques effets : après notre analyse de son algorithme de notation des allocataires, la Caisse nationale d’allocations familiales (CNAF) est bien obligée de se justifier publiquement au sujet de ses pratiques discriminatoires.

La réponse du directeur de la CNAF, entre déni et diversion, relève de la communication de crise. Mais les faits que nous constatons dans l’analyse de l’algorithme lui-même restent irréfutables. Et derrière l’autosatisfaction de l’institution, saluée aussi par les députés de la majorité présidentielle pour son efficacité dans la chasse aux pauvres, on voit un jeu de dupes : loin d’une rentabilité réelle, et à rebours de la « fraternité » républicaine de la société avec ses membres les plus précaires, le contrôle systématique par algorithme sert l’idéologie d’une efficacité gestionnaire où le recours aux outils numériques habille de modernité des choix politiques et sociaux inégalitaires. Analyse du discours de la CNAF et réponse point par point dans notre article !

Lire l’article : https://www.laquadrature.net/2024/01/11/notation-des-allocataires-face-aux-faits-la-caf-senferme-dans-le-deni-et-la-mauvaise-foi/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

• 13 janvier 2024 : atelier sur Internet, l’anonymat et la Technopolice, en collaboration avec la Compagnie RYBN.org – 14h-20h, à La Compagnie, 19 rue Francis de Pressensé, Marseille. Détails  : https://www.la-compagnie.org/portfolio/rybncapitalismsxit/.
• 19 janvier 2024 : Quadrapéro parisien à partir de 19h dans nos locaux au 115 rue de Ménilmontant, 75020 Paris.
• 25 janvier 2024 : soirée sur la vidéosurveillance algorithmique organisée par le groupe ATTAC Nord Ouest à 19h30 à la Maison des associations du 18e, 15 Passage Ramey, 75018 Paris.
• 27 janvier 2024 : La Quadrature sera aux 3e Assises de l’Attention, pour parler de démocratie à l’heure du numérique – 9h-18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.

La Quadrature dans les médias

À écouter

• Conférence de La Quadrature au Chaos Communication Congress (#37C3), en anglais : « A year of surveillance in France: a short satirical tale by La Quadrature du Net »

Algorithmes administratifs

• « L’algorithme de la CAF conduit à un surcontrôle des populations les plus précaires » [Alternatives économiques]
• EELV en croisade contre la « pauvrophobie d’Etat » [L’Internaute]
• Rendre accessibles les algorithmes, un vœu pieux ? [La gazette des communes]
• RSA, APL, AAH, prime d’activité… Que risque-t-on lorsqu’on fraude les aides de la CAF ? [Merci pour l’info]
• Le grand méchant score social qui cache la forêt [Numerama]

IA de surveillance

• Philippe Latombe, député macroniste et VRP de la surveillance [StreetPress]
• En prévision des JO, la SNCF a testé plus d’une dizaine d’algorithmes de vidéosurveillance [Mediapart]
• Paris 2024, le retour des JO dans un pays libre? Oui mais… [Le Temps]
• Vidéosurveillance à Moirans : La Quadrature du net déboutée par le Conseil d’État mais l’affaire n’est pas terminée [Le Dauphiné libéré]
• Comment des drones et l’IA vont bientôt contrôler le trafic routier de cette mégalopole asiatique [Ouest-France]
• AI is powering a revolution in policing, at the Olympics and beyond [The Washington Post]
• Nizza: le telecamere di sorveglianza sfruttano l’AI [La Svolta]

Interopérabilité

• Quatre choses à savoir sur le «fédivers» dont parle Threads, le nouveau réseau social de Meta [Libération]
• Meta : c’est quoi le Fédivers, la prochaine conquête de Mark Zuckerberg ? [Phonandroid]

Fichage

• « SISPoPP », le nouveau fichier qui fâche [Mediapart]
• SISPoPP : tout savoir sur le nouveau fichier des tribunaux qui inquiète tant [Comment ça marche]

Données personnelles

• Les étranges excuses d’Amazon pour échapper à son amende record [01Net]
• Amazon attacks EU privacy watchdog it claims was out to get it [Bloomberg]

Divers

• Le Fisc pourra davantage traquer les fraudeurs sur les réseaux sociaux [01Net]
• Les services secrets américains pourront tranquillement nous espionner jusqu’en avril 2024 [01Net]

« Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la CAF — dans un « Message au sujet des algorithmes » à destination des 30 000 agent·es de la CAF¹Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter. — a réagi à notre publication du code source de l’algorithme de notation des allocataires.

Et pourtant, devant la montée de la contestation²Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici. — s’étendant au sein des CAF elles-même car seul·es les dirigeant·es et une poignée de statisticien·nes avaient connaissance de la formule de l’algorithme –, il était possible d’espérer, a minima, une remise en question de la part de ses dirigeant·es.

Mais à l’évidence des faits, les dirigeant·es de la CAF ont préféré le déni. Cette fuite en avant a un coût car un élément de langage, quelque soit le nombre de fois où il est répété, ne se substituera jamais aux faits. À vouloir nier la réalité, c’est leur propre crédibilité, et partant celle de leur institution, que les dirigeant·es de la CAF mettent en danger.

Un problème sémantique

À peine quelques heures après la publication de notre article — et alors qu’il était possible pour chacun·e de vérifier que la valeur du score de suspicion alloué par l’algorithme augmente avec le fait d’être en situation de handicap tout en travaillant, d’avoir de faibles revenus, de bénéficier des minima sociaux ou encore d’être privé·e d’emploi — le directeur de la CAF affirmait publiquement que son algorithme n’était « pas discriminatoire ».

Devant une telle dénégation, on se demande comment le directeur de la CAF définit une politique « discriminatoire ». Voici en tout cas celle donnée par le Wiktionnaire : « Traitement défavorable de certains groupes humains via la réduction arbitraire de leurs droits et contraire au principe de l’égalité en droit. » Rappelons en outre, au cas où subsisterait un doute, qu’un contrôle est en soi un moment extrêmement difficile à vivre³Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois..

Dans le même message, il ajoutait que l’algorithme n’est pas utilisé pour « surveiller les allocataires » ou « les suspecter », mais simplement pour les « classer ». Rappelons que les deux ne sont pas contradictoires mais complémentaires. La surveillance de masse — que ce soit dans la rue, sur internet ou à la CAF — est un préalable au tri de la population.

S’agissant enfin de savoir si l’utilisation de cet algorithme a vocation à « suspecter » les allocataires ou non, nous le renvoyons aux déclarations d’un autre directeur de la CAF qui écrivait qu’il considérait les « techniques de datamining » comme « des outils de lutte contre les fraudeurs et les escrocs »⁴Voir DNLF info n°23, juin 2014. Disponible ici.. On soulignera aussi la contradiction entre le discours tenu par l’actuel directeur de la CAF et celui qu’il tenait quelques mois plus tôt au micro de France Info⁵France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici. à qui il expliquait que le refus de nous communiquer le code source de l’algorithme était justifié par le fait que la CAF doit garder « un coup d’avance » face à celles et ceux « dont le but est de frauder le système ».

Ou mathématique ?

À ces problèmes sémantiques s’ajoutent un désaccord mathématique. Le directeur de la CAF avance que l’objectif de l’algorithme serait de « détecter rapidement » des indus afin « d’éviter des remboursements postérieurs trop importants ». Ce raisonnement est un non-sens technique visant à faire croire aux personnes ciblées par l’algorithme que ce dernier… les servirait.

Or, l’algorithme a été développé pour détecter des situations présentant des indus supérieurs à un certain montant⁶Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.. Il est entraîné sur la base de dossiers choisis aléatoirement puis analysés par les contrôleur·ses de la CAF sur une période de deux ans, soit la durée de prescription des indus⁷Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude..

En d’autres termes, l’algorithme a pour seul objectif de maximiser les montants d’indus récupérables sans aucune considération pour une soi-disant détection précoce qui viserait à prévenir leur accumulation. Ainsi, présenter l’algorithme comme un outil au service de celles et ceux qui en subissent les conséquences est foncièrement trompeur.

Nier jusqu’à l’opacité

« Notre fonctionnement n’est pas opaque » ajoutait finalement le directeur de la CAF dans cette même lettre. Sachant l’énergie que nous avons dû déployer pour obtenir le moindre document relatif à la politique de contrôle de la CAF, il fallait oser.

Concernant l’algorithme lui-même, rappelons que nous avons dû batailler pendant plusieurs mois pour réussir à avoir accès au code de ce dernier. La CAF, dans des courriers que nous rendons publics avec cet article, s’est systématiquement opposée à sa publication. Elle ne l’a communiqué qu’après avoir été contredite par la Commission d’accès aux documents administratifs (CADA).

Pire, la CAF refuse systématiquement de transmettre la moindre information quant au fonctionnement de son algorithme aux allocataires faisant l’objet d’un contrôle. On pourra citer le cas d’une allocataire ayant subi un contrôle datamining que nous avons aidée à rédiger plusieurs courriers⁸Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.. Pendant plus de 3 ans, cette personne a multiplié les recours juridiques pour comprendre les raisons de son contrôle : saisine CADA, courrier au défenseur des droits, plainte à la CNIL… Toutes ces démarches sont restées lettres mortes.

Enfin, la CAF ne nous a toujours pas communiqué le registre complet de ses activités de traitement⁹Prévu par l’article 30 du RGPD. ni l’étude d’impact de l’algorithme de notation. Nous avons dû, encore une fois, saisir la CADA pour tenter d’avancer.

Lutter contre les erreurs ?

Il existe cependant une chose sur laquelle tout le monde est d’accord : si les indus se concentrent sur les plus précaires c’est parce que les aides qui leur sont versées, en particulier les minima sociaux, sont encadrées par des règles complexes qui génèrent incompréhensions et erreurs involontaires.

Le directeur de la CAF dit ainsi que si « les allocataires les plus pauvres » sont « surreprésentés parmi les risques d’erreurs » c’est en grande partie parce qu’ils reçoivent « des aides plus complexes ». Il ajoute même que la « complexité déclarative » et l’« instabilité des droits […] sape la confiance » des allocataires¹⁰Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.. On complètera en rappelant que la complexité des règles d’accès aux minima sociaux est elle-même le fruit de politiques autoritaires de « lutte contre l’assistanat »¹¹Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. et que de nombreuses erreurs sont par ailleurs le fait de la CAF elle-même¹²Voir notamment cet article de La Croix..

Partant de ce constat, comment comprendre le traitement répressif réservé à celles et ceux dont tout le monde s’accorde à dire qu’elles sont victimes d’un dysfonctionnement administratif et politique ? Pourquoi choisir de déployer des moyens numériques colossaux — interconnexion de fichiers, droit de communication… — visant à réprimer celles et ceux qui ne font que subir une situation ? Comment expliquer que les dirigeant·es de la CAF encouragent une telle politique de la double peine ciblant celles et ceux qu’ils et elles sont censé·es servir ?

Ou en profiter?

Disons-le tout de suite : l’enjeu n’est pas financier. L’algorithme de datamining permet de récupérer à peine 200 millions d’euros par an sur un total d’environ 100 milliards de prestations versées par la CAF. Soit 0,2% du montant des prestations sociales. En admettant qu’aucun système ne puisse être parfait, ce montant semble dérisoire.

L’enjeu est politique. Ou plutôt d’image. Car depuis sa généralisation en 2011, l’algorithme est instrumentalisé par les dirigeant·es la CAF comme un faire-valoir de leur capacité de gestion de l’institution¹³Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».. L’année de son introduction, la CAF écrira que « pour sa première année, le data mining a permis une évolution importante des rendements et résultats financiers […] »¹⁴Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.. Devant l’assemblée nationale, un directeur de la CAF se félicitera que le « datamining […] fait la preuve d’une efficacité croissante » améliorant le « taux d’impact » des contrôles¹⁵Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.. Un autre écrira que l’algorithme est devenu un outil central de la « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs »¹⁶Voir DNLF info n°23, juin 2014. Disponible ici..

Efficacité, rendement, modernité : voici les maîtres-mots utilisés par les dirigeant·es de la CAF pour asseoir une politique de communication construite autour de pratiques numériques de harcèlement des plus précaires dont ils et elles récoltent les bénéfices à travers la valorisation de leur savoir-faire gestionnaire. « Vous êtes souvent cités comme le “bon élève” ou “le chef de file” [en termes de politique de contrôle] » déclarera une députée à une directrice « Maîtrise des risques » de la CAF¹⁷Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici. tandis que la cour des comptes louera l’amélioration de « l’efficicience de l’emploi des ressources affectées à la détection d’irrégularités » opérée grâce à l’algorithme¹⁸Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici..

Mis en miroir des témoignages révélant la violence de ces contrôles et des procédures de récupération d’indus, ce type de discours laisse sans voix. Comment se souvenir qu’il provient pourtant de celles et ceux en charge de l’assistance aux plus démuni·es ?

Lutter

Voilà donc la réalité politique de l’algorithme de notation de la CAF et ce pourquoi il est si compliqué pour les dirigeant·es de la CAF de l’abandonner. Cela leur demanderait d’accepter de renoncer à ce qu’il leur rapporte : soit le rendement de la misère.

Avant de conclure, nous tenons à dire à toutes et tous les employé·es de la CAF que nous savons votre engagement auprès de celles et ceux qui en ont besoin et que nous vous en remercions. Course au rendement, suivi de la moindre de vos activités, surveillance informatique, pertes de moyens humains, dépossession des outils de travail : les pratiques de contrôle numérique de la CAF et la dégradation de vos conditions de travail ont les mêmes racines. C’est pourquoi nous vous appelons à vous mobiliser à nos côtés.

Quant à nous, nous continuerons à nous mobiliser aux côtés de tous les collectifs qui luttent contre les pratiques de contrôles de la CAF, au premier rang desquels Stop Contrôles, Changer de Cap et Droits Sociaux¹⁹Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.. Nous appelons également à un questionnement plus large sur les pratiques des autres institutions sociales.

Pour nous aider, échanger, vous mobiliser, n’hésitez pas à nous écrire à algos@laquadrature.net. Notre clé publique est disponible ici.

Dans le cadre d’une enquête sur les technologies de police prédictive dont nous vous reparlerons très bientôt, La Quadrature s’est intéressée de près à Edicia. Cette startup est peu connue du grand public. Elle joue pourtant un rôle central puisqu’elle équipe des centaines de polices municipales à travers le pays. Son logiciel Smart Police, dont nous avons obtenu le manuel d’utilisation, permet de faire un peu tout et n’importe quoi. Loin de tout contrôle de la CNIL, Smart Police encourage notamment le fichage illégal, une pratique policière en vogue…

L’entreprise Edicia a été créée en 2013 et a son siège à Nantes. Cette année-là, Vincent Loubert, un ancien consultant de Cap Gemini, rachète, avec le soutien du fonds d’investissement Newfund, une société de logiciels du nom d’Access, lancée à l’origine par un policier à la retraite qui cherchait à développer une application simplifiant le travail des policiers. Sous l’égide d’Edicia, ce logiciel va prendre le nom de Smart Police.

En 2019, après une expansion rapide en France (Edicia prétend alors équiper près de 600 villes à travers le pays)¹, la startup s’internationalise en développant ses activités aux États-Unis, vendant notamment son logiciel à la police de Denver, dans le Colorado, où elle ouvre même une antenne avec une trentaine de salariés. En France, cette année-là, la startup emploie une quarantaine de personnes et réalise des bénéfices pour la première fois depuis son lancement. Loubert affirme alors avoir consacré près de 10 millions d’euros à la R&D.

Depuis, il est possible que l’entreprise ait connu quelques difficultés financières. Le site d’Edicia comme ses comptes sur les réseaux sociaux sont globalement inactifs. Elle semble également embaucher moins de salariés. Pour autant, son logiciel Smart Police continue d’être utilisé au quotidien par des milliers de policier municipaux à travers le pays.

Aperçu de Smart Police

À quoi sert Smart Police ? À un peu tout et n’importe quoi. Il permet aux agents de police d’utiliser leur téléphone ou tablette pour rédiger leurs rapports directement depuis le terrain, d’ajouter à une base de donnée des clichés photographiques, de rapporter des évènements ou encore d’établir des procès-verbaux (voir les captures d’écran du logiciel à la fin de cet article, ou explorer le manuel d’utilisation au format HTML²). Smart Police est aussi utilisé par les officiers pour suivre depuis leurs bureaux les équipes sur le terrain, cartographier les incidents, consulter leurs rapports et recevoir divers indicateurs statistiques en temps réel, de même que les photographies prises en intervention (par exemple lors d’une manifestation).

Les villes de Marseille, Nice, Élancourt, Antony, Le Pré-Saint-Gervais, Libourne, Chinon, Coignères, Maurepas, ou encore la communauté de communes Grand Paris Sud- Seine Essonne Sénart comptent parmi les clientes d’Edicia (avec en tout 350 villes clientes d’après les derniers chiffres fournis sur le site d’Edicia). Mais bien évidemment, en dehors des affirmations péremptoires des patrons d’Edicia ou de quelques édiles relayés dans la presse, aucune étude disponible ne permet de démontrer le prétendu surcroît d’efficacité policière induit par Smart Police. Par ailleurs, une demande CADA nous a appris qu’une ville comme Cannes avait été cliente d’Edicia, avant de décommissionner le logiciel sans qu’on sache exactement pourquoi. Il est possible qu’à l’image de certains logiciels utilisés aux États-Unis puis abandonnés, le rapport coût-efficacité ait été jugé trop faible.

Fichage en mode YOLO ?

L’une des composantes les plus importantes de Smart Police, dont le manuel d’utilisation nous a été communiqué via une demande CADA et est désormais disponible, réside dans son menu « Activités de terrain », que les agents utilisateurs manient quotidiennement. Il leur permet de créer de nouvelles « mains courantes », d’écrire et de référencer des rapports de police (procès-verbaux) documentant diverses infractions que les agents de la police municipale sont autorisés à constater. Lorsqu’ils créent ces fiches, les agents doivent fournir des informations générales, la localisation géographique de l’événement, le type d’infraction, l’identité et les coordonnées du suspect ou des témoins (qui peuvent être enregistrées facilement en scannant une carte d’identité), etc. En tant que telles, ces fiches de signalement peuvent être détournées pour des finalités qui dépassent les prérogatives de la police municipale – lesquelles sont limitées, notamment en matière de contrôle d’identité³ –, et devraient être soumises à un contrôle étroit.

Un autre module présente un risque encore plus important de fichage illégal : il s’agit du module « Demande administré », qui comme son nom l’indique, permet d’enregistrer les signalements faits par des administrés à la police municipale (bruit, dégradation, présence d’un animal dangereux, etc.). Là encore, l’interface rend possible l’ajout de données géolocalisées et de photographies.

Enfin, Smart Police comporte un module « Vigilance active », au sein duquel les agents peuvent rassembler des informations non officielles sur des événements passés ou futurs. Par exemple, si un agent de police a rapporté une rumeur entendue dans la rue ou repérée sur les réseaux sociaux (par exemple concernant un « rassemblement non autorisé », ainsi que l’illustre le manuel), une fiche peut être créée pour la consigner. Celle-ci peut très bien comporter toutes sortes de données dont le traitement par la police est, dans un tel cadre, totalement illégal (identité des personnes suspectées d’organiser ce rassemblement, des photographies extraites des réseaux sociaux, etc.). Ces fiches de renseignement peuvent ensuite être transformées en « missions » assignées aux agents depuis l’interface à disposition des managers, conduire à la création de nouvelles fiches « mains courantes », mais aussi alimenter le module « Analyse prédictive » si la ville cliente d’Edicia y a souscrit (nous y reviendrons dans un prochain article).

On le comprend au regard de ces descriptions, Smart Police comporte un risque important de voir consignées des données identifiantes, et donc là encore de conduire à des opérations de fichage illégal. Notamment, il ne semble pas respecter le cadre réglementaire s’agissant des traitements automatisés utilisés par les polices municipales pour gérer les mains courantes, puisque ce dernier exclut la prise de photographies⁴.

Loin de tout contrôle

Par deux fois, nous avons interrogé la CNIL via des demandes CADA pour savoir si elle s’était penchée sur l’utilisation de Smart Police en France. Par deux fois, la même réponse nous a été faite : en dehors de quelques formalités préalables réalisées par une demi-douzaine de communes avant l’entrée en vigueur du RGPD, nada (voir ici pour la dernière réponse en date). Nous avons bien mis la main sur l’attestation de conformité RGPD, délivrée à Edicia par le cabinet Olivier Iteanu et obtenue via une demande CADA à la ville de Libourne, ainsi qu’un document relatif à la politique de gestion des données d’Edicia, mais celles-ci n’offrent aucun élément réellement rassurant s’agissant du risque de voir Smart Police servir à des opérations de fichage illégal. Enfin, aucune des dizaines de demandes CADA envoyées aux mairies s’agissant d’Edicia n’a mis en évidence de contrôle réalisé par les personnes déléguées à la protection des données au sein des villes.

Nos inquiétudes à ce sujet sont évidemment renforcées par des révélations récentes. La presse locale s’est récemment faite l’écho de pratiques de policiers municipaux dans une commune de la région PACA consistant à échanger, sur des boucles WhatsApp privées et à partir de leurs smartphones personnels, des données sensibles relatives à des personnes : images extraites de la vidéosurveillance, photos des personnes contrôlées, plaques d’immatriculation, pièces d’identité, etc⁵. Des pratiques totalement illégales mais dont on peut supposer qu’elles sont monnaie courante, non seulement au sein des polices municipales mais aussi au sein de la police nationale.

Quant au dernier rapport de l’Inspection générale de la police nationale (IGPN)⁶, il note une hausse sensible des faits de détournements de fichiers (56 enquêtes, contre 38 en 2021 et 27 en 2020), une évolution qu’elle qualifie de « préoccupante » :

Ces faits sont de gravité très inégale selon qu’ils procèdent de la curiosité « malsaine » (passage aux fichiers d’une ex-compagne ou d’un nouveau compagnon, de membres de sa famille, d’une personne connue, d’un chef de service, sans argent versé ou contrepartie) ou du commerce des informations récoltées. Ces cas sont les plus sensibles, lorsque les informations confidentielles issues des fichiers de police sont remises à des tiers, avec ou sans but lucratif. Si la preuve de la consultation illégale est assez simple à rapporter par les enquêteurs, il en va différemment pour la preuve éventuelle d’une rétribution à titre de contrepartie.

Pour l’institution, « cette situation tient à la fois à la multiplication du nombre de fichiers de police et une meilleure accessibilité », notamment du fait d’un déploiement croissant des tablettes et smartphones Neo, lesquelles permettent un accès plus aisé aux fichiers de police pour les agents de la police nationale et de la gendarmerie nationale. L’IGPN estime que l’intelligence artificielle pourrait permettre de détecter plus aisément ces consultations illégales.

Et maintenant ?

Pour notre part, plutôt qu’un solutionnisme technologique abscons, la réponse tiendrait plutôt à une désescalade techno-sécuritaire, à savoir le fait de battre en brèche l’augmentation exponentielle du fichage de la population, le recul constant des garanties concrètes apportées aux droits fondamentaux (recul auquel le RGPD et les textes associés ont participé par de nombreux aspects). Au minimum, les contre-pouvoirs institutionnels, comme la CNIL, devraient faire leur travail, à savoir lutter contre les illégalismes policiers, plutôt que d’instaurer une impunité de fait par leur coupable laisser-faire.

De ce point de vue, un premier pas dans la bonne direction consisterait à procéder à un contrôle résolu des polices municipales clientes d’Edicia, en n’hésitant pas à prononcer de vraies sanctions contre les responsables hiérarchiques dès lors que des infractions seront constatées.

Pour soutenir notre travail, vous pouvez faire un don à La Quadrature du Net.

1. À noter : sur son site web, Edicia se targue également de compter parmi ses clients quelques services du ministère de l’Intérieur, mais nos demandes CADA envoyées au ministère sur ces collaborations sont restées infructueuses, le ministère prétendant qu’il n’existe aucun lien avec Edicia. ︎
2. Le manuel d’utilisation de Smart Police est disponible à l’adresse suivante : https://technopolice.fr/police-predictive/manuel-edicia/Edicia.html. ︎
3. Lorsqu’ils créent des procès-verbaux dans Edicia, les agents sont invités à choisir parmi une liste d’infractions présélectionnées et tirées d’une base de données nationale catégorisant tous les types d’infractions (la base de données NATINF). Rappelons que les types d’infractions que les agents de police municipale peuvent constater sont très limités. Ils peuvent par exemple sanctionner les propriétaires de chiens dangereux qui ne respectent pas la loi, inspecter visuellement et fouiller (avec l’autorisation du propriétaire) les sacs et bagages lors de manifestations publiques ou à l’entrée d’un bâtiment municipal, délivrer des amendes en cas d’incivilités telles que le dépôt d’ordures dans la nature, le tapage nocturne, le fait de laisser des animaux dangereux en liberté, et constater la plupart des infractions au code de la route commises sur le territoire communal dès lors qu’elles ne nécessitent pas d’enquête. Cependant, les agents de la police municipale disposent de pouvoirs beaucoup plus étendus que ne le laisse supposer le code pénal : arrestation en flagrant délit d’une personne ayant commis un crime ou un délit passible de prison pour l’amener au poste de police nationale ou de gendarmerie le plus proche, établissement de rapports et procès-verbaux concernant tout crime, délit ou contravention dont les agents municipaux seraient témoins, documents qui peuvent soit être directement transmis à la police nationale ou à la gendarmerie, soit au maire. Celui-ci, ayant qualité d’officier de police judiciaire, transmet alors l’information au procureur de la république. Bien que la loi ne les autorise pas à procéder à des contrôles d’identité, les agents de police municipaux peuvent collecter l’identité d’une personne, tant qu’ils ne demandent pas de produire une pièce attestant de celle-ci, et sont autorisés à demander une preuve d’identité dans le cas des quelques délits qui rentrent dans leurs prérogatives. Le logiciel d’Edicia semble donc offrir des fonctionnalités qui vont bien au-delà du cadre juridique. Voir « Mémento policiers municipaux et gardes champêtres ». Ministère de l’Intérieur, 10 novembre 2021. https://www.interieur.gouv.fr/content/download/129786/1033871/file/memento-polices-muni-gardes-champetres.pdf. ︎
4. Arrêté du 14 avril 2009 autorisant la mise en œuvre de traitements automatisés dans les communes ayant pour objet la recherche et la constatation des infractions pénales par leurs fonctionnaires et agents habilités, consulté le 9 décembre 2023, https://www.legifrance.gouv.fr/loda/id/JORFTEXT000020692173. ︎
5. Éric Galliano, « Saint-Laurent-du-Var : Les policiers municipaux ont constitué leurs propres fichiers de délinquants », Nice Matin, 20 novembre 2023, https://www.nicematin.com/justice/a-saint-laurent-du-var-les-policiers-municipaux-ont-constitue-leurs-propres-fichiers-de-delinquants-886441. ︎
6. Voir le rapport d’activité de l’Inspection générale de la Police nationale pour l’année 2022, disponible à l’adresse : https://www.interieur.gouv.fr/Publications/Rapports-de-l-IGPN/Rapport-annuel-d-activite-de-l-IGPN-2022 ︎ ︎

Plusieurs articles ont révélé le caractère intensif des moyens de surveillance et de répression déployés par l’État pour punir certaines actions militantes écologistes. Si cela avait déjà été documenté pour le mouvement de résistance nucléaire à Bure, c’est dernièrement le cas de l’affaire Lafarge pour laquelle un article paru sur Rebellyon a détaillé les outils mis en œuvre par la police afin d’identifier les personnes ayant participé à une action ciblant une usine du cimentier.

Vidéosurveillance, analyse des données téléphoniques, réquisitions aux réseaux sociaux, relevés ADN, virements bancaires, traceurs GPS… La liste paraît infinie. Elle donne une idée de la puissance que peut déployer l’État à des fins de surveillance, « dans un dossier visant avant tout des militants politiques » – comme le souligne Médiapart dans son article.

Pour avoir une idée de l’étendue complète de ces moyens, il faut y ajouter la création des cellules spécialisées du ministère de l’Intérieur (la cellule Démeter, créée en 2019 pour lutter contre « la délinquance dans le monde agricole » et la cellule « anti-ZAD », mise en place en 2023 à la suite de Sainte-Soline) ainsi que l’alerte donnée par la CNCTR (l’autorité de contrôle des services de renseignement) qui en 2023 a souligné son malaise sur l’utilisation accrue des services de renseignement à des fins de surveillance des organisations écologistes.

Les forces de sécurité semblent continuer de perfectionner et expérimenter sur les organisations écologistes leurs nouveaux outils de surveillance : drones, caméras nomades, reconnaissance faciale, produits de marquages codés… Parce que ces organisations leur opposent une résistance nouvelle, souvent massive, déployée sur un ensemble de terrains différents (manifestations en milieu urbain, ZAD, méga-bassines…), les forces de police semblent trouver nécessaire l’utilisation de ces outils de surveillance particulièrement invasifs.

Capter le visage des manifestantes

Outil phare de la Technopolice, le drone a été expérimenté dès ses débuts sur les écologistes. Difficile d’y voir un hasard quand (d’après la gendarmerie), la première utilisation d’un drone à des fins de surveillance par la gendarmerie a lieu dans le Tarn en 2015, pour évacuer la ZAD du barrage de Sivens. En 2017, c’est Bure (site prévu pour l’enfouissement de déchets nucléaires) qui sert d’expérimentation avant une utilisation officialisée pour la ZAD de Notre-Dame-des-Landes en 2018.

La gendarmerie y décrit dans sa revue officielle un contexte idéal d’expérimentation avec une utilisation permettant un « grand nombre de premières » : utilisation simultanée de drones et d’hélicoptères de surveillance, retransmission en direct des divers flux vidéos, guidage des tirs de lacrymogènes… Des utilisations qui seront ensuite reprises et normalisées dans les futures utilisations des drones, en particulier pour la surveillance des manifestations. À noter dans la revue officielle de la gendarmerie l’utilisation répétée du terme d’ « adversaires » pour décrire les militantes : « marquage d’adversaire », « manœuvre de l’adversaire »….

Ce n’est pas non plus un hasard si dans le Livre blanc de la sécurité intérieure, document publié fin 2020 par le ministère de l’Intérieur pour formuler un ensemble de propositions sur le maintien de l’ordre, l’exemple de Notre-Dame-des-Landes est cité pour justifier l’utilisation massive de drones, comme une « une étape importante dans la planification et l’exécution d’une opération complexe de maintien de l’ordre ».

Résultat : après la généralisation des drones dès 2020 avec le Covid-19, on a ensuite assisté, une fois l’ensemble légalisé à posteriori (et non sans difficultés), à la normalisation de l’usage des drones pour la surveillance des manifestations. Les drones sont aujourd’hui encore bien utiles à la police pour suivre les actions militantes écologistes, que ce soit récemment pour le Convoi de l’eau ou la mobilisation contre les travaux de l’A69.

À noter que l’imagination de la police et de la gendarmerie ne se limite pas aux drones en ce qui concerne les nouveaux moyens de surveillance vidéo. Plusieurs organisations ont documenté l’utilisation de caméras nomades ou dissimulées pour épier les allées et venues des activistes : caméras dans de fausses pierres ou troncs d’arbres pour la ZAD du Carnet, caméras avec vision nocturne en 2018 dans la Sarthe…

Ficher le visage des manifestantes

Autre outil phare de la Technopolice : la reconnaissance faciale. Rappelons-le : la reconnaissance faciale est (malheureusement) autorisée en France. La police ou la gendarmerie peuvent identifier des personnes grâce à leurs visages en les comparant à ceux enregistrés dans le fichier du traitement des antécédents judiciaires (TAJ). L’utilisation qui en est faite par les services de sécurité est aujourd’hui massive, estimée à plus de 600 000 fois en 2021 (donc plus de 1600 fois par jour).

Il est néanmoins assez rare d’avoir des exemples concrets de son utilisation pour comprendre comment et sur qui la police utilise ce dispositif. À ce titre, comme souligné dans l’article de Rebellyon, la reconnaissance faciale a été utilisée pour incriminer des personnes censément impliquées dans l’affaire Lafarge, avec l’utilisation d’images tirées de la réquisition des vidéosurveillances des bus de la ville pour les comparer au fichier TAJ. Médiapart dénombre dans son enquête huit personnes identifiées via ce dispositif.

Même chose pour la manifestation de Sainte-Soline : dans un article de juillet 2023, Médiapart relate que les quatre personnes qui ont comparu ont été retrouvées grâce à la reconnaissance faciale. Un premier procès plus tôt, déjà sur Sainte Soline, fait également mention de l’utilisation de la reconnaissance faciale.

Notons bien qu’au vu des chiffres cités plus haut, l’utilisation de la reconnaissance faciale est massive et n’est pas concentrée sur les militant·es écologistes (voir ici une utilisation récente pour retrouver une personne soupçonnée de vol). On constate néanmoins une utilisation systématique et banalisée de la reconnaissance faciale du TAJ, normalisée au point de devenir un outil d’enquête comme les autres, et de plus en plus présentée comme élément de preuve dans les tribunaux.

En 2021, nous avions attaqué devant le Conseil d’État cette reconnaissance faciale en soulevant que celle-ci devait légalement être limitée à la preuve d’une « nécessité absolue », un critère juridique qui implique qu’elle ne soit utilisée qu’en dernier recours, si aucune autre méthode d’identification n’est possible, ce qui n’était déjà pas le cas à l’époque. Cela l’est encore moins aujourd’hui à lire les comptes-rendus de Rebellyon ou de Médiapart.

Marquer les manifestantes

D’autres outils de surveillance, encore au stade de l’expérimentation, semblent testés dans les mobilisations écologistes. Parmi les plus préoccupants, les produits de marquage codés. Il s’agit de produits, tirés par un fusil type paintball, invisibles, indolores, permettant de marquer une personne à distance et persistant sur la peau et les vêtements. Ils peuvent être composés d’un produit chimique ou d’un fragment d’ADN de synthèse, se révélant à la lumière d’une lampe UV, porteurs d’un identifiant unique pour « prouver » la participation à une manifestation.

Comme rappelé par le collectif Désarmons-les, c’est dès 2021 que Darmanin annonce l’expérimentation de ce dispositif. Il semble être ensuite utilisé pour la première fois en 2022 lors d’une première manifestation contre la bassine de Sainte-Soline (via l’utilisation par la police de fusils spéciaux, ressemblant à ceux utilisés par les lanceurs paintball). En 2022, Darmanin dénombrait déjà plus de 250 utilisations de ce dispositif.

En 2023, son utilisation est de nouveau remarquée pour la manifestation contre la bassine de Sainte-Soline. Elle entraîne la garde à vue de deux journalistes qui ont détaillé à la presse la procédure suivie par la police et la gendarmerie pour récupérer et analyser la trace de peinture laissée par le fusil PMC.

Cet usage ne semble être aujourd’hui qu’à ses débuts. Dans le cadre d’un recours contentieux contre les drones, la préfecture de police, dans une surenchère sécuritaire sans limite, avait notamment émis le souhait de pouvoir équiper ses drones d’un lanceur de PMC. Le ministre de la Justice a également vanté l’utilisation de ces outils dans une récente audition sur le sujet, « utiles pour retrouver la trace d’un individu cagoulé ». Un rapport parlementaire de novembre 2023 rappelle néanmoins que son utilisation se fait aujourd’hui sans aucun cadre légal, ce qui la rend purement et simplement illégale. Si certains parlementaires semblent également s’interroger sur son efficacité, d’autres, dans un rapport sur « l’activisme violent », appellent à sa pérennisation et sa généralisation. Côté gouvernement, après l’avoir expérimenté sur les militants sans aucun cadre légal, le ministère de l’intérieur semble pour l’instant avoir suspendu son utilisation.

Les mouvements militants ne sont évidemment pas les seuls à connaître cette intensité dans le déploiement des moyens de surveillance : les exilées, les habitantes des quartiers populaires ont toujours été les premières à subir la militarisation forcenée des forces du ministère de l’Intérieur. Néanmoins, cette expérimentation des technologies sur les organisations écologistes est une nouvelle preuve de l’escalade sécuritaire et déshumanisée de la police et de la gendarmerie en lien avec la criminalisation des mouvements sociaux. La France est à l’avant-garde de la dérive autoritaire en Europe, puisqu’il semble être l’un des pays du continent ayant une pratique régulière et combinée de ces nouveaux outils

Le procès de l’affaire du « 8 décembre » s’est tenu du 3 au 27 octobre dernier au tribunal de Paris. Nous en avions longuement parlé dans plusieurs articles avant l’audience, car la DGSI et le parquet national antiterroriste (PNAT), faute de trouver le moindre projet antiterroriste, reprochaient entre autres aux inculpé·es de chiffrer leurs données (disques durs et communications numériques), ce qui prouverait leur goût pour la « clandestinité ».

Bien entendu, la criminalisation du chiffrement des données est à la fois une aberration, puisque tout le monde utilise le chiffrement cent fois par jour, dans les messageries chiffrées (WhatsApp, Telegram, Signal ou autre), dans les connexions https ou dans le simple fait de protéger son disque dur ou son téléphone avec un mot de passe — et un vrai danger pour le droit fondamental à la vie privé et au secret des communications.
Les délires interprétatifs du PNAT et de la DGSI, payés pour voir le mal partout, pourraient passer pour une plaisanterie si d’une part leur suspicion n’avait pas bousillé la vie des sept inculpé·es, et si d’autre part le droit au chiffrement n’était pas remis en cause de façon concomitante par les États à tous les niveaux, aussi bien en France qu’en Europe.

Mais quelle place la question du chiffrement des communications a-t-elle réellement occupée lors des audiences du procès ? Nous y étions. Vous pouvez lire notre compte-rendu sur notre site.

Lire l’article : https://www.laquadrature.net/2023/12/14/outils-de-chiffrement-lors-du-proces-du-8-decembre-du-fantasme-a-la-realite/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous avons lancé fin novembre notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Cette semaine, nos publications ont mis l’accent sur la question de la dimension écologique du numérique, ou plutôt de sa nuisance écologique. Vous pouvez retrouver l’ensemble de nos « fils » sur nos réseaux sociaux : le numérique, à cause de la fabrication du matériel et de la consommation effrénée qu’entraîne une course artificielle à « l’innovation », participe aujourd’hui de façon très notable à la destruction de notre environnement, et se fait le vecteur privilégié de la publicité, qui a envahi le web au point de menacer son équilibre et son fonctionnement.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

La Quadrature dans les médias

À écouter

• JO : à quoi sommes-nous prêts à renoncer pour notre sécurité ? [France Culture]
• Une contre-histoire d’internet par Félix Tréguer [Actualité des luttes]

Algorithmes administratifs

• Entre la CAF et ses allocataires, l’algorithme de la discorde [La Croix]
• La CAF accusée de « ciblage discriminatoire » à cause de la technologie du « datamining » [Econostrum]
• Un arrêt de la Cour de justice de l’UE met en péril les algorithmes de « scoring » [Euractiv]

IA de surveillance

• EU: AI Act negotiators must not trade away our rights [Article 19]
• Surveillance biométrique, police prédictive, détection des émotions… ce que contient l’IA Act européen [L’Humanité]

Agenda

• 27-30 décembre 2023 : La Quadrature du Net sera au 37e Chaos Communication Congress (37C3) à Hambourg et tiendra une conférence le 28 décembre à midi (sauf changement de dernière minute par l’organisation) : https://events.ccc.de/congress/2023/infos/startpage.html.
• 11 janvier 2024 : Causerie mensuelle Technopolice Marseille – 19h – au Manifesten, 59 Rue Adolphe Thiers, à Marseille.

Durant le procès, ont été successivement passées en revue les personnalités des prévenu·es, puis l’examen par thème des faits qui leur sont reprochés. Après la question des explosifs, de la détention d’armes, la pratique de l’« airsoft » (qualifiée d’« entraînements paramilitaires » par le parquet), la question du « numérique » a donc été examinée. Ainsi, plusieurs inculpé·es ont été questionné·es sur leur utilisation de logiciels et applications telles que Signal, Tor, Tails ou sur le chiffrement de leurs ordinateurs et disques durs. Cet interrogatoire a suivi la même ligne directrice que celle du dossier d’instruction, que nous avions révélé il y a quelques mois : à la fois une grande confusion quant à la compréhension technique de ces outils et une vision suspicieuse de la réalité de leurs usages. Trois prévenu·es ont ainsi été questionné·es sur ce qui les poussait à utiliser ces logiciels, comme s’il fallait une justification, une explication argumentée, alors qu’il s’agit d’outils sains, légaux et banals.

« Il est possible et non interdit d’avoir ces outils mais on peut se demander pourquoi dissimuler l’information » s’est ainsi interrogée la présidente. La suspicion de clandestinité couplée à une faible connaissance du sujet transparaissaient dans les questions : « Vous expliquez que l’usage de ce “genre de réseaux” [en l’occurrence Signal] était pour préserver votre vie privée, mais avez-vous peur d’être surveillée ? ». Ou encore : « Pourquoi cela vous avait paru important ou une bonne idée de découvrir ce “genre d’environnement” [cette fois-ci il s’agit du système d’exploitation Tails] ? ». Une juge assesseure n’a pas hésité à utiliser le champ lexical des armes quand elle a essayé de comprendre pourquoi un tel « arsenal complet de divers outils » a été utilisé, laissant présumer une « volonté de discrétion » de la part des prévenu·es. De l’autre coté de la barre, les inculpé·es ont répondu d’une façon simple et cohérente qui peut se résumer ainsi : « c’est ma vie privée, c’est mon droit, c’est important, il est banal d’utiliser ces outils, en particulier dans le monde militant dont on sait qu’il est de plus en plus exposé à la surveillance d’État ».

La question du refus de donner ses clés de déchiffrement a elle aussi été abordée. En l’occurrence, plusieurs prévenu·es ont refusé lors de leur arrestation de fournir aux agents de la DGSI chargés de l’enquête les codes de déverrouillage d’ordinateur, de téléphone ou encore de disque dur saisis en perquisition. En France, un tel refus peut constituer une infraction sur la base d’une disposition interprétée largement et très contestée. Face à l’incompréhension des juges — pourquoi s’exposer aussi frontalement à des poursuites pénales ? — les prévenu·es ne leur ont pas fourni les aveux attendus. Au contraire, les personnes interrogées ont amené la discussion plus loin, sur leurs libertés et droits fondamentaux, levant le voile sur la violente réalité des procédures antiterroristes. « Dans un moment de vulnérabilité telle que celui de la garde à vue, après avoir donné mon ADN, je voulais m’attacher à ce qu’il me restait d’intimité, je voulais la conserver » explique Camille, une prévenue présentée comme l’experte numérique par le procureur. Loïc, un autre inculpé renchérit : « Je savais que la DGSI allait réussir à déchiffrer mon matériel informatique et voir que je ne suis pas dangereux, c’était ma manière de montrer mon refus car ma liberté et mon intimité sont plus précieuses ».

Enfin, dans le but d’éclairer les juges sur le fonctionnement des outils mis en cause dans le dossier et la réalité de leurs usages, un membre de La Quadrature du Net, également développeur de l’application Silence, est venu témoigner au procès. Qu’il s’agisse du chiffrement, de Signal, Tor, Tails ou du système d’exploitation /e/OS, son témoignage est revenu sur la banalité des technologies derrière ces applications et leur usage généralisé et nécessaire dans la société numérisée contemporaine, loin des fantasmes de clandestinité de la DGSI et du parquet. Les magistrates ne lui ont pourtant posé que peu de questions. Le parquet, lui, s’est uniquement ému que des éléments du dossier, pourtant non couverts par le secret de l’instruction, aient pu être portés à la connaissance du témoin. Un mauvais numéro de théâtre qui laissait surtout deviner une volonté de le décrédibiliser lui ainsi que le contenu de son témoignage.

De façon générale, la place des pratiques numériques a été faible relativement à l’ampleur et la durée du procès, et bien en deça de celle qui lui était accordée dans le réquisitoire ou l’ordonnance de renvoi du juge d’Instruction. Quelle interprétation tirer à la fois du manque d’intérêt des juges et de la faible quantité de temps consacrée à ce sujet ? Difficile d’avoir des certitudes. On pourrait y voir, d’un coté, une prise de conscience des magistrates et du parquet de l’absurdité qu’il y a à reprocher l’utilisation d’outils légaux et légitimes. Rappelons que plus de 130 universitaires, journalistes, militant·es, acteur·rices du monde associatif et de l’écosystème numérique ont signé une tribune dans le journal Le Monde pour dénoncer cette instrumentalisation et défendre le droit au chiffrement. Mais d’un autre coté, cette désinvolture pourrait être le signe d’un manque de considération pour ces questions, notamment quant à l’importance du droit à la vie privée. Cela ne serait pas étonnant, dans une procédure qui se fonde sur une utilisation intensive de techniques de renseignement et sur une surveillance disproportionnée de sept personnes dont la vie a été broyée par la machine judiciaire.

La lecture du jugement est prévue pour le 22 décembre. Que le tribunal retienne le recours à des technologies protectrices de la vie privée dans la motivation de sa décision ou qu’il laisse cet enjeu de côté, le récit fictif de la police à ce sujet risque d’avoir des conséquences à long terme. Le précédent d’une inculpation anti-terroriste reposant essentiellement sur ce point existe désormais et il est difficile de croire qu’à l’heure où le chiffrement fait l’objet de nombreuses attaques, en France et en Europe, la police ne réutilisera pas cette logique de criminalisation pour justifier une surveillance toujours plus accrue de la population et des groupes militants.