Autoblog de la La quadrature du net

Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.

Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :

• RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.) ;
• PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
• PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
• M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
• Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales.

Des technologies dangereuses, sans encadrement ni évaluation

Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligence artificielle.

Corrélation n’est pas causalité

Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.

Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.

S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.

Des variables potentiellement discriminatoires

Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.

En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.

De fausses croyances criminologiques

Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.

Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».

Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.

Un risque d’auto-renforcement

La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).

En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».

La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.

De possibles abus de pouvoir

Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.

Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.

Des outils à l’efficacité douteuse

Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.

De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre¹. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.

Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.

De graves lacunes dans la gestion des données

Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 2020². Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.

Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.

Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées³. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »⁴.

Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.

Il est urgent d’interdire la police prédictive

L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…

Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.

Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.

Nous aider

Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.

Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.

Lire le rapport complet

---

1. Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ︎
2. Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ︎
3. Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ︎
4. Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ︎

Société de contrôle (1) : les outils illégaux de la surveillance municipale

Notre campagne Technopolice a déjà quatre ans, et les acteurs de l’industrie française de la surveillance sont bien identifiés. Lobby industriel, député porte-cause, discours sécuritaire dicté par la police, on connaît le paysage. Voici venu le temps de s’intéresser plus en détail aux entreprises privées qui fleurissent dans le sillage de ce marché économique considérable, où les fonds publics abondent sans discussion pour mieux nous surveiller.

Cette semaine, penchons-nous sur le cas de la société Edicia, basée à Nantes. Elle s’engraisse en fournissant à de nombreuses polices municipales françaises une « solution » baptisée Smart Police, logiciel embarqué sur terminal mobile qui permet aux agents de prendre des notes, de rédiger des rapports, et à leur supérieur resté au commissariat de mieux les manager. Nous avons obtenu le manuel d’utilisation de Smart Police, grâce auquel nous pouvons avoir une idée précise de ce que les agents municipaux peuvent faire, et des conséquences pratiques de ces nouvelles facilités opérationnelles. Une lecture édifiante : l’outil, dans sa grande variété et sa grande souplesse, permet des pratiques contraires au cadre réglementaire qui régit les polices municipales.

Fichage sans autorisation, croisement de données, photographies des personnes contrôlées : là où l’idéologie sécuritaire voit du bon sens, nous voyons des usages clairement illégaux et une victoire de facto de la surveillance systématisée. Pour en savoir plus, lisez l’article, qui s’inscrit dans une enquête sur les outils numériques de la « police prédictive » et sera suivi par d’autres publications.

Lire l’article : https://www.laquadrature.net/2024/01/10/smart-police-dedicia-le-logiciel-a-tout-faire-des-polices-municipales/

Société de contrôle (2) : la CAF défend son programme de chasse aux pauvres

Notre enquête sur les algorithmes de contrôle social n’en est encore qu’à son début, mais elle a déjà produit quelques effets : après notre analyse de son algorithme de notation des allocataires, la Caisse nationale d’allocations familiales (CNAF) est bien obligée de se justifier publiquement au sujet de ses pratiques discriminatoires.

La réponse du directeur de la CNAF, entre déni et diversion, relève de la communication de crise. Mais les faits que nous constatons dans l’analyse de l’algorithme lui-même restent irréfutables. Et derrière l’autosatisfaction de l’institution, saluée aussi par les députés de la majorité présidentielle pour son efficacité dans la chasse aux pauvres, on voit un jeu de dupes : loin d’une rentabilité réelle, et à rebours de la « fraternité » républicaine de la société avec ses membres les plus précaires, le contrôle systématique par algorithme sert l’idéologie d’une efficacité gestionnaire où le recours aux outils numériques habille de modernité des choix politiques et sociaux inégalitaires. Analyse du discours de la CNAF et réponse point par point dans notre article !

Lire l’article : https://www.laquadrature.net/2024/01/11/notation-des-allocataires-face-aux-faits-la-caf-senferme-dans-le-deni-et-la-mauvaise-foi/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

• 13 janvier 2024 : atelier sur Internet, l’anonymat et la Technopolice, en collaboration avec la Compagnie RYBN.org – 14h-20h, à La Compagnie, 19 rue Francis de Pressensé, Marseille. Détails  : https://www.la-compagnie.org/portfolio/rybncapitalismsxit/.
• 19 janvier 2024 : Quadrapéro parisien à partir de 19h dans nos locaux au 115 rue de Ménilmontant, 75020 Paris.
• 25 janvier 2024 : soirée sur la vidéosurveillance algorithmique organisée par le groupe ATTAC Nord Ouest à 19h30 à la Maison des associations du 18e, 15 Passage Ramey, 75018 Paris.
• 27 janvier 2024 : La Quadrature sera aux 3e Assises de l’Attention, pour parler de démocratie à l’heure du numérique – 9h-18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.

La Quadrature dans les médias

À écouter

• Conférence de La Quadrature au Chaos Communication Congress (#37C3), en anglais : « A year of surveillance in France: a short satirical tale by La Quadrature du Net »

Algorithmes administratifs

• « L’algorithme de la CAF conduit à un surcontrôle des populations les plus précaires » [Alternatives économiques]
• EELV en croisade contre la « pauvrophobie d’Etat » [L’Internaute]
• Rendre accessibles les algorithmes, un vœu pieux ? [La gazette des communes]
• RSA, APL, AAH, prime d’activité… Que risque-t-on lorsqu’on fraude les aides de la CAF ? [Merci pour l’info]
• Le grand méchant score social qui cache la forêt [Numerama]

IA de surveillance

• Philippe Latombe, député macroniste et VRP de la surveillance [StreetPress]
• En prévision des JO, la SNCF a testé plus d’une dizaine d’algorithmes de vidéosurveillance [Mediapart]
• Paris 2024, le retour des JO dans un pays libre? Oui mais… [Le Temps]
• Vidéosurveillance à Moirans : La Quadrature du net déboutée par le Conseil d’État mais l’affaire n’est pas terminée [Le Dauphiné libéré]
• Comment des drones et l’IA vont bientôt contrôler le trafic routier de cette mégalopole asiatique [Ouest-France]
• AI is powering a revolution in policing, at the Olympics and beyond [The Washington Post]
• Nizza: le telecamere di sorveglianza sfruttano l’AI [La Svolta]

Interopérabilité

• Quatre choses à savoir sur le «fédivers» dont parle Threads, le nouveau réseau social de Meta [Libération]
• Meta : c’est quoi le Fédivers, la prochaine conquête de Mark Zuckerberg ? [Phonandroid]

Fichage

• « SISPoPP », le nouveau fichier qui fâche [Mediapart]
• SISPoPP : tout savoir sur le nouveau fichier des tribunaux qui inquiète tant [Comment ça marche]

Données personnelles

• Les étranges excuses d’Amazon pour échapper à son amende record [01Net]
• Amazon attacks EU privacy watchdog it claims was out to get it [Bloomberg]

Divers

• Le Fisc pourra davantage traquer les fraudeurs sur les réseaux sociaux [01Net]
• Les services secrets américains pourront tranquillement nous espionner jusqu’en avril 2024 [01Net]

Retrouvez l’ensemble de nos travaux sur l’utilisation par les administrations sociales d’algorithmes de notation sur notre page dédiée et notre Gitlab.

« Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la CAF — dans un « Message au sujet des algorithmes » à destination des 30 000 agent·es de la CAF¹Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter. — a réagi à notre publication du code source de l’algorithme de notation des allocataires.

Et pourtant, devant la montée de la contestation²Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici. — s’étendant au sein des CAF elles-même car seul·es les dirigeant·es et une poignée de statisticien·nes avaient connaissance de la formule de l’algorithme –, il était possible d’espérer, a minima, une remise en question de la part de ses dirigeant·es.

Mais à l’évidence des faits, les dirigeant·es de la CAF ont préféré le déni. Cette fuite en avant a un coût car un élément de langage, quelque soit le nombre de fois où il est répété, ne se substituera jamais aux faits. À vouloir nier la réalité, c’est leur propre crédibilité, et partant celle de leur institution, que les dirigeant·es de la CAF mettent en danger.

Un problème sémantique

À peine quelques heures après la publication de notre article — et alors qu’il était possible pour chacun·e de vérifier que la valeur du score de suspicion alloué par l’algorithme augmente avec le fait d’être en situation de handicap tout en travaillant, d’avoir de faibles revenus, de bénéficier des minima sociaux ou encore d’être privé·e d’emploi — le directeur de la CAF affirmait publiquement que son algorithme n’était « pas discriminatoire ».

Devant une telle dénégation, on se demande comment le directeur de la CAF définit une politique « discriminatoire ». Voici en tout cas celle donnée par le Wiktionnaire : « Traitement défavorable de certains groupes humains via la réduction arbitraire de leurs droits et contraire au principe de l’égalité en droit. » Rappelons en outre, au cas où subsisterait un doute, qu’un contrôle est en soi un moment extrêmement difficile à vivre³Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois..

Dans le même message, il ajoutait que l’algorithme n’est pas utilisé pour « surveiller les allocataires » ou « les suspecter », mais simplement pour les « classer ». Rappelons que les deux ne sont pas contradictoires mais complémentaires. La surveillance de masse — que ce soit dans la rue, sur internet ou à la CAF — est un préalable au tri de la population.

S’agissant enfin de savoir si l’utilisation de cet algorithme a vocation à « suspecter » les allocataires ou non, nous le renvoyons aux déclarations d’un autre directeur de la CAF qui écrivait qu’il considérait les « techniques de datamining » comme « des outils de lutte contre les fraudeurs et les escrocs »⁴Voir DNLF info n°23, juin 2014. Disponible ici.. On soulignera aussi la contradiction entre le discours tenu par l’actuel directeur de la CAF et celui qu’il tenait quelques mois plus tôt au micro de France Info⁵France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici. à qui il expliquait que le refus de nous communiquer le code source de l’algorithme était justifié par le fait que la CAF doit garder « un coup d’avance » face à celles et ceux « dont le but est de frauder le système ».

Ou mathématique ?

À ces problèmes sémantiques s’ajoutent un désaccord mathématique. Le directeur de la CAF avance que l’objectif de l’algorithme serait de « détecter rapidement » des indus afin « d’éviter des remboursements postérieurs trop importants ». Ce raisonnement est un non-sens technique visant à faire croire aux personnes ciblées par l’algorithme que ce dernier… les servirait.

Or, l’algorithme a été développé pour détecter des situations présentant des indus supérieurs à un certain montant⁶Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.. Il est entraîné sur la base de dossiers choisis aléatoirement puis analysés par les contrôleur·ses de la CAF sur une période de deux ans, soit la durée de prescription des indus⁷Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude..

En d’autres termes, l’algorithme a pour seul objectif de maximiser les montants d’indus récupérables sans aucune considération pour une soi-disant détection précoce qui viserait à prévenir leur accumulation. Ainsi, présenter l’algorithme comme un outil au service de celles et ceux qui en subissent les conséquences est foncièrement trompeur.

Nier jusqu’à l’opacité

« Notre fonctionnement n’est pas opaque » ajoutait finalement le directeur de la CAF dans cette même lettre. Sachant l’énergie que nous avons dû déployer pour obtenir le moindre document relatif à la politique de contrôle de la CAF, il fallait oser.

Concernant l’algorithme lui-même, rappelons que nous avons dû batailler pendant plusieurs mois pour réussir à avoir accès au code de ce dernier. La CAF, dans des courriers que nous rendons publics avec cet article, s’est systématiquement opposée à sa publication. Elle ne l’a communiqué qu’après avoir été contredite par la Commission d’accès aux documents administratifs (CADA).

Pire, la CAF refuse systématiquement de transmettre la moindre information quant au fonctionnement de son algorithme aux allocataires faisant l’objet d’un contrôle. On pourra citer le cas d’une allocataire ayant subi un contrôle datamining que nous avons aidée à rédiger plusieurs courriers⁸Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.. Pendant plus de 3 ans, cette personne a multiplié les recours juridiques pour comprendre les raisons de son contrôle : saisine CADA, courrier au défenseur des droits, plainte à la CNIL… Toutes ces démarches sont restées lettres mortes.

Enfin, la CAF ne nous a toujours pas communiqué le registre complet de ses activités de traitement⁹Prévu par l’article 30 du RGPD. ni l’étude d’impact de l’algorithme de notation. Nous avons dû, encore une fois, saisir la CADA pour tenter d’avancer.

Lutter contre les erreurs ?

Il existe cependant une chose sur laquelle tout le monde est d’accord : si les indus se concentrent sur les plus précaires c’est parce que les aides qui leur sont versées, en particulier les minima sociaux, sont encadrées par des règles complexes qui génèrent incompréhensions et erreurs involontaires.

Le directeur de la CAF dit ainsi que si « les allocataires les plus pauvres » sont « surreprésentés parmi les risques d’erreurs » c’est en grande partie parce qu’ils reçoivent « des aides plus complexes ». Il ajoute même que la « complexité déclarative » et l’« instabilité des droits […] sape la confiance » des allocataires¹⁰Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.. On complètera en rappelant que la complexité des règles d’accès aux minima sociaux est elle-même le fruit de politiques autoritaires de « lutte contre l’assistanat »¹¹Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. et que de nombreuses erreurs sont par ailleurs le fait de la CAF elle-même¹²Voir notamment cet article de La Croix..

Partant de ce constat, comment comprendre le traitement répressif réservé à celles et ceux dont tout le monde s’accorde à dire qu’elles sont victimes d’un dysfonctionnement administratif et politique ? Pourquoi choisir de déployer des moyens numériques colossaux — interconnexion de fichiers, droit de communication… — visant à réprimer celles et ceux qui ne font que subir une situation ? Comment expliquer que les dirigeant·es de la CAF encouragent une telle politique de la double peine ciblant celles et ceux qu’ils et elles sont censé·es servir ?

Ou en profiter?

Disons-le tout de suite : l’enjeu n’est pas financier. L’algorithme de datamining permet de récupérer à peine 200 millions d’euros par an sur un total d’environ 100 milliards de prestations versées par la CAF. Soit 0,2% du montant des prestations sociales. En admettant qu’aucun système ne puisse être parfait, ce montant semble dérisoire.

L’enjeu est politique. Ou plutôt d’image. Car depuis sa généralisation en 2011, l’algorithme est instrumentalisé par les dirigeant·es la CAF comme un faire-valoir de leur capacité de gestion de l’institution¹³Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».. L’année de son introduction, la CAF écrira que « pour sa première année, le data mining a permis une évolution importante des rendements et résultats financiers […] »¹⁴Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.. Devant l’assemblée nationale, un directeur de la CAF se félicitera que le « datamining […] fait la preuve d’une efficacité croissante » améliorant le « taux d’impact » des contrôles¹⁵Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.. Un autre écrira que l’algorithme est devenu un outil central de la « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs »¹⁶Voir DNLF info n°23, juin 2014. Disponible ici..

Efficacité, rendement, modernité : voici les maîtres-mots utilisés par les dirigeant·es de la CAF pour asseoir une politique de communication construite autour de pratiques numériques de harcèlement des plus précaires dont ils et elles récoltent les bénéfices à travers la valorisation de leur savoir-faire gestionnaire. « Vous êtes souvent cités comme le “bon élève” ou “le chef de file” [en termes de politique de contrôle] » déclarera une députée à une directrice « Maîtrise des risques » de la CAF¹⁷Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici. tandis que la cour des comptes louera l’amélioration de « l’efficicience de l’emploi des ressources affectées à la détection d’irrégularités » opérée grâce à l’algorithme¹⁸Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici..

Mis en miroir des témoignages révélant la violence de ces contrôles et des procédures de récupération d’indus, ce type de discours laisse sans voix. Comment se souvenir qu’il provient pourtant de celles et ceux en charge de l’assistance aux plus démuni·es ?

Lutter

Voilà donc la réalité politique de l’algorithme de notation de la CAF et ce pourquoi il est si compliqué pour les dirigeant·es de la CAF de l’abandonner. Cela leur demanderait d’accepter de renoncer à ce qu’il leur rapporte : soit le rendement de la misère.

Avant de conclure, nous tenons à dire à toutes et tous les employé·es de la CAF que nous savons votre engagement auprès de celles et ceux qui en ont besoin et que nous vous en remercions. Course au rendement, suivi de la moindre de vos activités, surveillance informatique, pertes de moyens humains, dépossession des outils de travail : les pratiques de contrôle numérique de la CAF et la dégradation de vos conditions de travail ont les mêmes racines. C’est pourquoi nous vous appelons à vous mobiliser à nos côtés.

Quant à nous, nous continuerons à nous mobiliser aux côtés de tous les collectifs qui luttent contre les pratiques de contrôles de la CAF, au premier rang desquels Stop Contrôles, Changer de Cap et Droits Sociaux¹⁹Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.. Nous appelons également à un questionnement plus large sur les pratiques des autres institutions sociales.

Pour nous aider, échanger, vous mobiliser, n’hésitez pas à nous écrire à algos@laquadrature.net. Notre clé publique est disponible ici.

Dans le cadre d’une enquête sur les technologies de police prédictive dont nous vous reparlerons très bientôt, La Quadrature s’est intéressée de près à Edicia. Cette startup est peu connue du grand public. Elle joue pourtant un rôle central puisqu’elle équipe des centaines de polices municipales à travers le pays. Son logiciel Smart Police, dont nous avons obtenu le manuel d’utilisation, permet de faire un peu tout et n’importe quoi. Loin de tout contrôle de la CNIL, Smart Police encourage notamment le fichage illégal, une pratique policière en vogue…

L’entreprise Edicia a été créée en 2013 et a son siège à Nantes. Cette année-là, Vincent Loubert, un ancien consultant de Cap Gemini, rachète, avec le soutien du fonds d’investissement Newfund, une société de logiciels du nom d’Access, lancée à l’origine par un policier à la retraite qui cherchait à développer une application simplifiant le travail des policiers. Sous l’égide d’Edicia, ce logiciel va prendre le nom de Smart Police.

En 2019, après une expansion rapide en France (Edicia prétend alors équiper près de 600 villes à travers le pays)¹, la startup s’internationalise en développant ses activités aux États-Unis, vendant notamment son logiciel à la police de Denver, dans le Colorado, où elle ouvre même une antenne avec une trentaine de salariés. En France, cette année-là, la startup emploie une quarantaine de personnes et réalise des bénéfices pour la première fois depuis son lancement. Loubert affirme alors avoir consacré près de 10 millions d’euros à la R&D.

Depuis, il est possible que l’entreprise ait connu quelques difficultés financières. Le site d’Edicia comme ses comptes sur les réseaux sociaux sont globalement inactifs. Elle semble également embaucher moins de salariés. Pour autant, son logiciel Smart Police continue d’être utilisé au quotidien par des milliers de policier municipaux à travers le pays.

Aperçu de Smart Police

À quoi sert Smart Police ? À un peu tout et n’importe quoi. Il permet aux agents de police d’utiliser leur téléphone ou tablette pour rédiger leurs rapports directement depuis le terrain, d’ajouter à une base de donnée des clichés photographiques, de rapporter des évènements ou encore d’établir des procès-verbaux (voir les captures d’écran du logiciel à la fin de cet article, ou explorer le manuel d’utilisation au format HTML²). Smart Police est aussi utilisé par les officiers pour suivre depuis leurs bureaux les équipes sur le terrain, cartographier les incidents, consulter leurs rapports et recevoir divers indicateurs statistiques en temps réel, de même que les photographies prises en intervention (par exemple lors d’une manifestation).

Les villes de Marseille, Nice, Élancourt, Antony, Le Pré-Saint-Gervais, Libourne, Chinon, Coignères, Maurepas, ou encore la communauté de communes Grand Paris Sud- Seine Essonne Sénart comptent parmi les clientes d’Edicia (avec en tout 350 villes clientes d’après les derniers chiffres fournis sur le site d’Edicia). Mais bien évidemment, en dehors des affirmations péremptoires des patrons d’Edicia ou de quelques édiles relayés dans la presse, aucune étude disponible ne permet de démontrer le prétendu surcroît d’efficacité policière induit par Smart Police. Par ailleurs, une demande CADA nous a appris qu’une ville comme Cannes avait été cliente d’Edicia, avant de décommissionner le logiciel sans qu’on sache exactement pourquoi. Il est possible qu’à l’image de certains logiciels utilisés aux États-Unis puis abandonnés, le rapport coût-efficacité ait été jugé trop faible.

Fichage en mode YOLO ?

L’une des composantes les plus importantes de Smart Police, dont le manuel d’utilisation nous a été communiqué via une demande CADA et est désormais disponible, réside dans son menu « Activités de terrain », que les agents utilisateurs manient quotidiennement. Il leur permet de créer de nouvelles « mains courantes », d’écrire et de référencer des rapports de police (procès-verbaux) documentant diverses infractions que les agents de la police municipale sont autorisés à constater. Lorsqu’ils créent ces fiches, les agents doivent fournir des informations générales, la localisation géographique de l’événement, le type d’infraction, l’identité et les coordonnées du suspect ou des témoins (qui peuvent être enregistrées facilement en scannant une carte d’identité), etc. En tant que telles, ces fiches de signalement peuvent être détournées pour des finalités qui dépassent les prérogatives de la police municipale – lesquelles sont limitées, notamment en matière de contrôle d’identité³ –, et devraient être soumises à un contrôle étroit.

Un autre module présente un risque encore plus important de fichage illégal : il s’agit du module « Demande administré », qui comme son nom l’indique, permet d’enregistrer les signalements faits par des administrés à la police municipale (bruit, dégradation, présence d’un animal dangereux, etc.). Là encore, l’interface rend possible l’ajout de données géolocalisées et de photographies.

Enfin, Smart Police comporte un module « Vigilance active », au sein duquel les agents peuvent rassembler des informations non officielles sur des événements passés ou futurs. Par exemple, si un agent de police a rapporté une rumeur entendue dans la rue ou repérée sur les réseaux sociaux (par exemple concernant un « rassemblement non autorisé », ainsi que l’illustre le manuel), une fiche peut être créée pour la consigner. Celle-ci peut très bien comporter toutes sortes de données dont le traitement par la police est, dans un tel cadre, totalement illégal (identité des personnes suspectées d’organiser ce rassemblement, des photographies extraites des réseaux sociaux, etc.). Ces fiches de renseignement peuvent ensuite être transformées en « missions » assignées aux agents depuis l’interface à disposition des managers, conduire à la création de nouvelles fiches « mains courantes », mais aussi alimenter le module « Analyse prédictive » si la ville cliente d’Edicia y a souscrit (nous y reviendrons dans un prochain article).

On le comprend au regard de ces descriptions, Smart Police comporte un risque important de voir consignées des données identifiantes, et donc là encore de conduire à des opérations de fichage illégal. Notamment, il ne semble pas respecter le cadre réglementaire s’agissant des traitements automatisés utilisés par les polices municipales pour gérer les mains courantes, puisque ce dernier exclut la prise de photographies⁴.

Loin de tout contrôle

Par deux fois, nous avons interrogé la CNIL via des demandes CADA pour savoir si elle s’était penchée sur l’utilisation de Smart Police en France. Par deux fois, la même réponse nous a été faite : en dehors de quelques formalités préalables réalisées par une demi-douzaine de communes avant l’entrée en vigueur du RGPD, nada (voir ici pour la dernière réponse en date). Nous avons bien mis la main sur l’attestation de conformité RGPD, délivrée à Edicia par le cabinet Olivier Iteanu et obtenue via une demande CADA à la ville de Libourne, ainsi qu’un document relatif à la politique de gestion des données d’Edicia, mais celles-ci n’offrent aucun élément réellement rassurant s’agissant du risque de voir Smart Police servir à des opérations de fichage illégal. Enfin, aucune des dizaines de demandes CADA envoyées aux mairies s’agissant d’Edicia n’a mis en évidence de contrôle réalisé par les personnes déléguées à la protection des données au sein des villes.

Nos inquiétudes à ce sujet sont évidemment renforcées par des révélations récentes. La presse locale s’est récemment faite l’écho de pratiques de policiers municipaux dans une commune de la région PACA consistant à échanger, sur des boucles WhatsApp privées et à partir de leurs smartphones personnels, des données sensibles relatives à des personnes : images extraites de la vidéosurveillance, photos des personnes contrôlées, plaques d’immatriculation, pièces d’identité, etc⁵. Des pratiques totalement illégales mais dont on peut supposer qu’elles sont monnaie courante, non seulement au sein des polices municipales mais aussi au sein de la police nationale.

Quant au dernier rapport de l’Inspection générale de la police nationale (IGPN)⁶, il note une hausse sensible des faits de détournements de fichiers (56 enquêtes, contre 38 en 2021 et 27 en 2020), une évolution qu’elle qualifie de « préoccupante » :

Ces faits sont de gravité très inégale selon qu’ils procèdent de la curiosité « malsaine » (passage aux fichiers d’une ex-compagne ou d’un nouveau compagnon, de membres de sa famille, d’une personne connue, d’un chef de service, sans argent versé ou contrepartie) ou du commerce des informations récoltées. Ces cas sont les plus sensibles, lorsque les informations confidentielles issues des fichiers de police sont remises à des tiers, avec ou sans but lucratif. Si la preuve de la consultation illégale est assez simple à rapporter par les enquêteurs, il en va différemment pour la preuve éventuelle d’une rétribution à titre de contrepartie.

Pour l’institution, « cette situation tient à la fois à la multiplication du nombre de fichiers de police et une meilleure accessibilité », notamment du fait d’un déploiement croissant des tablettes et smartphones Neo, lesquelles permettent un accès plus aisé aux fichiers de police pour les agents de la police nationale et de la gendarmerie nationale. L’IGPN estime que l’intelligence artificielle pourrait permettre de détecter plus aisément ces consultations illégales.

Et maintenant ?

Pour notre part, plutôt qu’un solutionnisme technologique abscons, la réponse tiendrait plutôt à une désescalade techno-sécuritaire, à savoir le fait de battre en brèche l’augmentation exponentielle du fichage de la population, le recul constant des garanties concrètes apportées aux droits fondamentaux (recul auquel le RGPD et les textes associés ont participé par de nombreux aspects). Au minimum, les contre-pouvoirs institutionnels, comme la CNIL, devraient faire leur travail, à savoir lutter contre les illégalismes policiers, plutôt que d’instaurer une impunité de fait par leur coupable laisser-faire.

De ce point de vue, un premier pas dans la bonne direction consisterait à procéder à un contrôle résolu des polices municipales clientes d’Edicia, en n’hésitant pas à prononcer de vraies sanctions contre les responsables hiérarchiques dès lors que des infractions seront constatées.

Pour soutenir notre travail, vous pouvez faire un don à La Quadrature du Net.

---

1. À noter : sur son site web, Edicia se targue également de compter parmi ses clients quelques services du ministère de l’Intérieur, mais nos demandes CADA envoyées au ministère sur ces collaborations sont restées infructueuses, le ministère prétendant qu’il n’existe aucun lien avec Edicia. ︎
2. Le manuel d’utilisation de Smart Police est disponible à l’adresse suivante : https://technopolice.fr/police-predictive/manuel-edicia/Edicia.html. ︎
3. Lorsqu’ils créent des procès-verbaux dans Edicia, les agents sont invités à choisir parmi une liste d’infractions présélectionnées et tirées d’une base de données nationale catégorisant tous les types d’infractions (la base de données NATINF). Rappelons que les types d’infractions que les agents de police municipale peuvent constater sont très limités. Ils peuvent par exemple sanctionner les propriétaires de chiens dangereux qui ne respectent pas la loi, inspecter visuellement et fouiller (avec l’autorisation du propriétaire) les sacs et bagages lors de manifestations publiques ou à l’entrée d’un bâtiment municipal, délivrer des amendes en cas d’incivilités telles que le dépôt d’ordures dans la nature, le tapage nocturne, le fait de laisser des animaux dangereux en liberté, et constater la plupart des infractions au code de la route commises sur le territoire communal dès lors qu’elles ne nécessitent pas d’enquête. Cependant, les agents de la police municipale disposent de pouvoirs beaucoup plus étendus que ne le laisse supposer le code pénal : arrestation en flagrant délit d’une personne ayant commis un crime ou un délit passible de prison pour l’amener au poste de police nationale ou de gendarmerie le plus proche, établissement de rapports et procès-verbaux concernant tout crime, délit ou contravention dont les agents municipaux seraient témoins, documents qui peuvent soit être directement transmis à la police nationale ou à la gendarmerie, soit au maire. Celui-ci, ayant qualité d’officier de police judiciaire, transmet alors l’information au procureur de la république. Bien que la loi ne les autorise pas à procéder à des contrôles d’identité, les agents de police municipaux peuvent collecter l’identité d’une personne, tant qu’ils ne demandent pas de produire une pièce attestant de celle-ci, et sont autorisés à demander une preuve d’identité dans le cas des quelques délits qui rentrent dans leurs prérogatives. Le logiciel d’Edicia semble donc offrir des fonctionnalités qui vont bien au-delà du cadre juridique. Voir « Mémento policiers municipaux et gardes champêtres ». Ministère de l’Intérieur, 10 novembre 2021. https://www.interieur.gouv.fr/content/download/129786/1033871/file/memento-polices-muni-gardes-champetres.pdf. ︎
4. Arrêté du 14 avril 2009 autorisant la mise en œuvre de traitements automatisés dans les communes ayant pour objet la recherche et la constatation des infractions pénales par leurs fonctionnaires et agents habilités, consulté le 9 décembre 2023, https://www.legifrance.gouv.fr/loda/id/JORFTEXT000020692173. ︎
5. Éric Galliano, « Saint-Laurent-du-Var : Les policiers municipaux ont constitué leurs propres fichiers de délinquants », Nice Matin, 20 novembre 2023, https://www.nicematin.com/justice/a-saint-laurent-du-var-les-policiers-municipaux-ont-constitue-leurs-propres-fichiers-de-delinquants-886441. ︎
6. Voir le rapport d’activité de l’Inspection générale de la Police nationale pour l’année 2022, disponible à l’adresse : https://www.interieur.gouv.fr/Publications/Rapports-de-l-IGPN/Rapport-annuel-d-activite-de-l-IGPN-2022 ︎ ︎

Plusieurs affaires récentes ont mis en lumière la surveillance particulièrement intensive subie par les militantes écologistes. Outre l’arsenal administratif et répressif déployé par l’État pour les punir, c’est la nature des moyens utilisés qui interpelle : drones, reconnaissance faciale, marqueurs codés… Le ministère de l’Intérieur expérimente et perfectionne sur les activistes écologiques ses outils technopoliciers.

Plusieurs articles ont révélé le caractère intensif des moyens de surveillance et de répression déployés par l’État pour punir certaines actions militantes écologistes. Si cela avait déjà été documenté pour le mouvement de résistance nucléaire à Bure, c’est dernièrement le cas de l’affaire Lafarge pour laquelle un article paru sur Rebellyon a détaillé les outils mis en œuvre par la police afin d’identifier les personnes ayant participé à une action ciblant une usine du cimentier.

Vidéosurveillance, analyse des données téléphoniques, réquisitions aux réseaux sociaux, relevés ADN, virements bancaires, traceurs GPS… La liste paraît infinie. Elle donne une idée de la puissance que peut déployer l’État à des fins de surveillance, « dans un dossier visant avant tout des militants politiques » – comme le souligne Médiapart dans son article.

Pour avoir une idée de l’étendue complète de ces moyens, il faut y ajouter la création des cellules spécialisées du ministère de l’Intérieur (la cellule Démeter, créée en 2019 pour lutter contre « la délinquance dans le monde agricole » et la cellule « anti-ZAD », mise en place en 2023 à la suite de Sainte-Soline) ainsi que l’alerte donnée par la CNCTR (l’autorité de contrôle des services de renseignement) qui en 2023 a souligné son malaise sur l’utilisation accrue des services de renseignement à des fins de surveillance des organisations écologistes.

Les forces de sécurité semblent continuer de perfectionner et expérimenter sur les organisations écologistes leurs nouveaux outils de surveillance : drones, caméras nomades, reconnaissance faciale, produits de marquages codés… Parce que ces organisations leur opposent une résistance nouvelle, souvent massive, déployée sur un ensemble de terrains différents (manifestations en milieu urbain, ZAD, méga-bassines…), les forces de police semblent trouver nécessaire l’utilisation de ces outils de surveillance particulièrement invasifs.

Capter le visage des manifestantes

Outil phare de la Technopolice, le drone a été expérimenté dès ses débuts sur les écologistes. Difficile d’y voir un hasard quand (d’après la gendarmerie), la première utilisation d’un drone à des fins de surveillance par la gendarmerie a lieu dans le Tarn en 2015, pour évacuer la ZAD du barrage de Sivens. En 2017, c’est Bure (site prévu pour l’enfouissement de déchets nucléaires) qui sert d’expérimentation avant une utilisation officialisée pour la ZAD de Notre-Dame-des-Landes en 2018.

La gendarmerie y décrit dans sa revue officielle un contexte idéal d’expérimentation avec une utilisation permettant un « grand nombre de premières » : utilisation simultanée de drones et d’hélicoptères de surveillance, retransmission en direct des divers flux vidéos, guidage des tirs de lacrymogènes… Des utilisations qui seront ensuite reprises et normalisées dans les futures utilisations des drones, en particulier pour la surveillance des manifestations. À noter dans la revue officielle de la gendarmerie l’utilisation répétée du terme d’ « adversaires » pour décrire les militantes : « marquage d’adversaire », « manœuvre de l’adversaire »….

Ce n’est pas non plus un hasard si dans le Livre blanc de la sécurité intérieure, document publié fin 2020 par le ministère de l’Intérieur pour formuler un ensemble de propositions sur le maintien de l’ordre, l’exemple de Notre-Dame-des-Landes est cité pour justifier l’utilisation massive de drones, comme une « une étape importante dans la planification et l’exécution d’une opération complexe de maintien de l’ordre ».

Résultat : après la généralisation des drones dès 2020 avec le Covid-19, on a ensuite assisté, une fois l’ensemble légalisé à posteriori (et non sans difficultés), à la normalisation de l’usage des drones pour la surveillance des manifestations. Les drones sont aujourd’hui encore bien utiles à la police pour suivre les actions militantes écologistes, que ce soit récemment pour le Convoi de l’eau ou la mobilisation contre les travaux de l’A69.

À noter que l’imagination de la police et de la gendarmerie ne se limite pas aux drones en ce qui concerne les nouveaux moyens de surveillance vidéo. Plusieurs organisations ont documenté l’utilisation de caméras nomades ou dissimulées pour épier les allées et venues des activistes : caméras dans de fausses pierres ou troncs d’arbres pour la ZAD du Carnet, caméras avec vision nocturne en 2018 dans la Sarthe…

Ficher le visage des manifestantes

Autre outil phare de la Technopolice : la reconnaissance faciale. Rappelons-le : la reconnaissance faciale est (malheureusement) autorisée en France. La police ou la gendarmerie peuvent identifier des personnes grâce à leurs visages en les comparant à ceux enregistrés dans le fichier du traitement des antécédents judiciaires (TAJ). L’utilisation qui en est faite par les services de sécurité est aujourd’hui massive, estimée à plus de 600 000 fois en 2021 (donc plus de 1600 fois par jour).

Il est néanmoins assez rare d’avoir des exemples concrets de son utilisation pour comprendre comment et sur qui la police utilise ce dispositif. À ce titre, comme souligné dans l’article de Rebellyon, la reconnaissance faciale a été utilisée pour incriminer des personnes censément impliquées dans l’affaire Lafarge, avec l’utilisation d’images tirées de la réquisition des vidéosurveillances des bus de la ville pour les comparer au fichier TAJ. Médiapart dénombre dans son enquête huit personnes identifiées via ce dispositif.

Même chose pour la manifestation de Sainte-Soline : dans un article de juillet 2023, Médiapart relate que les quatre personnes qui ont comparu ont été retrouvées grâce à la reconnaissance faciale. Un premier procès plus tôt, déjà sur Sainte Soline, fait également mention de l’utilisation de la reconnaissance faciale.

Notons bien qu’au vu des chiffres cités plus haut, l’utilisation de la reconnaissance faciale est massive et n’est pas concentrée sur les militant·es écologistes (voir ici une utilisation récente pour retrouver une personne soupçonnée de vol). On constate néanmoins une utilisation systématique et banalisée de la reconnaissance faciale du TAJ, normalisée au point de devenir un outil d’enquête comme les autres, et de plus en plus présentée comme élément de preuve dans les tribunaux.

En 2021, nous avions attaqué devant le Conseil d’État cette reconnaissance faciale en soulevant que celle-ci devait légalement être limitée à la preuve d’une « nécessité absolue », un critère juridique qui implique qu’elle ne soit utilisée qu’en dernier recours, si aucune autre méthode d’identification n’est possible, ce qui n’était déjà pas le cas à l’époque. Cela l’est encore moins aujourd’hui à lire les comptes-rendus de Rebellyon ou de Médiapart.

Marquer les manifestantes

D’autres outils de surveillance, encore au stade de l’expérimentation, semblent testés dans les mobilisations écologistes. Parmi les plus préoccupants, les produits de marquage codés. Il s’agit de produits, tirés par un fusil type paintball, invisibles, indolores, permettant de marquer une personne à distance et persistant sur la peau et les vêtements. Ils peuvent être composés d’un produit chimique ou d’un fragment d’ADN de synthèse, se révélant à la lumière d’une lampe UV, porteurs d’un identifiant unique pour « prouver » la participation à une manifestation.

Comme rappelé par le collectif Désarmons-les, c’est dès 2021 que Darmanin annonce l’expérimentation de ce dispositif. Il semble être ensuite utilisé pour la première fois en 2022 lors d’une première manifestation contre la bassine de Sainte-Soline (via l’utilisation par la police de fusils spéciaux, ressemblant à ceux utilisés par les lanceurs paintball). En 2022, Darmanin dénombrait déjà plus de 250 utilisations de ce dispositif.

En 2023, son utilisation est de nouveau remarquée pour la manifestation contre la bassine de Sainte-Soline. Elle entraîne la garde à vue de deux journalistes qui ont détaillé à la presse la procédure suivie par la police et la gendarmerie pour récupérer et analyser la trace de peinture laissée par le fusil PMC.

Cet usage ne semble être aujourd’hui qu’à ses débuts. Dans le cadre d’un recours contentieux contre les drones, la préfecture de police, dans une surenchère sécuritaire sans limite, avait notamment émis le souhait de pouvoir équiper ses drones d’un lanceur de PMC. Le ministre de la Justice a également vanté l’utilisation de ces outils dans une récente audition sur le sujet, « utiles pour retrouver la trace d’un individu cagoulé ». Un rapport parlementaire de novembre 2023 rappelle néanmoins que son utilisation se fait aujourd’hui sans aucun cadre légal, ce qui la rend purement et simplement illégale. Si certains parlementaires semblent également s’interroger sur son efficacité, d’autres, dans un rapport sur « l’activisme violent », appellent à sa pérennisation et sa généralisation. Côté gouvernement, après l’avoir expérimenté sur les militants sans aucun cadre légal, le ministère de l’intérieur semble pour l’instant avoir suspendu son utilisation.

Les mouvements militants ne sont évidemment pas les seuls à connaître cette intensité dans le déploiement des moyens de surveillance : les exilées, les habitantes des quartiers populaires ont toujours été les premières à subir la militarisation forcenée des forces du ministère de l’Intérieur. Néanmoins, cette expérimentation des technologies sur les organisations écologistes est une nouvelle preuve de l’escalade sécuritaire et déshumanisée de la police et de la gendarmerie en lien avec la criminalisation des mouvements sociaux. La France est à l’avant-garde de la dérive autoritaire en Europe, puisqu’il semble être l’un des pays du continent ayant une pratique régulière et combinée de ces nouveaux outils

Procès du « 8 décembre » : le compte-rendu

Le procès de l’affaire du « 8 décembre » s’est tenu du 3 au 27 octobre dernier au tribunal de Paris. Nous en avions longuement parlé dans plusieurs articles avant l’audience, car la DGSI et le parquet national antiterroriste (PNAT), faute de trouver le moindre projet antiterroriste, reprochaient entre autres aux inculpé·es de chiffrer leurs données (disques durs et communications numériques), ce qui prouverait leur goût pour la « clandestinité ».

Bien entendu, la criminalisation du chiffrement des données est à la fois une aberration, puisque tout le monde utilise le chiffrement cent fois par jour, dans les messageries chiffrées (WhatsApp, Telegram, Signal ou autre), dans les connexions https ou dans le simple fait de protéger son disque dur ou son téléphone avec un mot de passe — et un vrai danger pour le droit fondamental à la vie privé et au secret des communications.
Les délires interprétatifs du PNAT et de la DGSI, payés pour voir le mal partout, pourraient passer pour une plaisanterie si d’une part leur suspicion n’avait pas bousillé la vie des sept inculpé·es, et si d’autre part le droit au chiffrement n’était pas remis en cause de façon concomitante par les États à tous les niveaux, aussi bien en France qu’en Europe.

Mais quelle place la question du chiffrement des communications a-t-elle réellement occupée lors des audiences du procès ? Nous y étions. Vous pouvez lire notre compte-rendu sur notre site.

Lire l’article : https://www.laquadrature.net/2023/12/14/outils-de-chiffrement-lors-du-proces-du-8-decembre-du-fantasme-a-la-realite/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous avons lancé fin novembre notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Cette semaine, nos publications ont mis l’accent sur la question de la dimension écologique du numérique, ou plutôt de sa nuisance écologique. Vous pouvez retrouver l’ensemble de nos « fils » sur nos réseaux sociaux : le numérique, à cause de la fabrication du matériel et de la consommation effrénée qu’entraîne une course artificielle à « l’innovation », participe aujourd’hui de façon très notable à la destruction de notre environnement, et se fait le vecteur privilégié de la publicité, qui a envahi le web au point de menacer son équilibre et son fonctionnement.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

La Quadrature dans les médias

À écouter

• JO : à quoi sommes-nous prêts à renoncer pour notre sécurité ? [France Culture]
• Une contre-histoire d’internet par Félix Tréguer [Actualité des luttes]

Algorithmes administratifs

• Entre la CAF et ses allocataires, l’algorithme de la discorde [La Croix]
• La CAF accusée de « ciblage discriminatoire » à cause de la technologie du « datamining » [Econostrum]
• Un arrêt de la Cour de justice de l’UE met en péril les algorithmes de « scoring » [Euractiv]

IA de surveillance

• EU: AI Act negotiators must not trade away our rights [Article 19]
• Surveillance biométrique, police prédictive, détection des émotions… ce que contient l’IA Act européen [L’Humanité]

Agenda

• 27-30 décembre 2023 : La Quadrature du Net sera au 37e Chaos Communication Congress (37C3) à Hambourg et tiendra une conférence le 28 décembre à midi (sauf changement de dernière minute par l’organisation) : https://events.ccc.de/congress/2023/infos/startpage.html.
• 11 janvier 2024 : Causerie mensuelle Technopolice Marseille – 19h – au Manifesten, 59 Rue Adolphe Thiers, à Marseille.

Durant quatre semaines, en octobre dernier, se sont tenues au tribunal de Paris les audiences du procès du « 8 décembre ». Dans cette affaire, sept personnes sont poursuivies pour « association de malfaiteurs terroristes ». Toutes contestent les faits reprochés et trois ans d’instruction n’auront pas réussi à faire émerger la moindre preuve de projet terroriste. Parmi les « preuves » avancées par le parquet et les agents de renseignement pour démontrer cette intention « terroriste », on retrouvait des éléments relatifs à l’utilisation d’outils de protection de la vie privée, censés illustrer une certaine clandestinité. Scandalisé·es, nous avions révélé et dénoncé vigoureusement cet amalgame dangereux et malhonnête. Quelle a été la place accordée à ce sujet lors de l’examen de l’affaire par le tribunal correctionnel antiterroriste ? Retour sur les audiences auxquelles nous avons assisté, en amont de l’annonce du délibéré prévue pour le 22 décembre prochain¹Pour rattraper l’ensemble du contenu du procès, plusieurs médias ont fait un compte-rendu régulier des audiences, notamment le blog des comités de soutiens, Le Monde, Mediapart, lundimatin, L’Obs ou encore Libération..

Durant le procès, ont été successivement passées en revue les personnalités des prévenu·es, puis l’examen par thème des faits qui leur sont reprochés. Après la question des explosifs, de la détention d’armes, la pratique de l’« airsoft » (qualifiée d’« entraînements paramilitaires » par le parquet), la question du « numérique » a donc été examinée. Ainsi, plusieurs inculpé·es ont été questionné·es sur leur utilisation de logiciels et applications telles que Signal, Tor, Tails ou sur le chiffrement de leurs ordinateurs et disques durs. Cet interrogatoire a suivi la même ligne directrice que celle du dossier d’instruction, que nous avions révélé il y a quelques mois : à la fois une grande confusion quant à la compréhension technique de ces outils et une vision suspicieuse de la réalité de leurs usages. Trois prévenu·es ont ainsi été questionné·es sur ce qui les poussait à utiliser ces logiciels, comme s’il fallait une justification, une explication argumentée, alors qu’il s’agit d’outils sains, légaux et banals.

« Il est possible et non interdit d’avoir ces outils mais on peut se demander pourquoi dissimuler l’information » s’est ainsi interrogée la présidente. La suspicion de clandestinité couplée à une faible connaissance du sujet transparaissaient dans les questions : « Vous expliquez que l’usage de ce “genre de réseaux” [en l’occurrence Signal] était pour préserver votre vie privée, mais avez-vous peur d’être surveillée ? ». Ou encore : « Pourquoi cela vous avait paru important ou une bonne idée de découvrir ce “genre d’environnement” [cette fois-ci il s’agit du système d’exploitation Tails] ? ». Une juge assesseure n’a pas hésité à utiliser le champ lexical des armes quand elle a essayé de comprendre pourquoi un tel « arsenal complet de divers outils » a été utilisé, laissant présumer une « volonté de discrétion » de la part des prévenu·es. De l’autre coté de la barre, les inculpé·es ont répondu d’une façon simple et cohérente qui peut se résumer ainsi : « c’est ma vie privée, c’est mon droit, c’est important, il est banal d’utiliser ces outils, en particulier dans le monde militant dont on sait qu’il est de plus en plus exposé à la surveillance d’État ».

La question du refus de donner ses clés de déchiffrement a elle aussi été abordée. En l’occurrence, plusieurs prévenu·es ont refusé lors de leur arrestation de fournir aux agents de la DGSI chargés de l’enquête les codes de déverrouillage d’ordinateur, de téléphone ou encore de disque dur saisis en perquisition. En France, un tel refus peut constituer une infraction sur la base d’une disposition interprétée largement et très contestée. Face à l’incompréhension des juges — pourquoi s’exposer aussi frontalement à des poursuites pénales ? — les prévenu·es ne leur ont pas fourni les aveux attendus. Au contraire, les personnes interrogées ont amené la discussion plus loin, sur leurs libertés et droits fondamentaux, levant le voile sur la violente réalité des procédures antiterroristes. « Dans un moment de vulnérabilité telle que celui de la garde à vue, après avoir donné mon ADN, je voulais m’attacher à ce qu’il me restait d’intimité, je voulais la conserver » explique Camille, une prévenue présentée comme l’experte numérique par le procureur. Loïc, un autre inculpé renchérit : « Je savais que la DGSI allait réussir à déchiffrer mon matériel informatique et voir que je ne suis pas dangereux, c’était ma manière de montrer mon refus car ma liberté et mon intimité sont plus précieuses ».

Enfin, dans le but d’éclairer les juges sur le fonctionnement des outils mis en cause dans le dossier et la réalité de leurs usages, un membre de La Quadrature du Net, également développeur de l’application Silence, est venu témoigner au procès. Qu’il s’agisse du chiffrement, de Signal, Tor, Tails ou du système d’exploitation /e/OS, son témoignage est revenu sur la banalité des technologies derrière ces applications et leur usage généralisé et nécessaire dans la société numérisée contemporaine, loin des fantasmes de clandestinité de la DGSI et du parquet. Les magistrates ne lui ont pourtant posé que peu de questions. Le parquet, lui, s’est uniquement ému que des éléments du dossier, pourtant non couverts par le secret de l’instruction, aient pu être portés à la connaissance du témoin. Un mauvais numéro de théâtre qui laissait surtout deviner une volonté de le décrédibiliser lui ainsi que le contenu de son témoignage.

De façon générale, la place des pratiques numériques a été faible relativement à l’ampleur et la durée du procès, et bien en deça de celle qui lui était accordée dans le réquisitoire ou l’ordonnance de renvoi du juge d’Instruction. Quelle interprétation tirer à la fois du manque d’intérêt des juges et de la faible quantité de temps consacrée à ce sujet ? Difficile d’avoir des certitudes. On pourrait y voir, d’un coté, une prise de conscience des magistrates et du parquet de l’absurdité qu’il y a à reprocher l’utilisation d’outils légaux et légitimes. Rappelons que plus de 130 universitaires, journalistes, militant·es, acteur·rices du monde associatif et de l’écosystème numérique ont signé une tribune dans le journal Le Monde pour dénoncer cette instrumentalisation et défendre le droit au chiffrement. Mais d’un autre coté, cette désinvolture pourrait être le signe d’un manque de considération pour ces questions, notamment quant à l’importance du droit à la vie privée. Cela ne serait pas étonnant, dans une procédure qui se fonde sur une utilisation intensive de techniques de renseignement et sur une surveillance disproportionnée de sept personnes dont la vie a été broyée par la machine judiciaire.

La lecture du jugement est prévue pour le 22 décembre. Que le tribunal retienne le recours à des technologies protectrices de la vie privée dans la motivation de sa décision ou qu’il laisse cet enjeu de côté, le récit fictif de la police à ce sujet risque d’avoir des conséquences à long terme. Le précédent d’une inculpation anti-terroriste reposant essentiellement sur ce point existe désormais et il est difficile de croire qu’à l’heure où le chiffrement fait l’objet de nombreuses attaques, en France et en Europe, la police ne réutilisera pas cette logique de criminalisation pour justifier une surveillance toujours plus accrue de la population et des groupes militants.

Interopérabilité : la voie à ouvrir pour le Web en 2024

L’interopérabilité des services Web, on vous en parle depuis un bail : en mai 2019, on signait une lettre commune avec 75 autres organisations européennes pour que l’idée soit inscrite dans les lois au niveau de l’Union, en juin 2019 on expliquait comment cette ouverture des réseaux sociaux permettrait d’échapper à l’algorithmisation des contenus haineux, et on republiait l’article de Stéphane Bortzmeyer qui vulgarisait excellemment bien la notion technique et politique d’interopérabilité.
En septembre 2020, nous saisissions l’opportunité d’une consultation en vue du Digital Service Act (DSA) pour pousser cette idée au sein de la Commission européenne.

Depuis lors, l’idée a fait son chemin. Nous n’avons cessé de l’affiner et de la proposer, sous forme d’élément d’analyse du débat et d’amendements législatifs, lors des débats parlementaires qui ont eu lieu à l’occasion de la loi Avia « contre la haine en ligne » ou de bien d’autres, à chaque fois en vérité que le gouvernement a préféré confier aux GAFAM et aux grands réseaux sociaux privés un pouvoir de censure et de surveillance supplémentaire, sans réfléchir aux mécanismes qui donnent à ces plateformes géantes une responsabilité démesurée dans le pourrissement du débat démocratique.

L’idée est mûre et doit maintenant s’inscrire dans la loi française et européenne. Mais c’est quoi l’interopérabilité ? Un principe tout simple, qui est à la racine d’Internet et à permis son essor incroyable : les services similaires utilisent les mêmes protocoles, ou les mêmes standards techniques, pour communiquer entre eux. L’exemple classique est celui de l’e-mail : sans un protocole commun, les utilisateurs de GMail ne pourraient pas écrire à ceux de Microsoft Outlook ou de ProtonMail. Or, à l’heure actuelle, les utilisateurs de Twitter, de Facebook, d’Instagram ou de BlueSky ne peuvent pas échanger entre eux. Chacun est captif chez soi, enfermé dans son « silo », à l’encontre de l’idée même du réseau ouvert et décentralisé d’Internet.

Les conséquences de cet enfermement sont innombrables et toutes sont toxiques. D’abord, ce public captif est soumis à une exploitation débridée (et illégale) de ses données personnelles, pour être ensuite gavé de publicités soi-disant « ciblées ». Ensuite, chaque personne étant enfermée avec des personnes qu’elle n’a pas forcément envie de fréquenter, des adversaires politiques radicaux par exemple, la plateforme en tire un avantage cynique : les algorithmes promeuvent en priorité les messages qui suscitent le plus « d’engagement », c’est-à-dire d’hostilité et de réactions outrées, afin de retenir les gens collés à l’écran, et de leur infliger encore plus de publicité… Enfin, quand on veut quitter cet enfer de polémiques stériles, de consumérisme abyssal et de conflictualité exacerbée, on doit laisser derrière soi tous ses contacts, « amis » ou « followers », c’est-à-dire renoncer à tout un pan de sa sociabilité, qui n’a rien de « virtuel » ou d’inférieur, dans son degré de réalité et d’importance, avec la sociabilité quotidienne ordinaire.

Imposer à ces plateformes toxiques une obligation d’être interopérables, c’est mettre fin à ces trois poisons que sont la surveillance publicitaire, l’antagonisation de la société, et la confiscation des liens amicaux. Quand on pourra s’inscrire à un réseau social libre, Mastodon par exemple, avec la garantie de ne pas y subir de publicité, d’y suivre des règles de modération auxquelles on adhère et auxquelles on peut même participer, et qu’on pourra y retrouver ses contacts qui utilisent d’autres services, alors la tyrannie de Twitter, de Facebook ou d’Instagram aura cessé d’exister.

Pour poser et expliquer très finement les mécanismes un peu expédiés ici, nous avons écrit un article exhaustif, qui sera notre référence dans les mois qui viennent et pour tous nos plaidoyers en faveur de l’interopérabilité. Une lecture solide à garder dans vos signets !

Notre argumentaire complet sur l’interopérabilité : https://www.laquadrature.net/interop/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous avons lancé fin novembre notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la réflexion nécessaire autour du numérique dans le contexte de la crise écologique, la défense du droit au chiffrement des communications, et la promotion de l’interopérabilité des services Web.

Cette semaine, nos publications ont mis l’accent sur les enjeux de l’interopérabilité, seule à même de briser le carcan des GAFAM et de nuire à l’envahissement de la publicité. Vous pouvez retrouver l’ensemble de nos « fils » sur nos réseaux sociaux : comment les grandes plateformes sont fermées grâce à leur structure technique, comment la fermeture des plateformes convient à leur nature de régies publicitaires géantes, comment la centralisation dans les grands réseaux sociaux privés favorise la censure d’État, et comment on peut imaginer les services alternatifs et interopérables de demain, et même d’aujourd’hui.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

La Quadrature dans les médias

Algo de la CAF

• L’algorithme de la CAF « automatise et amplifie les discriminations », selon La Quadrature du Net [Causette]
• L’algorithme de la CAF profile et discrimine ses allocataires [L’Humanité]
• Plus on est pauvre, plus on est contrôlé : la révélation des méthodes de la Cnaf interroge [Mediapart]
• L’opacité des algorithmes favorise les dérives au sein des établissements publics [Le Monde]
• ATD Quart Monde demande aux CAF d’abandonner leur algorithme « discriminatoire et pauvrophobe » [Le Monde]
• Algorithme des CAF : le département de Seine-Saint-Denis saisit la Défenseure des droits [Le Monde]
• Contrôles de la CAF : « En tant que mère célibataire, j’ai été ciblée par l’algorithme » [L’Obs]
• La CAF surveille-t-elle plus ses allocataires handicapés ? [Handicap.fr]
• Un projet d’IA peut en cacher un autre… moins éthique [Stratégies]

Divers

• De l’Internet libre à la dérive techno-autoritaire [Cairn]
• Reconnaissance faciale, les recours se multiplient [La Croix]
• Comment le Conseil d’État est devenu l’omniprésent arbitre des libertés [Mediapart]
• Le chiffrement, un droit fondamental à défendre [Ritimo]

Agenda

• 8 décembre 2023 : Réunion d’information Technopolice à Rouen — à partir de 18h30, Maison des associations et la solidarité, 22 bis rue Dumont d’Urville, Rouen.
• 14 décembre 2023 : Causerie mensuelle du groupe Technopolice Marseille — à partir de 19h, Manifesten, 59 Rue Adolphe Thiers, Marseille.
• 14 décembre 2023 : Table ronde au festival OSINT à La Gaité Lyrique – à 11h, à La Gaité Lyrique, 259 rue Saint-Martin 75003 Paris. Plus d’informations sur cette page.
• 27-30 décembre 2023 : La Quadrature sera au 37e Chaos Communication Congress à Hambourg.

L’interopérabilité, c’est-à-dire la capacité pour différents systèmes de communiquer entre eux, est omniprésente dans notre quotidien. Partout où sont établis des standards – dans la langue et l’écriture, dans la circulation routière, dans les pièces mécaniques de nos machines, dans la connectique de nos appareils électroniques, dans les formats de nos fichiers numériques –, un certain nombre de règles permettent à deux systèmes distincts de fonctionner comme un seul, formant un écosystème.

Le monde informatique est fait de ces règles que l’on appelle « protocoles ». Certaines entreprises font le choix de concevoir plutôt des protocoles propriétaires, c’est-à-dire de poser des barrière pour bloquer la communication avec d’autres systèmes qui ne seraient pas sous leur contrôle. Cela leur permet de s’assurer que les personnes qui utilisent leurs logiciels ou leurs matériels soient dépendantes de l’entreprise. L’entreprise Apple, par exemple, est connue pour fonder l’ensemble de son modèle économique sur ces stratégies de fermeture : si la communication entre les différents appareils et logiciels Apple est possible, elle est rendue difficile voire impossible avec d’autres appareils et logiciels n’appartenant pas à la marque. Posséder un ordinateur Apple implique d’utiliser le système d’exploitation d’Apple, d’utiliser la connectique Apple et d’intégrer des logiques d’utilisation souvent très différentes, rendant les utilisateur·rices captif·ves de leur écosystème.

Les réseaux sociaux commerciaux comme Facebook, Twitter, Instagram, Youtube, TikTok et bien d’autres reposent sur l’absence de protocole pour communiquer vers l’extérieur : ils empêchent leurs utilisateur·rices d’opter pour d’autres moyens de communiquer et d’échanger des informations. Les contenus publiés sur l’un de ces réseaux sociaux ne sont accessibles qu’en passant par celui-ci. Toute communication vers l’extérieur est volontairement bloquée et il est parfois même nécessaire de se créer un compte pour consulter un contenu via une interface imposée (interface web ou application).

La stratégie des réseaux sociaux commerciaux fonctionne sur une logique de régie publicitaire. Pour être rentables, il leur faut rassembler un public auquel exposer la publicité de leurs annonceurs. Dans un premier temps, ces entreprises s’emploient à créer un logiciel de réseau social désirable, en mettant l’accent sur des fonctionnalités innovantes pour attirer des utilisateur·rices. L’usage de protocoles fermés n’est alors pas encore une nécessité. On se rappelle par exemple de Facebook, qui, entre 2008 et 2015, supportait le protocole XMPP dans sa messagerie privée, ce qui permettait à ses utilisateur·rices d’échanger avec les personnes ayant un compte AIM, ou utilisant d’autres messageries basées sur ce protocole. Ils constituent de cette manière une grosse base d’utilisateur·rices afin de renforcer ce qu’on appelle l’« effet réseau » de leur logiciel : plus il y a des personnes présentes sur le réseau social, plus cela en attire de nouvelles.

Une fois un certain seuil d’utilisateur·rices atteint, pour avoir une stratégie publicitaire plus offensive, les réseaux sociaux commerciaux investissent l’ensemble de leurs ressources pour servir la publicité. Cela a pour effet de dégrader le service, notamment en réorganisant les contenus créés sans but commercial en les diluant dans ceux « sponsorisés ». Le réseau social commercial n’est alors plus aussi attrayant pour le service qu’il offre, mais seulement en ce qu’il permet de communiquer avec les gens qui y ont un compte. La stratégie de mise en captivité devient alors une nécessité. Les techniques utilisées pour empêcher les utilisateur·rices de partir et en attirer d’autres malgré la dégradation du service passent alors par la fermeture des protocoles – voire l’impossibilité stricte de communiquer vers l’extérieur –, la complexification de l’accès au contenu pour les personnes non connectées, et bien d’autres obstacles.

Ce fonctionnement en silos semble être la norme aujourd’hui car cette méthode de captivité est efficace : alors qu’une grande partie des utilisateur·rices d’un réseau social commercial comme Facebook sont très critiques de ses méthodes de surveillance commerciale, de ses méthodes de modération, de son volontarisme à appliquer la censure réclamée par les États, de sa manière d’afficher en priorité des contenus publicitaires, iels continuent de l’utiliser car tous·tes leurs ami·es y sont.

Le caractère commercial à l’origine de la nécessité de centralisation

Dissection d’un GAFAM, analyse technique de la logique de centralisation

Pour mieux comprendre comment les réseaux sociaux commerciaux concentrent autant de pouvoir, commençons par analyser ce qui les compose. Nous prendrons ici l’exemple de Facebook, mais il en est de même pour Youtube, Tiktok et les autres :

Lorsque l’on parle de Facebook, on parle en réalité de plusieurs choses différentes. Premièrement, pendant longtemps, Facebook était le nom de l’entreprise qui commercialise le réseau social (depuis 2021, cette entreprise s’appelle Meta). Deuxièmement, c’est le nom du logiciel de réseau social. Ce logiciel détermine les règles applicables au service : il prévoit non seulement les fonctionnalités (l’échange de contenus privés, publics, d’images, etc.), mais aussi les conditions à respecter pour en bénéficier. Ce logiciel de réseau social détermine ainsi les restrictions, comme le fait d’empêcher de pouvoir communiquer avec d’autres logiciels que ceux de l’entreprise, via l’obligation d’utiliser des protocoles propriétaires. Ce logiciel est hébergé uniquement sur les serveurs de l’entreprise, ce qui garantit à cette dernière d’être la seule à pouvoir administrer le réseau social (c’est aussi ce qui lui confère une responsabilité juridique particulière). Troisièmement, Facebook est aussi le nom des interfaces qui permettent d’accéder au réseau social, que l’on appelle « clients ». Il s’agit à la fois de l’interface web accessible depuis un navigateur que des applications mobiles que l’internaute installe sur son smartphone.

Les stratégies de protocoles fermés sont appliquées à tous les étages techniques, ce qui confère au réseau social cette nature centralisée :

• il n’est pas possible d’héberger les contenus que l’on poste sur le réseau social ailleurs que sur les serveurs de l’entreprise ;
• le logiciel est construit de manière à ce qu’il ne soit pas possible d’accéder directement à des contenus publiés sur un autre réseau social ;
• la connexion au logiciel de réseau social ne peut se faire que via des clients développés et proposés par le réseau social, il est impossible d’utiliser des clients alternatifs (ou alors de manière très difficile en raison du manque de documentation des API pour les développeurs·euses tiers·ces ou de leurs restrictions d’usages).

Le principe d’interopérabilité veut précisément briser ces stratégies de centralisation technique qui sont à l’origine de la concentration du pouvoir des réseaux sociaux sur leurs utilisateur·rices. L’interopérabilité rendrait au contraire toutes ces choses possibles : héberger ses contenus où l’on veut, employer le logiciel de réseau social que l’on veut pour communiquer avec qui on veut, ou encore utiliser un client de son choix.

Centraliser et enfermer pour mieux surveiller

Le fonctionnement en silo des réseaux sociaux commerciaux maintient leurs utilisateur·rices captif·ves et leur permet d’imposer leurs conditions. Leur modèle économique étant basé sur la publicité ciblée, ils traitent un très grand nombre d’informations. Premièrement, les réseaux sociaux collectent les données fournies directement par l’utilisateur·rice. Cela varie d’un réseau social à un autre (en fonction de la politique propre à chaque service), mais on retrouve souvent l’âge, le nom, la nationalité, les centres d’intérêts, etc. Deuxièmement, les réseaux sociaux déduisent des informations à partir de l’usage fait par l’internaute. Ils peuvent recréer le graphe social (c’est-à-dire avec qui l’internaute interagit et à quelle fréquence), mais ils peuvent également traiter les métadonnées, c’est-à-dire ce qui entoure une communication : heure, fréquence et lieu de connexion, type de matériels et de logiciels utilisés, temps passé sur un contenu, etc.

Le but de cette collecte d’information est de dresser des profils types d’utilisateur·rices afin de leur adresser la publicité la plus ciblée possible – donc la plus « efficace » possible commercialement parlant. Par exemple, si vous êtes abonné·e à une page ou un compte d’un bar LGBT et que vous « likez » des posts de la Marche des Fiertés, le réseau social pourra commencer à déduire votre orientation sexuelle. Les réseaux sociaux commerciaux investissent beaucoup d’énergie, de recherche et développement dans ce domaine car c’est ce qui leur permet de satisfaire leurs vrais clients et sources de revenus : les annonceurs.

En théorie, en Europe, le règlement général sur la protection des données (RGPD) interdit de récupérer ces données sans le consentement libre de l’utilisateur·rice. En vertu ce de texte, un consentement est « libre » s’il est donné sans la menace d’être exposé·e à des « conséquences » négatives, comme de ne pas pouvoir accéder au service ou devoir payer pour y accéder. Ce règlement n’est pas respecté par la plupart des réseaux sociaux commerciaux. La grande majorité des utilisateur·rices, s’iels avaient le choix, refuseraient de donner les informations sur lesquelles reposent l’économie entière des entreprises concernées. C’est sur cette base qu’en 2018 La Quadrature du Net a déposé, avec 12 000 utilisateur·rices, des plaintes collectives contre les réseaux sociaux commerciaux Facebook et Linkedin. La procédure est encore en cours devant la CNIL irlandaise.

Le RGPD et la nécessité du consentement individuel ne sont donc pas suffisant·es en pratique pour lutter contre la surveillance commerciale. Ce règlement est très peu appliqué et ne propose qu’une solution individuelle, qui place l’utlisateur·rice devant un choix sans liberté : consentir à la publicité ou renoncer à utiliser le réseau social (donc se couper de ses contacts). Nous pensons, à l’inverse, que les réseaux sociaux et leur politique de modération et de fonctionnement doivent être gérés collectivement par les utilisateur·rices iels-mêmes. Autrement dit, il ne sert à rien d’essayer de réparer les réseaux sociaux commerciaux, il est préférable de s’organiser directement pour reprendre le pouvoir des communautés.

Si les réseaux sociaux étaient interopérables, les internautes pourraient déménager vers des réseaux sociaux non commerciaux, qui n’imposent pas de surveillance à leurs utilisateur·rices, sans pour autant perdre le contact avec leurs proches qui ont toujours un compte sur un réseau social commercial.

Modération, censure, espaces d’expression

Centralisation : régime de modération unique

Il existe de nombreux régimes de modération qui répondent à des besoins différents. Tout le monde est confronté au quotidien, en dehors des réseaux sociaux, à une multitude de régimes. Par exemple, en présence d’enfants, il est souvent d’usage de surveiller son langage et de ne pas employer de vocabulaire grossier. En fonction du contexte professionnel ou amical dans lequel on se trouve, on adaptera son registre de mots. Cela ne représenterait donc aucun intérêt de vouloir unifier ces régimes d’expression et impliquerait même, au contraire, une perte de diversité culturelle et un blocage des perspectives d’évolution de la langue. La langue est interopérable dans le sens où elle fournit à la fois un certain nombre de standards permettant aux gens d’être compris entre eux sans empêcher pour autant que puissent exister des règles plus spécifiques dans certains groupes. Il peut s’agir de règles tacites ou de règles verbalisées par le groupe. Cette diversité de régimes d’expression coexiste sans que l’un d’entre eux soit intrinsèquement meilleur.

Nous avons expliqué plus haut comment le fonctionnement en silo des réseaux sociaux commerciaux leur permet de concentrer tous les pouvoirs et d’imposer unilatéralement un certain nombre de règles à l’ensemble de leurs utilisateur·rices. En pratique, cela revient à déposséder en partie les espaces de discussion de leur pouvoir de choisir un régime d’expression donné. Cette dépossession n’est, certes, pas entière, car un certain nombre de régimes d’expressions sont compatibles avec les règles fixées par le réseau social. En revanche, dès qu’il s’agit de vouloir publier un contenu interdit par le réseau social, même lorsque ce contenu n’est pas illégal, les utilisateur·rices se retrouvent bloqué·es dans leur expression, ou censuré·es.

Les questions de pouvoir d’expression ne sont pas spécifiques à l’usage des outils numériques mais générales à l’ensemble de la société. La liberté d’expression, la liberté d’opinion, la liberté de recevoir ou de communiquer des informations, la liberté de la presse ainsi que les limites de ces droits que sont la diffamation, l’injure ou le dénigrement entendent encadrer nos échanges. Ces droits et leurs limites sont souvent invoqués pour formuler deux critiques à l’égard de ces réseaux. La première provient d’utilisateur·rices frustré·es d’avoir vu des contenus légaux modérés, iels sont attaché·es à voir leur liberté d’expression assurée et voudraient que les réseaux sociaux commerciaux n’aient pas le droit de supprimer des contenus qui ne soient pas illégaux. La seconde provient d’utilisateur·rices sont confronté·es à des contenus qui les offensent et aimeraient ne plus l’être, même si ces contenus ne sont pas manifestement illégaux.

Ces deux critiques quant à l’excès ou au manque de censure de la part des réseaux sociaux sont caractéristiques du problème central : celui d’un régime de modération unique imposé par les plateformes.

Le choix d’une organisation centralisée, qui impose les même règles à une grande quantité de groupes et de personnes différentes, est assez absurde et insatisfaisant pour les utilisateur·rices des réseaux sociaux. Mais la centralisation engendre d’autres problèmes, que nous évoquons par la suite, davantage dus à la concentration des pouvoirs.

Censure passive due au modèle économique

La place privilégiée des contenus publicitaires

Les réseaux sociaux commerciaux ont cette particularité de ne pas seulement héberger le contenu de leurs utilisateur·rices, mais également celui de leurs clients : les annonceurs. Honneur aux payeurs, l’ensemble du réseau social est façonné dans un seul but : maximiser l’exposition au contenu publicitaire et renforcer son efficacité, c’est-à-dire conduire les utilisateur·rices à cliquer sur la publicité. Les données personnelles recueillies servent donc à dresser des profils d’utilisateur·rices pour leur adresser la publicité à laquelle iels seraient le plus sensibles, mais tout le reste du réseau social sert également cet objectif. Les algorithmes ont donc pour but de donner plus ou moins d’importance à tel ou tel contenu afin de le sur-visibiliser ou le sous-visibiliser, dans l’optique de pousser l’utilisateur·rice à rester le plus longtemps sur le réseau, et à être la ou le plus receptif·ve possible à la publicité.

Économie de l’attention, viralité boostée et censure par enterrement

L’ensemble de ces stratégies visant à pousser l’utilisateur·rice à rester longtemps sur la plateforme est couramment appelé « économie de l’attention ». En pratique, les algorithmes d’organisation des contenus repèrent ceux qui font polémique et qui provoquent un engagement spontané de la part des utilisateur·rices, afin de leur donner une place privilégiée en les faisant apparaître plus haut dans le flux de l’internaute ou dans les résultats de recherche, voire en envoyant une notification à l’utilisateur·rice. L’espace d’expression étant limité, cette mise en avant de certains contenus conduit également à sous-visibiliser les autres : les contenus plus complexes, plus étayés, nécessitant plus d’investissement de la part du public et n’obéissant pas aux critères de création de contenus valorisés par les réseaux sociaux commerciaux sont moins souvent mis en avant et proposés à la lecture. Ils subissent alors une censure invisible, dite « censure par enterrement ».

Ces mécanismes renforcent l’addiction au réseau social et sont à l’origine de la viralité mondiale de certains contenus. Ils sont également à l’origine de la grande propagation de contenus problématiques. Les contenus qui entraînent beaucoup d’engagement de la part des internautes sont souvent des contenus clivants et choquants. C’est le cas des contenus racistes, du harcèlement, des fausses informations, des images d’actes de violence.

Ces contenus suscitent de l’engagement de toute part : celleux qui les soutiennent les partagent en masse, et celleux qui s’y opposent sont offusqué·es et les partagent en masse pour les dénoncer. En 2019, la tuerie de l’église de Christchurch en Nouvelle-Zélande a été filmée et diffusée en direct par son auteur sur Facebook. Elle a été massivement partagée par des personnes d’extrême droite. Facebook n’a pas bloqué ces images et, pire, leur a donné une viralité supplémentaire car, étant choquantes, elles ont suscité beaucoup d’engagement.

Malheureusement, quand il s’agit de lutter contre les effets délétères des stratégies commerciales des réseaux sociaux, le réflexe des États n’est jamais de remonter aux causes du problème. La solution proposée est toujours d’en passer par une loi de censure, imposant aux réseaux sociaux de supprimer tel ou tel type de contenus, validant ainsi la giga-structure centralisée des réseaux sociaux commerciaux, pourtant à la base du problème.

Censure active

Les réseaux sociaux commerciaux ayant un grand pouvoir sur leurs utilisateur·rices, il est intéressant de voir et de critiquer les décisions prises par les entreprises qui les possèdent. On peut penser par exemple à la volonté de Mark Zuckerberg de mener une politique «  antisuicide » sur son réseau social (Facebook) reposant sur l’analyse automatisée des contenus et non un accompagnement humain, ou encore aux transformations qu’a subies Twitter après son rachat par Elon Musk en novembre 2022. On voit alors comment la volonté d’un seul homme ou d’une seule entreprise peut avoir des conséquences sur des millions de personnes. Mais il est plus intéressant encore de voir que la majorité des décisions qui sont prises viennent surtout d’autres forces extérieures à l’entreprise, et auxquelles les réseaux sociaux commerciaux doivent se plier pour conserver leur place hégémonique.

Le pouvoir des annonceurs

Le modèle économique basé sur la publicité motive les réseaux sociaux commerciaux à se modeler en fonction de celle-ci. Nous avons qualifié cette dynamique de « censure passive » car la censure n’en est qu’un effet secondaire. Mais il existe aussi une demande active de censure de la part des annonceurs, en particulier pour que leur publicité ne soit pas affichée à côté de certaines catégories de contenus. Récemment avec Twitter, des annonceurs se sont retirés en raison de la recrudescence de contenus d’extrême-droite. Cette pression possible des annonceurs sur les plateformes explique aussi pourquoi on retrouve souvent des règles de censure proscrivant la nudité. Cette influence n’est pas spécifique aux réseaux sociaux : partout où il y a un financement publicitaire, les annonceurs ont le pouvoir de retirer leur publicité (et donc leur financement) si leurs exigences en matière de censure ne sont pas respectées (la presse papier, également, est souvent tributaire du pouvoir de ses annonceurs).

Le pouvoir des États

Le pouvoir centralisé des réseaux sociaux commerciaux représente aussi une opportunité de pouvoir pour les États. Nous l’avons particulièrement vu durant ces cinq dernières années. Les volontés de censure des États viennent du constat d’un changement dans les dynamiques d’expression en ligne dont nous avons expliqué les causes (le caractère commercial des réseaux sociaux et leur caractère centralisé). Pour autant, le biais d’administration centralisée de l’État ou le manque de temps nécessaire à cette compréhension n’ont pas conduit les représentant·es politiques à vouloir remonter à la racine des problèmes. À chaque « problème » identifié — haine et harcèlement, contenus violents, fausses informations, etc — l’urgence les a toujours conduit à valider le pouvoir de l’instance centralisée des réseaux sociaux commerciaux en leur imposant de durcir leur modération, souvent dans des délais courts qui ne peuvent être respectés que par l’usage d’algorithmes de filtrage des contenus.

Le pouvoir de l’industrie culturelle

La création de contenus sur les réseaux sociaux est très prolifique et a apporté un renouveau dans les moyens d’expression et la production de contenus créatifs. Le vieux modèle de production d’œuvres culturelles, façonné lui aussi pour obéir à des impératifs économiques au détriment de l’écosystème créatif et des populations nécessitant un accès à la culture, n’a pas disparu pour autant. Sous la pression de l’industrie culturelle, les réseaux sociaux commerciaux — c’est particulièrement le cas de Youtube — ont mis en place des algorithmes pour censurer certains contenus qui ne respecteraient pas le droit d’auteur. L’industrie culturelle a par la suite, avec l’aide du législateur, réussi à imposer cette idée qu’il faudrait surveiller l’ensemble des contenus en ligne afin de repérer les œuvres « illégalement » partagées. Le fonctionnement de l’outil Content ID de Youtube, qui consiste à comparer les condensas (hash) de musiques et vidéos à une base de données de contenus protégés et, en cas de similitude, à bloquer le contenu a donc depuis été mis en place sur tous les grands réseaux sociaux commerciaux.

Centralisation et censure par algorithme

La très grande quantité de contenus que les réseaux sociaux commerciaux hébergent demande un lourd travail de modération. La motivation économique étant la raison première de leur existence, ils ont rapidement cherché à « rationaliser » la modération, à l’aide de la sous-traitance de ce travail à des « fermes de modérateurs » et à l’usage d’algorithmes de filtrage.

Les « fermes de modérateurs » sont des entreprises, souvent implantées dans des pays où les salaires sont très bas. Les conditions de travail y sont généralement très dures et les salarié·es sont exposé·es à une quantité phénoménale de contenus violents (aux conséquences psychiques lourdes sur les personnes) sortis de leur contexte (le contexte culturel variant d’un pays à l’autre, le contexte d’une publication serait de toute manière très difficile à appréhender). Leur travail sert à modérer les contenus des réseaux sociaux commerciaux et à entraîner des algorithmes dans le but d’automatiser la modération¹Lire les travaux du sociologue Antonio Casilli sur les « travailleurs du clic » et la déconstruction du fantasme selon lequel l’intelligence artificielle remplacerait le travail humain. Casilli, Antonio. En attendant les robots – Enquête sur le travail du clic, Seuil, 2019.

Pour ces raisons, la modération par algorithme n’est pas souhaitable. Elle est en plus de cela largement fantasmée. Comme en témoigne l’exemple de la tuerie de Christchurch que nous présentions plus tôt : les algorithmes remplissent mal l’objectif de censure qui leur est donné et laissent passer des contenus qu’ils étaient censés censurer. Ces erreurs fonctionnent aussi dans l’autre sens : certains contenus qui ne devraient pas être censurés par l’algorithme le sont quand même. Diverses représentations d’œuvres d’art se sont ainsi retrouvées censurées, suscitant de vives polémique.

Le législateur, valide, encourage et va parfois jusqu’à imposer l’usage des algorithmes de filtrage en exigeant des délais très court aux retraits de contenus. La directive européenne sur le droit d’auteur et le règlement européen relatif à la prévention de la diffusion de « contenus à caractère terroriste » en ligne qui imposent l’usage de ces algorithmes semblent passer totalement à côté de la réalité de comment sont entraînés ces algorithmes et de leur soi-disant « efficacité ».

L’interopérabilité, et son objectif de décentralisation, permettrait de remettre en avant la modération humaine effectuée par des personnes concernées ayant un regard plus juste et contextualisé sur les contenus à modérer.

L’obligation d’interopérabilité des réseaux sociaux comme outil de leur régulation

L’interopérabilité des réseaux sociaux consiste à permettre à un·e utilisateur·rice inscrit·e sur une plateforme A de pouvoir communiquer avec celleux inscrit·es sur une plateforme B, et inversement, sans pour autant avoir besoin de compte sur cette deuxième plateforme. Un·e utilisateur·rice pourrait écrire à des personnes qui sont sur une autre plateforme et s’abonner à leurs fils d’actualités ou pages sans avoir besoin de compte chez les autres réseaux sociaux, donc sans accepter non plus leurs conditions générales d’utilisation et leur surveillance.

L’objectif principal de La Quadrature du Net lorsqu’elle demande au législateur de contraindre les plus gros réseaux commerciaux de devenir interopérables est de briser leurs silos afin que leurs utilisateur·rices puisse échapper à leur captivité et rejoindre d’autres réseaux. Le fait de briser ces silos a de nombreuses conséquences possibles, dont certaines nous semblent particulièrement désirables.

Casser les silos : ouvrir de nouveaux possibles

Comment cela fonctionne ? L’exemple du fédivers

Le fédivers (de l’anglais fediverse, mot-valise entre « fédération » et « univers ») est un grand réseau social permettant d’échanger des informations, des photos, des vidéos, de la musique, … Il est très différent des réseaux sociaux commerciaux dans sa conception, mais s’utilise de manière similaire au quotidien. Nous prenons cet exemple car il a connu un essor ces dernières années (notamment avec le logiciel Mastodon), mais il ne s’agit pas forcément pour autant de la meilleure solution technique : plusieurs voies sont en cours de développement et les choix techniques et standards choisis ont toujours des conséquences sur l’organisation des réseaux et sur les utilisateur·rices. L’avantage des protocoles ouverts comme ActivityPub (sur lequel se fonde le fédivers), ou encore Matrix, Solid, XMPP, Diaspora, etc., est qu’ils rendent possibles de créer des ponts entre eux, de « traduire » un protocole vers un autre²Souvent la mise en place de tel « bridge » n’est pas aussi efficace et fonctionnel que si le protocole utilisé était le même, mais cela permet tout de même de maintenir un lien entre eux.. Ces protocoles ont donc l’intérêt de faire fonctionner plusieurs réseaux sociaux comme un seul.

Dans le fédivers, tous les rôles que nous avons décrit plus haut sont gérés par des acteurs différents qui ont des noms différents : le réseau social s’appelle « fédivers », le protocole « ActivityPub », et les logiciels sont très nombreux (on vous en présente quelques uns plus bas). Cela peut donner une sensation de complexité pour les utilisateur·rices, mais c’est ce qui garantit l’ouverture du réseau, la possibilité d’en créer de nouvelles parties, et permet surtout la déconcentration des pouvoirs.

Dans le fédivers, on trouve par exemple des alternatives à Twitter : Mastodon est la plus connue, mais il existe aussi GNU social, Pleroma, Misskey et d’autres. Il y a Peertube, une alternative à Youtube, Plume, une alternative à Medium, Mobilizon qui permet d’organiser des événements (et remplace les événements Facebook), Pixelfed, qui permet de partager des images et se propose comme alternative à Instagram, Lemmy, une alternative aux sites-forums d’agrégation d’actualité comme Reddit, ou encore Funkwhale qui permet d’héberger et partager des fichiers audio et se propose en alternative à Deezer ou Spotify.

Notons la place importante de nos ami·es de Framasoft dans le développement de cet écosystème de logiciels libres, notamment à travers leur travail sur Mobilizon et Peertube ainsi que le rôle des CHATONS, collectif d’hébergeurs alternatifs qui hébergent et administrent de nombreuses instances de réseaux sociaux décentralisés³Cette liste de logiciels du fédivers est loin d’être exhaustive : il en existe bien d’autres, d’autant plus si on ajoute les logiciels utilisant d’autres protocoles interopérable qu’ActivityPub. Ces logiciels libres sont plus ou moins proches des logiciels privateurs desquels ils sont l’alternative et sont dans des états de développement plus moins avancés..

Le fédivers fonctionne sur le principe de fédération : pour faire partie du réseau, il faut créer ou rejoindre une instance. Une instance est une version installée sur un serveur d’un logiciel qui communique avec ActivityPub. N’importe qui peut donc créer une instance. La Quadrature du Net a par exemple une instance Mastodon, mamot.fr.

Voici un schéma d’une instance Mastodon.
Contrairement aux réseaux sociaux commerciaux, on peut y accéder via des clients différents :

Contrairement aux réseaux sociaux commerciaux, plusieurs instances Mastodon peuvent se fédérer et permettre à leurs utilisateur·rices de communiquer entre elles tout en ayant des règles de modération différentes. Mais il y a également une nouveauté supplémentaire : différents logiciels, à partir du moment où ils sont basés sur ActivityPub, peuvent communiquer entre eux même si leurs usages sont différents. Ainsi, une personne avec un compte sur une instance Mastodon (dont l’usage est du micro-blogging) peut s’abonner à un compte PixelFed (partage d’images) ou bien commenter des vidéos hébergées sur une instance Peertube (partage de vidéos).

Nombreux·ses sont les utilisateur·rices qui souffrent de la démultiplication des comptes sur les messageries et les réseaux sociaux. L’interopérabilité pourrait devenir une solution permettant à chaque utilisateur·rices d’avoir des comptes uniquement sur les services qui l’intéressent tout en ayant la possibilité de communiquer avec quelqu’un ayant un compte sur n’importe quel autre service interopérable.

Régulation de l’expression par la décentralisation

La première étape pour transformer l’écosystème des réseaux sociaux passe donc par la possibilité pour les utilisateur·rices de se diriger vers les alternatives existantes, qui leur montreront ce que donnent des logiques de modération différentes de celles des réseaux sociaux commerciaux. Les logiciels de réseaux sociaux existants utilisant des protocoles interopérables proposent déjà des services qui permettent aux utilisateur·rices de s’extraire de la surveillance et de l’organisation des contenus au service de la publicité, de choisir parmi une multitude de régimes de modération différents, et même d’en créer de nouveaux.

On peut d’ores et déjà observer la différence, en termes de diffusion des contenus, qu’apporte le caractère décentralisé des politiques de modération, via une comparaison entre Mastodon et Twitter. Sur Mastodon, la modération est effectuée à l’échelle des instances (et donc de chaque serveur sur lequel est installée le logiciel Mastodon). Elle est faite par des personnes humaines, se référant aux règles de modération établies par l’instance en question. Les contenus problématiques ne bénéficient pas d’une viralité boostée comme sur Twitter ; au contraire, leur viralité est même plutôt freinée par les décisions de modération de chaque instance au fur et à mesure que les contenus atteignent différentes instances en étant partagés par des utilisateur·rices.

Ce système de modération est bien plus fin que la modération par algorithmes car les personnes humaines qui modèrent chaque instance ont une meilleure compréhension du contexte et se réfèrent à des règles collectives correspondant à l’espace d’expression dont elles sont les actrices. Par ailleurs, la décision de modérer ou non un contenu est beaucoup moins lourde de conséquences car elle n’entraîne pas pour tout le monde une interdiction d’accès au contenu : seule l’instance hébergeant le compte qui a posté le contenu peut le supprimer complètement. Une instance peut donc modérer un contenu chez elle, sans que cela n’impacte la manière dont le contenu sera vu sur les autres instances. Il n’y a donc pas de censure hégémonique. De cette manière, la logique décentralisée prend bien plus en compte la complexité du monde des espaces d’expression : elle accepte que la validité d’un propos ne soit pas binaire et dépende de l’espace où il est exprimé et des règles que celui-ci s’est données.

De nouveaux usages possibles grâce à l’interopérabilité

Ces initiatives sont pour la plupart en cours de développement et beaucoup de critiques peuvent leur être faites. Pour reprendre l’exemple précédent de la comparaison entre Mastodon et Twitter, de nombreux problèmes subsistent : Mastodon étant très largement inspiré de Twitter, il en copie le fonctionnement en favorisant par défaut les contenus publics, en étant construit comme une grande arène uniquement constituée de comptes d’individus, en valorisant le sentiment de récompense rattaché aux outils de mesure de la « performance d’un contenu » (les partages et les favoris), etc. Le fonctionnement par instance maintient corrélées les décisions de modération et la question de l’hébergement : les personnes ayant la capacité technique d’héberger une instance ont plus de pouvoir que les personnes qui n’ont pas cette capacité technique puisqu’elles en seront la plupart du temps administratrices.

Les critiques et pistes d’amélioration sont nombreuses et déjà très investies par l’écosystème de développeur·euses et d’utilisateur·rices des réseaux sociaux décentralisés. Parmi les réflexions en cours, celles s’intéressant aux modes de décisions collectives sont particulièrement intéressantes. Il y a un fort enjeu pour les groupes à avoir des outils en ligne qui leur permettent de s’organiser aussi librement qu’ils le souhaitent.

Ainsi, le protocole Scuttlebut propose un fonctionnement entièrement basé sur l’auto-hébergement et le pair-à-pair : les contenus sont hébergés directement par les utilisateur·rices et circulent de manière chiffrée au sein du réseau sur la logique du bouche-à-oreilles. Comme dans des discussions entre ami·es : on ne peut savoir ce qu’a dit quelqu’un que si quelqu’un d’autre nous le répète, le tout restant privé.

De même, Bonfire est un logiciel de réseau social basé sur ActivityPub qui permet de faire du microblogging. Il permet de reproduire les usages de type « Twitter », comme les alternatives que nous avons précédemment mentionnées, mais tente aussi de proposer de nouvelles fonctionnalités comme la possibilité de faire exister des logiques de groupes ou encore d’avoir une interface adaptable à différents usages.

Enfin, on soulignera les travaux de l’association Technostructures, qui formule plusieurs critiques à l’égard du protocole ActivityPub : le lien indissociable entre hébergement de l’instance et pouvoir de modération et le caractère public par défaut des contenus. C’est sur ce constat qu’elle développe Posca, un réseau social qui n’est pas basé sur le protocole ActivityPub mais sur le protocole Matrix (tout en proposant tout de même la fédération avec le fédivers via un pont). L’usage du protocole Matrix apporte aussi l’avantage que les échanges sont chiffrés.

Un autre enjeu est celui de l’avenir des réseaux sociaux. Les vieux réseaux sociaux commerciaux semblent depuis longtemps s’être figés. Parce qu’ils n’ont plus besoin d’attirer les utilisateur·rices avec de nouveaux usages intéressants depuis qu’ils les ont rendus captif·ves, on n’y voit quasiment plus rien de nouveau. Les quelques nouveautés ne servent que l’objectif économique des entreprises, comme la mise en avant par Meta de la réalité virtuelle à travers son idée de Metaverse qui répondait à une logique de création d’un nouveau marché (sur lequel Meta aurait eu un monopole grâce à son fonctionnement en silo) et s’est écroulée car ne répondant à aucun usage des utilisateur·rices. Il y a pourtant de nombreuses pistes à explorer pour proposer des usages réellement utiles aux groupes et aux personnes qui cherchent le bon moyen de communiquer. Promouvoir l’interopérabilité, c’est aussi rouvrir la question des usages médiatiques du Web et de leur devenir.

Forcer l’interopérabilité : stratégies politiques et juridiques

Il ne faut bien évidemment pas compter sur les réseaux sociaux commerciaux pour être interopérables de leur plein gré. La Quadrature du Net demande donc, depuis 2019, que soit instaurée dans le droit une obligation d’interopérabilité des grands réseaux sociaux.

Le refus du législateur jusqu’à présent d’instaurer une obligation d’interopérabilité

En France, la députée Laetitia Avia (LREM) a fait voté en 2020 une proposition de loi qui, sous couvert de lutte contre la haine en ligne, instaurait un gigantesque dispositif de censure obligatoire et arbitraire. Lors des débats parlementaires, La Quadrature a rappelé qu’il existe une autre manière de réguler les plateformes et de lutter contre la haine en ligne, sans passer par la censure, grâce à l’obligation d’interopérabilité afin de permettre aux internautes de quitter une plateforme toxique. Ainsi, en 2019, plus soixante-dix organisations, aux côtés de La Quadrature, demandaient au législateur d’obliger les grands réseaux sociaux commerciaux à être interopérables. Le choix du législateur a été d’ignorer cet appel, de rester dans une vision de régulation par la censure, et cette loi est aujourd’hui tombée dans les oubliettes de la République depuis que le Conseil constitutionnel l’a quasiment intégralement déclarée contraire à la Constitution.

Lorsque l’Union européenne a voulu réformer son cadre juridique sur le numérique avec le Digital Services Act (règlement sur les services numériques, ou DSA) et le Digital Markets Act (règlement sur les marchés numériques, ou DMA), de nombreuses associations de défense des libertés, dont La Quadrature, EDRi, ARTICLE 19, ou encore l’Electronic Frontier Foundation ont demandé à ce qu’une obligation d’interopérabilité des réseaux sociaux soit inscrite dans ces textes législatifs : l’Union européenne avait enfin l’occasion d’innover dans sa manière de réguler les géants du net. Le Parlement européen a été réceptif à cet appel : la version du DMA votée par le Parlement européen comportait une obligation d’interopérabilité des grands réseaux sociaux. Mais c’était sans compter sur les efforts de la France et de Cédric O, alors secrétaire d’État au numérique. Lors des négociations sur le DMA, la France, alors présidente du Conseil (l’autre organe législatif de l’UE à côté du Parlement européen), a obtenu, à la toute fin des négociations, le retrait de cette obligation d’interopérabilité.

Enfin, récemment, le gouvernement français a présenté en mai 2023 un projet de loi visant à sécuriser et réguler l’espace numérique (aussi appelé « SREN ») dont l’objectif est, entre autres, de réguler les plateformes en ligne. Là encore, de la même manière que la loi Avia, le gouvernement a préféré la solution de la censure à celle de l’interopérabilité des réseaux sociaux, grande absente. Et ici encore, alors que des député·es de gauche et du centre avaient proposé d’instaurer une forme d’obligation d’interopérabilité, le gouvernement s’y opposa. La raison de son refus ? Nous ne la connaîtrons pas : le ministre du numérique Jean-Noël Barraut n’a pas pris la parole pour s’expliquer, se contentant d’un lapidaire « Défavorable », et la majorité présidentielle suivit sagement l’avis négatif du ministre pour rejeter les amendements proposés.

Un rapport de force entre grandes plateformes et États d’une part, et société civile d’autre part

Alors que l’obligation d’interopérabilité des réseaux sociaux aurait pu devenir une réalité si la France et Cédric O n’avaient pas autant bataillé contre, les déclarations de ce dernier éclairent assez bien le rapport de force qui se joue aujourd’hui.

Dès 2019 en effet, Cédric O se montrait très réticent à l’idée d’obliger les grands réseaux sociaux à être interopérables. Devant la commissions des lois de l’Assemblée nationale, il regrettait le caractère « excessivement agressif pour le modèle économique des grandes plateformes » d’une obligation d’interopérabilité. Autrement dit, le secrétaire d’État a préféré sacrifier les libertés publiques et la possibilité d’explorer de nouvelles manières de s’exprimer en ligne sur l’autel des intérêts économiques des grandes plateformes.

Il y a donc un véritable rapport de force aujourd’hui autour de la question de l’obligation d’interopérabilité des réseaux sociaux, où grandes plateformes et États travaillent de concert. Meta, notamment, n’a pas hésité à critiquer l’interopérabilité pour ses risques – exagérés, nous revenons dessus plus bas – en termes de vie privée. Or, en juillet 2020, Facebook et Snapchat réussissaient à s’afficher aux côtés du Conseil national du numérique (CNNum) à l’occasion d’une table-ronde sur l’interopérabilité des réseaux sociaux et de la publication d’un rapport de l’institution très critique sur l’interopérabilité.

L’urgence à obliger les réseaux sociaux commerciaux à être interopérables

Il est particulièrement important d’agir et de faire en sorte que cette obligation d’interopérabilité des réseaux sociaux arrive vite, parce que de leur côté, les grands réseaux sociaux n’attendent pas. Reconnaissons un point à Cédric O lorsqu’il s’opposait pendant les débats sur la loi Avia à une telle obligation : elle remettra drastiquement en cause le modèle économique actuel des grands réseaux sociaux qui n’est possible, nous l’expliquions plus haut, que grâce à leur position hégémonique. Ces derniers n’investiront le champ de l’interopérabilité que s’ils y ont quelque chose à gagner.

Or, c’est précisément ce que voudrait faire Meta : lancer un réseau social interopérable sans attendre d’y être contraint par le législateur. L’entreprise a en effet annoncé à l’été 2023 que son nouveau réseau de microblogging, Threads, serait interopérable avec le reste du fédivers grâce au support du protocole ActivityPub. Bonne nouvelle ? Non, comme nous l’expliquions à l’époque. Meta profite de l’absence d’obligation d’être interopérable, donc de l’absence de régulation de ce domaine, pour devenir le plus gros acteur et ainsi, pouvoir peser sur les choix techniques du fédivers et du protocole ActivityPub.

En effet, aujourd’hui, parce qu’aucun réseau social n’a l’obligation d’être interopérable, le domaine de l’interopérabilité des réseaux sociaux n’est pas régulé. Cela fonctionne à peu près correctement lorsque l’écosystème des réseaux sociaux interopérables est composé de petits acteurs, qui ne cherchent pas le profit, donc qui ne voient pas le fédivers comme un marché à conquérir et qui ne cherchent pas à le canibaliser. Mais cet équilibre serait radicalement modifié avec l’arrivée d’une entreprise comme Meta : non seulement en raison de l’objectif commercial de Meta, mais également en raison du nombre d’utilisateur·rices qu’elles représenterait et du pouvoir d’influence que cela lui conférerait (les plus grosses instances Mastodon ont quelques centaines de milliers d’utilisateur·rices quand Facebook en a plusieurs milliards).

C’est pour cette raison qu’il est nécessaire que l’obligation d’interopérabilité s’accompagne d’une régulation de ce secteur. Aujourd’hui, même si la question de la nature de la régulation est ouverte, La Quadrature du Net estime, à défaut de meilleure solution, que celle-ci devrait prendre la forme d’un régulateur indépendant étatique, comme c’est le cas avec la régulation des télécoms et l’obligation de neutralité du net. En France, ce serait l’ARCEP, déjà chargée de réguler les télécoms. Ce régulateur aurait non seulement le pouvoir d’imposer aux géants les protocoles à implémenter (afin qu’un Meta ne puisse pas inventer son propre protocole fermé et ne l’ouvrir que partiellement pour garder le contrôle sur son évolution), mais pourrait également, avec des sanctions dissuasives, punir les réseaux sociaux commerciaux qui ne se plieraient pas à cette obligation (par exemple si un réseau social voulait se refermer après avoir capté une partie de la communauté, comme ce qu’il s’est passé avec Google et GTalk).

La proposition législative de La Quadrature

La Quadrature du Net a proposé à des député·es, à l’occasion du projet de loi SREN, d’instaurer une obligation d’interopérabilité par voie d’amendement. Deux amendements leur ont été proposés, qui peuvent être redéposés clé-en-main à l’occasion d’un futur véhicule législatif, voire être transformés en proposition de loi.

Le premier amendement vise à instaurer une véritable obligation d’interopérabilité. Il repose sur les définitions et seuils européen·nes et s’inspire de la proposition du Parlement européen d’instaurer une telle obligation dans le DMA. Lorsqu’un réseau social est un « contrôleur d’accès » (c’est-à-dire une grande plateforme) au sens de l’article 3 du DMA, il devra être interopérable. Cette obligation est contrôlée par l’ARCEP, qui voit ses pouvoirs de régulation et de sanction étendus à la question de l’interopérabilité.

Le deuxième amendement est un amendement de repli. Il n’instaure pas d’obligation d’interopérabilité, mais régule les plateformes qui, comme Meta, voudraient cannibaliser le fédivers. Cet amendement de repli repose sur les mêmes définitions du DMA, mais ne prévoit d’obligation de respecter les règles de l’ARCEP que si le réseau social commercial appartient à un « contrôleur d’accès » et est interopérable.

Prévoir les impacts de l’interopérabilité

Nous avons évoqué de nombreuses formes que peuvent prendre les réseaux sociaux grâce à l’interopérabilité, à travers les initiatives existantes : en reprenant certaines logiques des réseaux sociaux dominants dans une version décentralisée ou en proposant de nouvelles logiques de diffusion de l’information. On ne peut pas prévoir de manière certaine les dynamiques que provoqueraient une obligation d’interopérabilité. Toutefois, il est important d’envisager que cette obligation (ou la menace de la création d’une telle obligation) va provoquer des tentatives de « prise de marché » de la part du monde commercial.

Protocole ouvert = accès massif aux données ?

Pouvoir acceder aux informations et publications de nos proches sur les réseaux sociaux commerciaux, c’est aussi permettre aux personnes sur les réseaux sociaux commerciaux d’accèder aux informations et aux publications des personnes sur les réseaux sociaux non commerciaux qui ont une politique de gestions des données personnelles protectrice. Cela soulève donc la question suivante : l’interopérabilité risque-t-elle de donner une opportunité technique au réseaux sociaux commerciaux de récupérer également les informations issues des autres réseaux sociaux ? Bien sûr, cela serait parfaitement illégal, mais on ne peut pas faire confiance aux réseaux sociaux commerciaux pour respecter la loi, ils ne le font déjà pas.

Il est aujourd’hui déjà possible de collecter les informations publiquement accessibles sur un réseau social, en collectant les pages web qui contiennent les informations recherchées. Il est techniquement possible de faire une copie de toutes les pages publiques d’un réseau social pour analyser leur structure HTML et extraire le contenu (on appelle cela du scraping). Mais cette manière de faire est compliquée : il faut passer d’un contenu non-structuré (une page HTML) à un contenu structuré (l’information intéressante dans cette page HTML), ce qui n’est possible que par une analyse fine de la structure de la page HTML. Cette analyse est complexe mais les outils existent déjà ; c’est ce que fait par exemple l’administration fiscale française.

Or, l’intéropérabilité facilite la collecte par un acteur malveillant de données puisque le protocole servant à différentes instances pour communiquer entre elles (ActivityPub pour le fédivers) vise, précisément, à structurer les données. Mais cette facilitation technique de la collecte de données n’est pas le propre de l’interopérabilité : certains réseaux sociaux commerciaux proposent, parfois moyennant finances ou à des conditions strictes d’utilisation, des API (« application programming interface », ou « interface de programmation d’application ») qui permettent de structurer les données. Pour reprendre le cas de l’administration fiscale, celle-ci utilise ces API lorsqu’elle en a la possibilité et ne procède à du scraping que dans le cas où ces API ne sont pas disponibles.

Il est donc vrai que l’interopérabilité facilite le travail d’un acteur malveillant qui voudrait collecter des données. Mais il ne crée pas de nouveau risque à proprement parler, d’autant que ces outils de scraping sont largement à la portée des géants du Web.

Toutefois, ce débat – éminemment légitime – a pris de la place sur le fédivers lorsque l’entreprise Meta a annoncé la sortie de Threads, à terme basé sur le protocole ActivityPub donc pouvant communiquer avec d’autres instances du fédivers. Certain·es utilisateur·rices du fédivers ont notamment eu peur de voir leur données récupérées par Meta et de nombreuses instances ont même signé le « Fedipact », s’engageant à bloquer Threads.

En effet, une grande partie des utilisateur·rices du fédivers est particulièrement soucieuse aux questions de collecte de leur données personnelles. Nous ne pensons pas pour autant que cette crainte doive bloquer la possibilité de permettre aux personnes toujours captives des réseaux sociaux commerciaux de s’en echapper.

Décentraliser les espaces de discussions, c’est enlever du pouvoir aux États

Comme on l’a expliqué plus haut, l’interopérabilité a beaucoup d’avantages : pourquoi, alors, les États persistent-ils à vouloir maintenir des espaces de discussions centralisés au sein de quelques acteurs commerciaux ? Parce que cela répond à leur logique de recherche de pouvoir.

La régulation de l’expression en ligne est parsemé d’exemples où les États ont voulu accroître leur pouvoir. Il y a tout d’abord la question de la censure des expressions : avec le règlement européen « terroriste », il est possible pour une police de n’importe quel État de l’UE d’obliger le retrait d’un contenu, sans passer par un juge, qu’elle estimerait être à caractère terroriste. Avant les contenus terroristes, au début des années 2010, ce sont les contenus d’abus sur enfant qui ont, les premiers, été le prétexte pour ouvrir la boîte de Pandore de la censure administrative.

Or, il est beaucoup plus facile pour un État de discuter avec quelques acteurs commerciaux qui suivent des logiques de marchés et qui seront sensibles aux menaces économiques, qu’avec des collectifs informels, mouvants et difficilement palpables comme le fédivers en comporte. Les États ont donc intérêt à maintenir l’hégémonie des géants, puisqu’ils auront face à eux un petit nombre d’acteurs clairement identifiés.

Cette centralisation des réseaux sociaux permet de plus facilement faire pression sur eux pour censurer, y compris en dehors de tout cadre légal. Ainsi, à l’été 2023, lorsque des révoltes ont éclaté en France suite au meurtre par un policier d’un adolescent, la classe politique a ignoré les causes sociales de cette colère, et a préféré ressortir le vieux bouc émissaire des réseaux sociaux. Certains parlementaires et ministres, ainsi qu’Emannuel Macron, ont suggéré d’accentuer les obligations de censure s’imposant aux plateformes. Or, sans attendre une évolution législative, les réseaux sociaux commerciaux se sont s’exécuté. Ainsi, après une « convocation » par le ministère de l’intérieur, la responsable des affaires publiques de Snapchat, Sarah Bouchahoua (ancienne collaboratrice de Laetitia Avia), n’hésitait à révéler devant l’Assemblée nationale que, sur demande du gouvernement, le réseau social avait procédé au retrait de certains contenus. Une censure extralégale, qui repose sur une interprétation arbitraire et a maxima des conditions générales d’utilisation de la plateforme.

On voit bien le problème pour les États d’une généralisation des réseaux sociaux interopérables. Le ministre de l’intérieur ne pourra pas « convoquer » le fédivers. Ses décisions de censures, si elles sont illégitimes, seront d’un effet beaucoup plus réduit. Si une instance se voyait bloquée arbitrairement, ses utilisateur·rices pourraient migrer ailleurs.

Conclusion

Depuis 2019, date où nous avons commencé à expliquer aux parlementaires la nécessité de prévoir dans la loi une obligation d’interopérabilité, nos constats sur les dangers des pratiques hégémoniques des réseaux sociaux commerciaux n’ont pas bougé. Ce qui a évolué en revanche, c’est la volonté croissante des internautes de s’en libérer. Nous avons ainsi vu s’enchaîner les vagues de migration d’utilisateur·rices vers les alternatives. L’Internet libre aussi a bougé et foisonne de nouvelles initiatives porteuses d’idées à même de réellement réinventer le monde des réseaux sociaux. Nous avons également vu apparaître des stratégies d’interopérabilité adversarielle, c’est-à-dire des stratégies pour libérer de force les contenus présents sur les réseaux sociaux commerciaux et les rendre accessibles depuis d’autres services.

Malheureusement, nous avons aussi assisté à un enchaînement de lois de censure, cherchant à « réparer » les problèmes des réseaux sociaux tout en les confortant dans leur centralisation et leur hégémonie. L’interopérabilité devient une urgence.

Ce n’est pas la première fois que nos droits à communiquer et à partager des informations sont remis en question par la position hégémonique d’intermédiaires techniques à des fins commerciales. Dans les années 2010, les fournisseurs d’accès Internet ont cherché à tirer plus de profit de leur position en tentant de filtrer ou de ralentir l’accès à certains sites. Pour assurer un accès à Internet sans restriction de leur part, nous avons érigé la neutralité du net en principe fondamental d’Internet. Aujourd’hui face à la surveillance, la censure, les régimes de modération uniques et unilatéraux nous devons tous·tes ensemble pousser le principe d’interopérabilité et le rendre obligatoire pour les réseaux sociaux hégémoniques.

Nous plaçons la promotion l’interopérabilité des réseaux sociaux dans nos principaux combats pour l’année 2024. Ce principe est encore bien trop méconnu du grand public et une adhésion massives des populations faciliterait son insertion dans un texte de loi. Parlez donc de l’interopérabilité autour de vous !

Et pour soutenir La Quadrature du Net, n’hésitez pas à nous faire un don.

Faire un don

Algorithmes de suspicion de la CAF : la preuve par les faits

C’est une enquête qui a duré 18 mois. Dès avril 2022, conjointement avec le collectif Changer de Cap, nous demandions l’arrêt des pratiques discriminatoires de la Caisse d’allocations familiales (CAF), qui utilise un algorithme pour attribuer un « score de suspicion » aux bénéficiaires des aides sociales, pour détecter les personnes les plus susceptibles de percevoir des sommes indues. Sous prétexte de lutter contre la « fraude sociale » — une ambition très populaire dans l’idéologie de la chasse à « l’assistanat » — fraude réelle dont toutes les études au sein même des agences de l’État ont depuis longtemps démontré qu’elle est majoritairement une fraude aux cotisations de la part des employeurs notamment, il s’agit avec cet algorithme de débusquer plutôt les bénéficiaires qui, du fait de la complexité des règles relatives aux minima sociaux, auraient touché des sommes plus importantes que celles à quoi ils et elles auraient droit.

Le « bon sens » tel qu’il s’exprime sur les réseaux sociaux, et nous avons pu le constater à chaque publication de nos articles, ne trouve pas d’inconvénient à ce procédé : « Il faut bien attraper les fraudeurs ! Vous préférez ne rien faire ? ». On peut discuter le principe, mais ce n’est pas le sujet. Le problème, comme souvent, est dans la manière de faire.

En pratique, la CAF dispose d’environ 1 000 types de données différents sur les allocataires et en utilise une quarantaine pour passer au crible la vie d’environ 13 millions de personnes. Leur vie personnelle et intime, sous prétexte de leur donner ou non de l’argent public, devient l’objet d’une analyse et d’un jugement, de fond en comble. Le logiciel mouline cette masse d’informations avec son petit mécanisme et sort à la fin pour chaque bénéficiaire un « score de suspicion » compris entre 0 et 1. S’il se rapproche de 1, le risque de fraude est considéré comme étant plus grand, et la personne concernée fera l’objet d’un contrôle humain par des agents soumis à une pression de rentabilité. En pratique, la sanction algorithmique touche d’abord les personnes les plus pauvres, soit que l’allocation retirée ou réduite représente une partie importante de leurs revenus de survie, soit qu’elle en représente la totalité.

Plus grave encore : nous avions l’intuition, après l’étude de plusieurs cas particuliers, que les critères qui faisaient augmenter le score de suspicion incluaient le fait d’être d’origine étrangère, de toucher le RSA, ou d’être une femme seule qui élève des enfants. Pour en avoir le cœur net, nous avions demandé à la CAF, par l’intermédiaire d’une « demande Cada », de publier son algorithme de calcul. La CAF a refusé autant qu’elle a pu de fournir le code-source logiciel, sous prétexte que sa publication permettrait aux « fraudeurs » de le contourner — peut-être en arrêtant fourbement d’être une femme noire au RSA, par exemple ?

Mais, faute d’avoir accès à la version actuelle, nous avons enfin obtenu la communication d’une ancienne version de cet algorithme de « scoring », et notre analyse est sans appel : oui, l’algo de flicage de la CAF pénalise, dans sa structure même et dans le poids qu’il donne aux critères d’évaluation, les personnes à l’emploi précaire, qui doivent changer de logement souvent et, de manière générale, qui ont des parcours de vie compliqués. Autrement dit, les personnes les plus précaires se retrouvent traquées et sanctionnées par une administration sociale. Nous demandons par conséquent l’interdiction de cette technologie numérique de contrôle social, qui cache sous la prétendue neutralité de la technique une politique sociale discriminatoire, dégradante et injuste.

Notre analyse complète de l’algorithme de la CAF : https://www.laquadrature.net/2023/11/27/notation-des-allocataires-lindecence-des-pratiques-de-la-caf-desormais-indeniable/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous avons lancé il y a quinze jours notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la promotion de l’interopérabilité des services Web, la lutte contre les algorithmes de contrôle social dans les administrations, la réflexion nécessaire autour du numérique dans le contexte de la crise écologique, et la défense du droit au chiffrement des communications.

Cette semaine, nos publications ont mis l’accent sur la question des algorithmes administratifs, dont notre travail sur l’algo de suspicion de la CAF était le point culminant. Vous pouvez retrouver l’ensemble de nos « fils » sur nos réseaux sociaux : la présentation de notre travail sur la CAF, une invitation à rejoindre la lutte contre les algos administratifs en demandant votre propre « score de risque », et un panorama du travail mené par ou avec nos partenaires européens.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

La Quadrature dans les médias

Algo de la CAF

• Fraude sociale : selon la Quadrature du net, l’algorithme de la Cnaf a un « fonctionnement délibérément discriminatoire » [France Info TV]
• Qu’est-ce que le « score de suspicion » de la CAF, accusée de discriminer les plus précaires ? [Le Parisien]
• Allocations familiales : un « score de suspicion » antifraude accusé de discriminer les plus précaires à la CAF [RTL]
• Allocations familiales : un algorithme anti-fraude critiqué par des associations [Le Figaro]
• L’algorithme de la CAF, « un système de surveillance de masse particulièrement pernicieux » selon la Quadrature du Net [Clubic]
• Fraude aux allocations familiales : la CAF utilise bien des algorithmes qui ciblent les plus précaires, selon la Quadrature du Net [01Net]
• L’algorithme qui n’aimait pas les pauvres [Le Pavé numérique]
• La Quadrature du Net dénonce un « algorithme de la honte » utilisé par la CAF [Siècle Digital]

Divers

• Reconnaissance faciale : le logiciel de BriefCam devant le Conseil d’État [Mediapart]
• Vidéosurveillance algorithmique : mais que fait la police ? [France Culture]
• Contrôle de la majorité, cyberharcèlement… pourquoi la loi SREN inquiète autant ? [Journal du Geek]

Agenda

• 2 décembre 2023 : le groupe Saccage 2024 appelle à une journée d’action contre les Jeux Olympiques de Paris 2024, notamment en raison des mesures de surveillance numérique prévues par la loi JO. Plus d’informations : https://saccage2024.noblogs.org/archives/2480.
• 8 décembre 2023 : Réunion d’information Technopolice à Rouen — à partir de 18h30, Maison des associations et la solidarité, 22 bis rue Dumont d’Urville, Rouen.
• 14 décembre 2023 : Causerie mensuelle du groupe Technopolice Marseille — à partir de 19h, Manifesten, 59 Rue Adolphe Thiers, Marseille.
• 14 décembre 2023 : Table ronde au festival OSINT à La Gaité Lyrique – à 11h, à La Gaité Lyrique, 259 rue Saint-Martin 75003 Paris. Plus d’informations sur https://www.gaite-lyrique.net/evenement/festival-osint
• 27-30 décembre 2023 : La Quadrature sera au 37e Chaos Communication Congress à Hambourg : https://events.ccc.de/category/37c3/.