L’ONU veut interdire provisoirement la reconnaissance faciale en rue

Publié le 27/09/2021 par Etienne Wery

Dans son rapport sur les droits humains dans le monde digital, l’agence onusienne s’inquiète du développement de l‘intelligence artificielle, car c’est la technologie qui décide où l’on va et non la société ou les pouvoirs publics. Elle veut « instaurer de toute urgence un moratoire sur la vente et l’utilisation des systèmes d’intelligence artificielle qui représentent un risque grave d’atteinte aux droits de l’homme, jusqu’à ce que des garanties adéquates soient mises en place ».

Les risques liés à l’intelligence artificielle

En avril 2021, la Commission européenne dévoilait son projet de règlement encadrant les usages à risque de l’intelligence artificielle. Elle tentait une approche fondée sur les risques : le règlement introduit une distinction entre les utilisations de l’IA qui créent un risque inacceptable, un risque élevé et un risque faible ou minimal.

La liste des pratiques interdites figurant au titre II comprend tous les systèmes d’IA dont l’utilisation est considérée comme inacceptable car contraire aux valeurs de l’Union, par exemple en raison de violations des droits fondamentaux. Les interdictions portent sur les pratiques qui présentent un risque important de manipuler des personnes par des techniques subliminales agissant sur leur inconscient, ou d’exploiter les vulnérabilités de groupes vulnérables spécifiques tels que les enfants ou les personnes handicapées afin d’altérer sensiblement leur comportement d’une manière susceptible de causer un préjudice psychologique ou physique à la personne concernée ou à une autre personne. D’autres pratiques de manipulation ou d’exploitation visant les adultes et susceptibles d’être facilitées par des systèmes d’IA pourraient être couvertes par les actes existants sur la protection des données, la protection des consommateurs et les services numériques, qui garantissent que les personnes physiques sont correctement informées et peuvent choisir librement de ne pas être soumises à un profilage ou à d’autres pratiques susceptibles de modifier leur comportement. La proposition interdit également la notation sociale fondée sur l’IA effectuée à des fins générales par les autorités publiques. Enfin, l’utilisation de systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives est également interdite, à moins que certaines exceptions limitées ne s’appliquent.

Le titre III du texte contient lui des règles spécifiques applicables aux systèmes d’IA qui présentent un risque élevé pour la santé, la sécurité ou les droits fondamentaux des personnes physiques. Selon une approche fondée sur les risques, ces systèmes d’IA à haut risque sont autorisés sur le marché européen sous réserve du respect de certaines exigences obligatoires et d’une évaluation ex ante de la conformité. La classification d’un système d’IA comme étant à haut risque repose sur la finalité du système d’IA, conformément à la législation existante en matière de sécurité des produits. Par conséquent, la classification d’un système d’IA comme étant à haut risque ne dépend pas seulement de la fonction remplie par le système d’IA, mais également de la finalité et des modalités spécifiques pour lesquelles ce système est utilisé.

La reconnaissance faciale

Dès la sortie du projet de règlement, le Comité européen de la protection des données (CEPD) regrettait que le texte n’interdise pas complètement sur l’espace public les technologies d’identification biométrique à distance, notamment la reconnaissance faciale à la volée.

Dans le viseur : les systèmes dits « à la chinoise » où des millions de caméras filment et identifient en temps réel quiconque circule sur l’espace public. Les images sont utilisées pour diverses finalités, notamment afin d’établir le fameux « score de crédit social » : si une caméra surprend quelqu’un en train de traverser en dehors des passages cloutés, elle enlève automatiquement des points au citoyen concerné. Le crédit social fonctionne sur la base d’un système de sanctions graduées dont la sévérité augmente à mesure que les points diminuent. Le citoyen est petit à petit privé de droits : postuler dans la fonction publique, obtenir un crédit bancaire, s’inscrire pour l’obtention d’un logement social, etc. A l’extrême, c’est une forme de bannissement social qui est organisé.

Très sensible aux arguments des États qui invoquent la lutte contre le terrorisme pour justifier les technologies d’identification et de suivi en temps réel, y compris sur l’espace public, la Commission européenne n’a jamais voulu franchir le pas de l’interdiction.

C’est donc une voix supplémentaire qui s’exprime, et pas n’importe laquelle puisque c’est le très officiel Haut-Commissariat des Nations unies aux droits de l’homme qui s’inquiète.

La Haute-Commissaire, Michelle Bachelet, admet bien volontiers que « L’intelligence artificielle peut être bénéfique, en aidant les sociétés à surmonter certains des grands défis de notre époque » mais elle souligne aussitôt que « les technologies de l’IA peuvent avoir des effets négatifs, voire catastrophiques, si elles ne tiennent pas suffisamment compte de la manière dont elles affectent les droits de l’homme ».

Le Haut-Commissariat s’était donc donné pour tâche de dresser un rapport qui analyse « la manière dont l’IA, y compris le profilage, la prise de décision automatisée et d’autres technologies d’apprentissage automatique, affecte le droit de la population à la vie privée et d’autres droits, notamment les droits à la santé, à l’éducation, à la liberté de mouvement, à la liberté de réunion pacifique et d’association, et à la liberté d’expression ».

Selon le rapport, « la complexité de l’environnement de données, des algorithmes et des modèles qui sous-tendent le développement et le fonctionnement des systèmes d’IA, ainsi que la dissimulation intentionnelle d’informations de la part des acteurs gouvernementaux et privés sont des facteurs qui sapent les moyens dont dispose le public pour comprendre véritablement les effets des systèmes d’IA sur les droits de l’homme et la société ».

La Haute-Commissaire insiste : « Nous ne pouvons pas continuer à être à la traîne dans le domaine de l’IA – à autoriser son utilisation avec des limites et un suivi pratiquement ou totalement inexistants, et à devoir faire face à ses conséquences presque inévitables en matière de droits de l’homme. L’utilité de l’IA pour la population est indéniable, mais la capacité de l’IA à alimenter les violations des droits de l’homme à une échelle colossale et pratiquement sans visibilité l’est tout autant. Il faut agir dès maintenant pour mettre en place des protections en matière de droits de l’homme quant à l’utilisation de l’IA, pour le bien de tous ».

Un moratoire sur la reconnaissance faciale en rue ?

L’agence onusienne veut en effet « instaurer de toute urgence un moratoire sur la vente et l’utilisation des systèmes d’intelligence artificielle qui représentent un risque grave d’atteinte aux droits de l’homme, jusqu’à ce que des garanties adéquates soient mises en place ».

Le rapport émet plusieurs recommandations, dont une qui fait particulièrement parler d’elle puisqu’il s’agit d’imposer un moratoire sur la reconnaissance faciale dans les lieux publics :

« Impose a moratorium on the use of remote biometric recognition technologies in public spaces, at least until the authorities responsible can demonstrate compliance with privacy and data protection standards and the absence of significant accuracy issues and discriminatory impacts, and until all the recommendations set out in A/HRC/44/24, paragraph 53 (j) (i–v), are implemented. »

Plus d’infos?

En prenant connaissance du rapport de l’ONU disponible en annexe.