Une femme d’origine Māori a récemment été identifiée à tort comme une voleuse dans un supermarché testant une nouvelle technologie de reconnaissance faciale. Un événement loin d’être isolé, alors que de nombreux gouvernements introduisent de nouvelles mesures pour lutter contre la recrudescence des vols à l’étalage.
Le 2 avril dernier, Te Ani Solomon faisait ses courses dans un centre commercial de Rotorua, une ville située à quelques heures au sud d’Auckland, lorsqu’elle a été prise à partie et identifiée à tort comme une délinquante. La jeune femme māori a présenté une pièce d’identité et tenté de raisonner le personnel, arguant qu’elle n’était pas la personne qui s’était introduite dans le magasin pour voler des articles quelques mois plus tôt.
La société mère du supermarché en question, Foodstuffs, teste actuellement une technologie qui compare les visages des clients à des délinquants connus pour tenter de prévenir les vols à l’étalage.
Interrogée par des médias locaux pour savoir si elle pensait que la race avait joué un rôle dans son identification erronée, Mme Solomon a répondu qu’il s’agissait d’un « facteur important », ajoutant que les entreprises ne devraient pas utiliser cette technologie en raison de sa partialité potentielle. « Cela m’a malheureusement obligée à expliquer à mon fils ce qu’est le racisme, précise-t-elle, je suis maintenant paranoïaque à l’idée d’être étiquetée comme une voleuse lorsque je fais mes courses ».
Une erreur humaine ?
L’entreprise Foodstuffs a présenté ses excuses à Mme Solomon, qualifiant cet épisode d’erreur humaine. « Il est ironique de blâmer une erreur humaine pour une technologie d’intelligence artificielle », a‑t-elle rétorqué à la compagnie.
Michael Webster, commissaire néo-zélandais à la protection de la vie privée, avait déjà fait part de ses préoccupations concernant les préjugés liés à cette technologie, précisant qu’il serait « inquiet » pour les consommateurs Māori, Pasifika et indiens si la technologie devenait permanente dans les supermarchés Foodstuffs. « Nous devons nous assurer que cela ne conduit pas à un traitement injuste des personnes de couleur en Nouvelle-Zélande », a‑t-il ajouté.
Dans un article publié par 1news, Mark Rickerby, maître de conférences à l’école de product design de l’université de Canterbury, estime que la réponse de la société de supermarchés, selon laquelle il s’agissait d’une « erreur humaine », ne répond pas aux questions plus profondes concernant l’utilisation de l’IA et de ce type de systèmes automatisés.
« En se concentrant de manière aussi cruciale sur les résultats des décisions automatisées, il est facile de négliger les questions relatives à la manière dont ces décisions sont appliquées, explique-t-il, ajoutant qu’investir dans l’amélioration de la précision des prédictions semble être une priorité évidente pour les systèmes de reconnaissance faciale. Mais cela doit être envisagé dans un contexte d’utilisation plus large où le préjudice causé par un petit nombre de prédictions erronées l’emporte sur les améliorations des performances dans d’autres domaines. »
La montée en flèche du taux de criminalité dans les commerces met de nombreux commerces de détail en état d’alerte en Nouvelle-Zélande. Une récente enquête de Retail NZ a révélé que plus de 92 % des interrogés déclarent en avoir fait l’expérience. Parmi les réponses obtenues, 82 % ont indiqué que le vol à l’étalage constituait le délit le plus fréquent au cours de l’année écoulée et l’estimation des pertes pour les détaillants s’élèverait à 1,1 milliard de dollars.
Un phénomène global
La Nouvelle-Zélande n’est pas le seul pays à signaler une augmentation des vols à l’étalage et des comportements violents dans les magasins. Au Royaume-Uni, où ce phénomène a récemment été qualifié de « crise « , le gouvernement a annoncé le 10 avril dernier un investissement de plus de 55 millions de livres sterling (64 millions d’euros) dans l’extension des systèmes de reconnaissance faciale, dans le cadre d’une nouvelle campagne de répression du vol à l’étalage.
Ce programme a été annoncé parallèlement à l’instauration de sanctions plus sévères pour les voleurs à l’étalage en Angleterre et au pays de Galles, avec notamment l’obligation de porter un système de traçage pour s’assurer qu’ils ne reviennent pas sur les lieux de leur crime.
Les supermarchés australiens ont également réagi à la criminalité dans le commerce de détail en recourant à la surveillance technologique : des caméras corporelles ont été distribuées au personnel, couplé à un verrouillage automatique des chariots et barrières de sortie pour empêcher les personnes de quitter les lieux sans payer.
Aux États-Unis, en mai dernier, le géant du commerce de détail Target a déclaré que la chaîne s’apprêtait à perdre un demi-milliard de dollars en raison de l’augmentation des vols.
A la tête des éléments déclencheurs de cette recrudescence globale des vols à l’étalage, on retrouve bien évidemment l’inflation.
Selon Burt Flickinger, expert en commerce de détail et directeur général de la société de conseil en commerce de détail Strategic Resource Group, interrogé par CNN, « des millions de personnes n’ont pas les moyens de faire leurs courses, de faire le plein d’essence, de payer les transports en commun, leurs loyers ou de rembourser leurs cartes de crédit ». Selon un récent sondage Gallup, trois Américains sur cinq, soit 61%, souffrent de difficultés financières en raison de la hausse des prix.
35% de marge d’erreur
En décembre dernier, la chaîne américaine de pharmacie Rite Aid s’est vue interdire le recours aux technologies de reconnaissance faciale dans ses magasins pendant cinq ans, suite à l’utilisation de systèmes pour identifier des clients considérés comme « susceptibles » de commettre des vols à l’étalage sans le consentement de ces derniers.
Le logiciel a identifié à tort plusieurs personnes afro-américaines, latinos ou encore asiatiques. La technologie envoyait des alertes aux employés de Rite Aid, par courriel ou par téléphone, lorsqu’elle identifiait des personnes entrant dans le magasin et figurant sur sa liste de surveillance.
L’Electronic Privacy Information Center (Epic), un groupe de défense des libertés civiles et des droits numériques, a alors déclaré que la reconnaissance faciale peut être préjudiciable dans n’importe quel contexte, mais que Rite Aid n’a même pas pris les précautions les plus élémentaires. « Le résultat était tristement prévisible : des milliers d’erreurs d’identification qui ont affecté de manière disproportionnée les clients noirs, asiatiques et latinos, dont certaines ont conduit à des fouilles humiliantes et à l’expulsion du magasin », expliquait John Davisson, directeur du contentieux d’Epic, à The Guardian en décembre dernier.
Des études ont montré que les systèmes de reconnaissance faciale se trompent régulièrement dans l’identification des personnes aux peaux foncées. « Il existe une fausse idée selon laquelle la technologie, contrairement à l’homme, n’est pas biaisée. Ce n’est pas exact », explique le Dr. Gideon Christian, professeur assistant à la faculté de droit de Calgary et spécialiste de l’interaction entre l’intelligence artificielle et le droit.
« Il a été démontré que la technologie a la capacité de reproduire les préjugés humains. Dans certaines technologies de reconnaissance faciale, le taux d’exactitude de la reconnaissance des visages masculins blancs est supérieur à 99 %. Malheureusement, lorsqu’il s’agit de reconnaître des visages de couleur, en particulier des visages de femmes noires, la technologie semble manifester son taux d’erreur le plus élevé, qui est d’environ 35 % », conclut-il.
