Discrimination par les IA dans les systèmes de surveillance sociale : le cas danois et ses répercussions globales
Fabrice Willot
↳ Philomath et explorateur d'innovations technologies 🤖 | Chercheur en IA pour la Cybersécurité 🔒 | Formateur, évangéliste et sensibilisateur en Cybersécurité 💡
Le récent rapport d'Amnesty International a soulevé une alarme importante : l'utilisation de l'intelligence artificielle dans le système de bien-être social du Danemark, déployée pour détecter les fraudes, pourrait s'avérer discriminatoire envers les groupes vulnérables. Ce rapport souligne que l'algorithme, censé rationaliser la surveillance et renforcer l'efficacité, met à risque les droits fondamentaux en ciblant de manière disproportionnée les personnes migrantes, les familles à faibles revenus et d'autres groupes marginalisés. Cet usage de l'IA dans les services sociaux n'est pas un cas isolé ; il s'inscrit dans un phénomène global où les algorithmes sont de plus en plus souvent impliqués dans des décisions de vie des citoyens, souvent sans qu'ils n'en soient conscients.
L'IA est aujourd'hui un outil puissant capable de traiter d'énormes volumes de données. Cependant, lorsque les données sont biaisées, les résultats produits par l'algorithme le seront également. Les algorithmes utilisés au Danemark, par exemple, sont montrés plus enclins à surveiller de près des groupes spécifiques, en fonction de caractéristiques telles que la nationalité ou le statut économique. Cette approche peut rappeler les systèmes de prédiction de récidive adoptés dans certains États américains, où les minorités sont plus continuellement identifiées comme à risque, engendrant des décisions partielles.
Les recherches récentes montrent que les biais algorithmiques dans l'IA peuvent renforcer les inégalités, notamment dans les domaines de la santé et de la reconnaissance d'images. Dans les soins de santé, des études ont montré que les algorithmes influencent les décisions de traitement, parfois au détriment des minorités. Dans la détection d'images, par exemple, certains systèmes de véhicules autonomes rencontrent des difficultés à identifier correctement les piétons à la peau plus foncée. Ces biais présentent des risques et soulignent la nécessité d'améliorer la transparence et la représentativité des données d'entraînement.
Les algorithmes utilisés dans les systèmes de surveillance sociale ne sont pas exemptés de défauts. Ces biais sont généralement intégrés aux algorithmes dès leur conception, particulièrement lorsque ceux-ci sont formés sur des données historiques qui reflètent les inégalités sociales. Ainsi, l'IA reproduit, voire amplifie, les injustices, créant un cercle vicieux où les groupes marginalisés continuent d'être ciblés de manière disproportionnée.
Dans un rapport de l'Université de Cambridge, il est noté que ces biais algorithmiques peuvent être d'autant plus pernicieux que les citoyens ne sont fréquemment pas conscients des critères sur lesquels ils sont jugés. Sans transparence et sans possibilité de comprendre ou de contester les décisions de l'IA, les citoyens risquent d'être soumis à des décisions qui traitent directement leur accès aux ressources essentielles.
Un parallèle intéressant peut être établi avec les États-Unis, où des systèmes de justice prédictive sont utilisés pour évaluer le risque de récidive des délinquants. Une étude réalisée par ProPublica a révélé que ces algorithmes surestiment souvent le risque de récidive pour les populations afro-américaines, créant un biais en faveur de la sévérité des peines pour ces groupes. Ces systèmes sont critiqués pour leur manque de transparence et leur tendance à discriminer.
Devant ces risques, des voix s'élèvent pour demander une régulation plus stricte et une plus grande transparence. Le rapport d'Amnesty International appelle notamment les régulateurs de l'UE à encadrer strictement l'utilisation de l'IA dans les services publics, en garantissant des audits réguliers et une transparence accrue. L'idée est d'éviter que ces systèmes ne deviennent une forme de "justice sociale automatisée" où les décisions sont non seulement opaques, mais aussi potentiellement discriminatoires.
Des initiatives comme le « Règlement européen sur l'IA » pourraient jouer un rôle central dans cette lutte contre les biais algorithmiques. Ce règlement propose de catégoriser les applications de l'IA en fonction de leur niveau de risque, en exigeant des évaluations de risque strictes et des audits indépendants pour les applications à haut risque, telles que celles utilisées dans le secteur de l'assistance sociale.
Conclusion :
Le cas Danois a mis en lumière un défi crucial auquel toutes les démocraties sont confrontées aujourd'hui : l'usage de l'intelligence artificielle dans les services publics doit être équilibré par des garde-fous éthiques et des contrôles rigoureux pour éviter toute forme de discrimination. La technologie, aussi puissante soit-elle, ne doit jamais se substituer à une justice humaine fondée sur l'égalité et la dignité. Finalement, la question est moins de savoir si nous pouvons faire confiance aux algorithmes, que de nous assurer que ces outils servent l'humanité sans mettre en péril nos droits fondamentaux.
« Car si l'IA est l'avenir, c'est notre éthique qui en est la boussole. »
Sources et références :
Administrateur délégué - Shakatopia
2 sem....ça reste une machine. Tout n'est pas à jeter avec l'IA mais il est grand temps de légiférer