Le social scoring, ou notation sociale, est une pratique qui vise à évaluer les individus en fonction de leur comportement sur les réseaux sociaux et sur Internet.
Cette évaluation se base sur une multitude de critères, tels que les opinions politiques, les interactions avec d'autres utilisateurs, le respect des règles de conduite dans l'espace public, et même les recherches effectuées en ligne.
Les résultats de cette évaluation sont utilisés pour attribuer une note ou un score à chaque individu, reflétant ainsi leur "degré de civilisation" selon les critères établis par les systèmes de social scoring.
Cette note peut avoir des conséquences significatives sur la vie des individus, notamment en ce qui concerne l'accès à certains services, tels que les assurances, les prêts bancaires, l'emploi, et même l'accès à certains pays.> Une évaluation numérique de nos vies - Déc. 2023
Le social scoring pose de nombreux défis et soulève des questions éthiques et juridiques.
Il remet en cause le droit à la vie privée et à la protection des données personnelles. En effet, les systèmes de social scoring collectent une quantité importante d'informations sur les individus, souvent sans leur consentement, ce qui peut constituer une violation de leur vie privée.
Le Social Scoring et l'IA
Le scoring social basé sur l'intelligence artificielle (IA) suscite de plus en plus d'inquiétudes en Europe.
Des organisations de défense des droits de l'homme et de la vie privée, telles que Human Rights Watch, La Quadrature du Net et EDRi, ont récemment proposé des amendements à la réglementation européenne pour interdire ces pratiques.
Les systèmes de scoring social basés sur l'IA perturbent l'accès aux aides sociales, compromettent la vie privée des individus et les profilent de manière discriminatoire.
Il est essentiel que l'Union européenne adopte des mesures pour remédier à ces problèmes et empêcher la propagation de ces systèmes.
> UE : la réglementation sur l’intelligence artificielle devrait interdire le score social - Human Rughts watch oct. 2023
Série Black Mirror - Chute libre (Nosedive) Saison 3 épisode1, 2016
Le constat alarmant des pratiques de scoring social basé sur l'IA
Des enquêtes menées en France, aux Pays-Bas, en Autriche, en Pologne et en Irlande ont révélé les préjudices causés par les systèmes de scoring social basés sur l'IA.
Ces systèmes utilisent une multitude de données personnelles et sensibles pour évaluer si les bénéficiaires représentent un risque de fraude. Cependant, ces évaluations sont souvent discriminatoires et basées sur des stéréotypes, par exemple liés à la pauvreté.
Les conséquences de ces systèmes sont graves : ils rendent plus difficile pour les personnes concernées de se loger, de se nourrir et de gagner leur vie.
Face à cette réalité préoccupante, des organisations de défense des droits de l'homme et de la vie privée ont pris l'initiative de proposer des amendements à la proposition de règlement de l'UE sur l'IA.
Leur objectif est de renforcer l'interdiction du scoring social basé sur l'IA et d'empêcher la propagation de ces systèmes à travers l'Europe.
> Loi sur l'IA de l'UE : première réglementation de l'intelligence artificielle - europartl juin 2023
Les amendements proposés pour l'interdiction du scoring social basé sur l'IA
Les amendements proposés visent à combler les lacunes actuelles de la proposition de règlement de l'UE sur l'IA concernant le scoring social basé sur l'IA. Bien que les propositions actuelles cherchent à restreindre ces pratiques, leur formulation actuelle pourrait permettre le développement et l'utilisation de systèmes de scoring social basés sur l'IA à travers l'Union européenne.
Les organisations signataires proposent plusieurs amendements clés pour renforcer l'interdiction du scoring social basé sur l'IA.
Parmi ces amendements, on retrouve la nécessité de reconnaître les conséquences discriminatoires de ces systèmes sur les personnes et les groupes sociaux.
Ces systèmes évaluent la fiabilité des individus en se basant sur de multiples données, y compris leur comportement social, leurs caractéristiques personnelles et leur situation socio-économique. Les scores sociaux ainsi obtenus peuvent entraîner des traitements préjudiciables ou défavorables, sans lien avec le contexte original des données collectées, et disproportionnés par rapport à la gravité des comportements sociaux des individus.
Les amendements proposés soulignent l'importance de prendre en compte l'accès aux services essentiels, tels que les services de santé, le logement, l'électricité, le chauffage/climatisation et l'internet.
Les systèmes de scoring social basés sur l'IA utilisés pour évaluer la solvabilité ou la cote de crédit des individus devraient également être classés comme des systèmes à haut risque.
Ces systèmes peuvent perpétuer des discriminations fondées sur l'origine raciale ou ethnique, les handicaps, l'âge ou l'orientation sexuelle.
Enfin, les amendements proposent de classer les systèmes de scoring social basés sur l'IA utilisés par les autorités publiques pour déterminer l'éligibilité aux prestations et services d'assistance publique comme des systèmes à haut risque.
Ces systèmes ont un impact significatif sur la vie des personnes concernées et peuvent violer leurs droits fondamentaux, tels que le droit à la sécurité sociale, à la non-discrimination, à la dignité humaine et à un recours effectif. Ils ne devraient donc pas être autorisés.
Les exemples de systèmes de scoring social basés sur l'IA, tels que celui utilisé par le CAF en France, sont alarmants. Ils utilisent des algorithmes pour prédire la fiabilité des bénéficiaires des prestations sociales et décider qui sera soumis à des enquêtes et à des sanctions. Ces systèmes sont discriminatoires et représentent une forme de harcèlement institutionnel basé sur le statut socio-économique des individus.
En Europe
Les systèmes de scoring social basés sur l'IA se propagent également dans d'autres pays européens, tels que les Pays-Bas et l'Autriche. Ils sont utilisés pour contrôler l'accès aux services d'emploi, au logement et aux avantages sociaux, créant ainsi des discriminations et des inégalités.
En interdisant ces pratiques, l'UE enverrait un signal fort en faveur de la protection des droits fondamentaux et de la lutte contre la discrimination. Il est essentiel de garantir que les systèmes d'IA utilisés dans le domaine social respectent les principes d'égalité, de justice et de dignité humaine.
