Données ethno-raciales et soins de santé fondés sur l’IA en France

L’intelligence artificielle (IA) et l’apprentissage machine (« Machine Learning », ML) jouent un rôle de plus en plus important dans la transformation de la médecine clinique, de la santé publique, de la recherche en matière de santé et des services de soins de santé. Des organismes de réglementation tels que la « Food and Drug Administration (FDA) » des États-Unis et la Commission européenne ont reconnu cet impact (1), avec près de 950 dispositifs médicaux embarquant l’IA (DM-eIA) ayant reçu une autorisation de mise sur le marché par la FDA étatsunienne en octobre 2024 (2).

Cependant, le recours fréquent aux algorithmes basés sur les données dans les systèmes d’IA présente des risques importants, en particulier lorsqu’ils sont appliqués à des sous-groupes minoritaires. Les données provenant généralement des sous-groupes majoritaires peuvent conduire les algorithmes d’IA, principalement développés à partir de données caucasiennes, à être moins performants pour d’autres sous-groupes, amplifiant ainsi les disparités existantes en matière de santé (3). Ce problème est particulièrement aigu pour les femmes africaines et d’ascendance africaine, qui sont souvent confrontées à des préjugés cumulés, un phénomène que nous avons décrit comme étant une « double discrimination ».

En outre, la pression en faveur de politiques de soins de santé sans distinction de couleur – telles que celles soutenues en France sur la base de l’universalisme et de l’égalité – entre de plus en plus en conflit avec la nécessité de stratégies tenant compte de la race pour atténuer le potentiel de l’IA à renforcer les inégalités en matière de soins de santé. L’approche française traditionnelle consistant à annihiler la catégorisation raciale et à interdire la collecte de données raciales ou ethniques est en contradiction avec les exigences de la technologie de l’IA, ce qui nécessite une réévaluation de ces politiques afin de garantir un accès équitable aux soins de santé.

Perspective historique de la politique française en matière de traitement des données ethniques et raciales

En France, les discussions autour de la diversité ethnique et du racisme suscitent souvent des tensions et des controverses, reflétant une sorte de « retour du refoulé » devenu tabou, notamment dans le domaine de la santé. Malgré des évolutions démographiques difficiles à ignorer, comme en témoignent les enquêtes Trajectoires et Origines (TeO) (2007, 2022), le discours reste tendu. Les enquêtes TeO définissent la composition démographique de la France sur la base des lieux de naissance des ancêtres, indiquant la diversité des origines ethniques des citoyens français.

Les controverses sur la question de savoir si les différences ethno-raciales en matière d’état de santé sont dues à des facteurs génétiques ou socioculturels plaident pour que la race et l’ethnicité soient considérées comme des constructions façonnées par des facteurs sociaux et politiques sans aucun fondement biologique (4). Le projet du génome humain et d’autres études ont également soutenu le racisme en tant que construction sociale et politique, suggérant que si les humains appartiennent à une seule « race » biologique, faisant de la race ou de l’ethnicité une mauvaise approximation des différences génétiques (5, 6), les discussions sur les différences ethniques devraient être moins litigieuses en France.

Or, l’engagement constitutionnel français de non distinction raciale, ancré dans les principes d’universalisme et d’égalité, impose d’exclure les catégories raciales et ethniques de la collecte des données. Le concept spécifique de « prétendue race », tel qu’il est désigné dans les textes français^[1] , conduit à exclure totalement la prise en compte de cette notion. Elle constitue pourtant un motif de discrimination prohibé et entre dans la catégorie des données « sensibles » dont la collecte et l’utilisation sont interdites sans le consentement préalable de la personne. Cette position officielle, qui vise à promouvoir l’égalité, a paradoxalement contribué à l’invisibilité des groupes marginalisés, perpétuant ainsi les inégalités (7).

Cette contradiction est également évidente dans diverses institutions françaises qui utilisent des catégories raciales en dépit des politiques officielles. Par exemple, la base de données de la police STIC classe les individus en « types » raciaux ou ethniques, contredisant l’approche de neutralité phénotypique. Des critiques comme Simon (8) ont affirmé qu’il s’agissait d’un « choix d’ignorance », qui ne tient pas compte de la discrimination quotidienne à laquelle sont confrontés ces groupes invisibles. De même, Fassin⁹soutient qu’il est essentiel de reconnaître les bases raciales des inégalités pour y remédier.

En réponse aux problèmes systémiques, l’ONU a exhorté la France à adopter en 2021 des statistiques ethno-raciales pour lutter contre le racisme systémique. Toutefois, un rapport parlementaire de 2020 s’y est opposé, citant les risques pour la cohésion sociale. L’opinion dominante chez certains démographes français est que l’ethnicité ne définit pas structurellement la société française, malgré des discriminations indéniables. Dans l’ensemble, le modèle français d’universalisme assure théoriquement l’égalité mais évite pratiquement la catégorisation raciale, ce qui est de plus en plus incompatible avec les réalités des soins de santé, en particulier à l’ère des technologies d’IA qui détectent les disparités raciales et fondées sur le genre et y répondent.

Risques de discrimination et de préjugés liés à l’IA dans les soins de santé

La capacité de l’IA à discerner la race et le sexe à partir de données médicales met en évidence les limites de la politique française de daltonisme. En effet, les recherches de Gichoya et al.(10) ont montré que les modèles d’IA pouvaient identifier avec précision des patients asiatiques, noirs et blancs à partir d’images médicales telles que des radiographies du thorax et des tomodensitogrammes, même lorsque seuls des fragments de ces images étaient montrés ou lorsque des identifiants typiques tels que la densité osseuse étaient masqués. Ces résultats soulignent la capacité inhérente des systèmes d’IA à discerner la race et mettent en évidence les lacunes des technologies d’IA qui ne tiennent pas compte de la couleur.

L’idéologie de l’indifférence à la couleur, qui postule que la race ne devrait pas avoir d’influence ni d’importance dans les contextes sociaux, s’avère contre-productive en négligeant les réalités du racisme ancrées dans les technologies. Même s’il est établi que la race n’est pas un indicateur fiable des différences génétiques, elle s’est ancrée, parfois de manière insidieuse, dans la pratique médicale (11).^. En négligeant de prendre en compte la race de manière explicite, la France risque d’ignorer les nuances que l’IA met en évidence : des préjugés sont ancrés dans les systèmes et les technologies de soins de santé qui, s’ils ne sont pas contrôlés, peuvent exacerber les disparités pour les populations marginalisées. Et, comme l’a déclaré à juste titre le regretté ancien secrétaire général des Nations unies, Kofi Annan, « sans données fiables, nous volons à l’aveuglette. Si vous ne pouvez pas le voir, vous ne pouvez pas le résoudre » (12).

Des recherches antérieures ont montré que les algorithmes d’IA entraînés sur des ensembles de données non diversifiés ne parviennent souvent pas à diagnostiquer avec précision ou ont tendance à mal classer les conditions médicales chez les minorités raciales. En fait, des études ont montré que les Noirs sont moins susceptibles de recevoir un diagnostic précoce de cancer du poumon que leurs homologues blancs (13). En outre, Seyyed-Kalantari et al.¹⁴ont rapporté que les modèles d’IA, même lorsqu’ils sont entraînés avec des milliers d’images de la poitrine, sous-diagnostiquent systématiquement les maladies dans les groupes raciaux et ethniques mal desservis. Ce problème peut être particulièrement prononcé dans les groupes démographiques intersectionnels, tels que les femmes noires. Ce phénomène, que nous avons appelé « double discrimination » des soins de santé basés sur l’IA, affecte de manière significative les femmes africaines et afro-descendantes.

Nos recherches indiquent que ces femmes sont touchées de manière disproportionnée par les biais algorithmiques qui interprètent mal les données médicales. Les algorithmes d’IA utilisés pour la reconnaissance faciale en sont une illustration frappante : Buolamwini et Gebru¹⁵ont démontré que les biais raciaux et sexistes de ces systèmes entraînaient les taux d’erreur les plus élevés pour les femmes noires, alors que les hommes blancs bénéficiaient d’une précision quasi parfaite. Ces disparités ne se limitent pas à la seule reconnaissance faciale, mais s’étendent à diverses applications de l’IA, y compris les diagnostics et les recommandations de traitement. La sous-représentation des femmes noires dans les ensembles de données utilisés pour former ces algorithmes conduit à des diagnostics erronés et à des recommandations de traitement inappropriées, ce qui aggrave les inégalités existantes en matière de soins de santé.

Le fait de s’appuyer sur des données de santé françaises sans distinction de race peut non seulement refléter mais aussi renforcer les disparités existantes en matière de santé, ce qui fait des outils d’IA dérivés des sources d’inégalités en matière de santé. Comme l’affirment Ferryman et al. (16)^,si l’on ne tient pas compte des préjugés inhérents à l’IA médicale, ces technologies perpétuent des disparités injustes (17, 18), soulignant la nécessité d’inclure des données raciales et ethniques explicites dans les ensembles de données d’entraînement de l’IA afin d’obtenir des résultats équitables en matière de soins de santé. Reconnaître l’existence du racisme dans les soins de santé est essentiel pour s’attaquer efficacement à ses impacts et les démanteler (19).

Il est donc urgent en France de réévaluer les politiques de neutralité ethno-raciale à la lumière du potentiel de l’IA à perpétuer et même à exacerber les préjugés raciaux et sexistes dans les soins de santé.

Implications pratiques pour la France

À la lumière de ces questions, la neutralité ethno-raciale de la France n’est pas seulement un obstacle à la reconnaissance des inégalités raciales, mais aussi à la gestion efficace des conséquences éthiques et pratiques de l’IA dans les soins de santé. Comme le proposent Ferryman et al. (16), les données biaisées devraient être considérées comme des « artefacts informatifs » qui reflètent des inégalités systémiques plutôt que comme de simples anomalies statistiques à corriger. Pour la France, qui évite les politiques tenant compte de la race, cette perspective suggère un oubli critique : Les technologies de l’IA rendent visibles les disparités mêmes que les politiques aveugles à la couleur sont censées ignorer. En ne reconnaissant pas la race, la France risque de permettre aux biais de l’IA de se perpétuer sans contrôle. Cela pose des problèmes éthiques en matière de transparence, de responsabilité et d’équité dans les soins de santé.

De plus, cela devrait exacerber les insuffisances du système de santé pour les populations minoritaires, pour lesquelles les algorithmes discrimnatoires peuvent devenir un obstacle supplémentaire à un traitement équitable.

Pour y remédier, il faut un changement fondamental de politique pour s’attaquer directement aux données et aux préjugés révélés par l’IA, plutôt que de les contourner. Pour garantir l’équité des soins de santé, la France doit aller au-delà de la neutralité ethno-raciale et reconnaître la nécessité d’adopter des approches tenant compte de la race, en particulier dans les applications de l’IA. Cela impliquerait la collecte et le suivi de données raciales pour évaluer l’équité et l’efficacité de l’IA au sein des groupes démographiques, conformément aux pratiques éthiques en matière d’IA qui privilégient la transparence et la responsabilité. Reconnaître que la race et le sexe sont des facteurs critiques dans les soins de santé permettra aux développeurs d’IA et aux professionnels de santé de comprendre et d’atténuer ces préjugés, favorisant ainsi des résultats plus équitables.

Une autre question fondamentale qui se pose aujourd’hui concerne la validité et surtout l’exportabilité des DM-eIA fabriqués à partir de données de santé produites en France. Actuellement, le marché est dominé par la Chine et les États-Unis (20, 21). Pour améliorer la généralisation des modèles d’IA/ML et assurer une position concurrentielle au niveau international, la France doit d’urgence reconsidérer sa position sur le traitement des données ethniques et raciales. Il s’agit de s’assurer que les divers sous-groupes sont explicitement reconnus et correctement représentés dans les données de santé. Au-delà des conséquences économiques au niveau industriel pour les DM-eIA français, les données ethniques et raciales ne sont pas simplement un détail démographique, mais un déterminant socioculturel important de la santé qui justifie une attention au titre de l’intérêt public, en particulier pour la sauvegarde de la santé publique.

En écho à Creary et al. (17), nous soutenons que la race, loin d’être une différence phénotypique arbitraire, constitue un système social profond avec des conséquences biologiques tangibles. Par conséquent, la prise en compte et l’intégration de ces facteurs dans les données de santé sont essentielles non seulement pour la viabilité économique, mais aussi pour le développement éthique des technologies d’IA qui peuvent réellement répondre aux besoins de diverses populations et atténuer les disparités en matière de santé. Même si le Conseil constitutionnel s’est appuyé sur l’article 1 de la Constitution pour invalider la loi introduite en 2007 pour ouvrir cette possibilité de disposer de statistiques ethno-raciales en France^[2] , la loi de 1978 (article 31) qui stipule l’interdiction de traiter des données sensibles, y compris des données ethniques ou raciales, énonce un certain nombre d’exceptions.

Parmi ces exceptions figure la possibilité de prévoir un « traitement justifié par l’intérêt public ». La question se pose immédiatement de savoir si les problèmes qui résulteraient de l’absence de prise en compte des données ethniques et raciales dans les DM-eIA ne constituent pas un problème de santé publique suffisant pour constituer un intérêt public. La balle est donc dans le camp du législateur et de l’autorité nationale de régulation, la Commission nationale de l’informatique et des libertés (CNIL), de fournir des pistes de travail efficaces aux acteurs de la recherche et aux industriels impliqués dans le développement de systèmes d’IA destinés à être utilisés dans le domaine de la santé.

En attendant, nous avons vraiment besoin d’une « meilleure science des données pour lutter contre les préjugés raciaux et l’équité en matière de santé » (22), en particulier dans le contexte français. En outre, la transparence des systèmes d’IA est essentielle. Comme l’indique l’analyse des lignes directrices éthiques de divers organismes internationaux, la transparence est constamment soulignée comme la pierre angulaire d’un développement responsable de l’IA. La mise en œuvre de processus transparents dans le développement et le déploiement des DM-eIA permettrait à la France de mieux informer les prestataires de soins de santé et les patients, ce qui favoriserait une prise de décision éclairée et la confiance au sein du système.

La prévalence croissante de l’IA dans les soins de santé représente un défi de taille pour les politiques de la France en matière de neutralité ethno-raciale. Alors que les technologies de l’IA continuent d’exposer et d’exacerber les préjugés raciaux et sexistes, s’accrocher à une philosophie de neutralité devient non seulement impraticable, mais aussi contre-productif. Pour que la France puisse garantir l’équité des soins de santé à l’ère de l’IA, elle doit affronter de front la réalité des disparités raciales et de genre, en adoptant des politiques soucieuses de la race qui traitent et atténuent les préjugés que l’IA met en lumière. Ce n’est qu’ainsi que la France pourra espérer réaliser ses idéaux universalistes d’une manière inclusive, juste et répondant aux besoins de tous ses citoyens.

Auteur: Benjamin C. Guinhouya

Institution

Univ. Lille, CHU Lille, F-59000 Lille, France

Correspondance

Pr. Guinhouya

Inserm U1366, Centre de Recherche sur le Cancer de Lille – Lille, France

E-mail : benjamin.guinhouya@univ-lille.fr

Références

• Muehlematter UJ, Daniore P, Vokinger KN (). Approbation des dispositifs médicaux basés sur l’intelligence artificielle et l’apprentissage automatique aux États-Unis et en Europe (2015-20) : une analyse comparative. Lancet Digit. Health 2021 ; 3 : e195-e203.
• Administration américaine des denrées alimentaires et des médicaments. Dispositifs médicaux basés sur l’intelligence artificielle et l’apprentissage automatique (AI/ML) (États-Unis, FDA, 2024). https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices
• Adamson AS, Smith A. Apprentissage automatique et disparités en matière de soins de santé en dermatologie. JAMA Dermatol 2018 ; 154:1247-8. doi : 10.1001/jamadermatol.2018.2348.
• Mafi A, Naqvi H, L’Esperance V (2024). Le racisme dans les directives cliniques. BMJ ; 385:q942. doi : 10.1136/bmj.q942.
• Académies nationales des sciences, de l’ingénierie et de la médecine (2023). Utilisation des descripteurs de population dans la recherche en génétique et en génomique : un nouveau cadre pour un domaine en évolution. National Academies Press. https://nap.nationalacademies.org/catalog/26902/using-population-descriptors-ingenetics- and-genomics-research-a-new#
• Witherspoon DJ, Wooding S, Rogers AR, et al. Les similitudes génétiques au sein et entre les populations humaines. Genetics 2007;176:-9. doi : 10.1534/genetics.106.067355 pmid : 17339205
• Léonard M. Recensement et catégorisation raciale en France : Catégories invisibles et politiques color-blind. Humanité & Société 2014 ; 38 : 67-88
• Simon P. Le choix de l’ignorance. Le débat sur les statistiques ethniques et raciales en France. Politique, culture et société françaises 2008 ; 26:7-31.
• Fassin D (2002). L’invention française de la discrimination. Revue française de science politique ; 4:403-23
• Gichoya JW, Banerjee I, Bhimireddy AR, et al. AI recognition of patient race in medical imaging : a modelling study. Lancet Digit Health 2022 ; 4 : e406-e414.
• Vyas DA, Eisenstein LG, Jones DS (). Hidden in Plain Sight – Reconsidering the Use of Race Correction in Clinical Algorithms. N Engl J Med. 2020 ; 383 : 874-882. doi : 10.1056/NEJMms2004740.
• Annan K. Les données peuvent contribuer à mettre fin à la malnutrition en Afrique. Nature 2018 ; 555:7
• Association américaine du poumon. État du cancer du poumon : disparités raciales et ethniques. 28 octobre 2022 (https://www.lung .org/ research/ state -of -lung -cancer/ racial -and -ethnic -disparities).
• Seyyed-Kalantari L, Zhang H, McDermott MBA, Chen IY, Ghassemi M. Biais de sous-diagnostic des algorithmes d’intelligence artificielle appliqués aux radiographies du thorax dans les populations de patients mal desservies. Nat Med 2021 ; 27 : 2176-82.
• Buolamwini J, Gebru T. Gender Shades : Disparités intersectorielles de précision dans la classification commerciale des genres. Actes de la première conférence sur l’équité, la responsabilité et la transparence, PMLR 2018 ; 81:77-91.
• Ferryman K, Mackintosh M, Ghassemi M (2023). Considérer les données biaisées comme des artefacts informatifs dans les soins de santé assistés par l’IA. N Engl J Med. 389 : 833-838. doi : 10.1056/NEJMra2214964.
• Creary M, Thiel D, Eisen A. Social meaning and the unintended consequences of inclusion. Am J Bioeth 2017 ; 17 : 63-65.
• Benjamin R. Race after technology : abolitionist tools for the new Jim code. Soc Forces 2020 ; 98 : 1-3
• Wiens J, Creary M, Sjoding MW (2022). Les modèles d’IA dans les soins de santé ne sont pas daltoniens et nous ne devrions pas l’être non plus. Lancet Digit Health. 2022 ; 4:e399-e400. doi : 10.1016/S2589-7500(22)00092-9.
• Serra-Burriel M, Locher L, Vokinger KN (2023). Pipeline de développement et représentation géographique des essais de dispositifs médicaux basés sur l’intelligence artificielle/apprentissage machine (2010-2023). . N Engl J Med. AI ; 1 : 1-8. DOI : 10.1056/AIpc2300038
• Yang R, Nair SV, Ke Y, D’Agostino D, Liu M, Ning Y, Liu N. Disparities in clinical studies of AI enabled applications from a global perspective. NPJ Digit Med. 2024 ; 7:209. doi : 10.1038/s41746-024-01212-7.
• Nsoesie EO, Galea S. Vers une meilleure science des données pour lutter contre les préjugés raciaux et l’équité en matière de santé. PNAS Nexus 2022 ; 1:pgac120

[1] Article 225-1 du code pénal ; article 8 de la loi n° 78-17 du 6 janvier 1978 relative à l‘informatique, aux fichiers et aux libertés.

[2] Conseil constitutionnel, Décision n° 2007-557 DC du 15 novembre 2007