The AI + Society Initiative is excited to continue amplifying the voices of emerging scholars from around the world through our bilingual blog series Global Emerging Voices in AI and Society, stemming from the Global AI & Regulation Emerging Scholars Workshops and the Shaping AI for Just Futures conference. This series showcases the innovative research and insightful discoveries presented during these events–and beyond–to facilitate broad knowledge sharing, and engage a global network in meaningful interdisciplinary dialogue.
The following blog is authored by Mélanie Gornet who was selected by an international committee to present her paper “La stratégie européenne de régulation de l’intelligence artificielle : entre normes techniques et droits fondamentaux” as part of the 2nd Global AI & Regulation Emerging Scholars Workshop. The original article was co-authored with Winston Maxwell and is now published in Internet Policy Review.
This research contribution is only available in French.
La stratégie européenne de régulation de l’intelligence artificielle : entre normes techniques et droits fondamentaux
En décembre 2023, les institutions européennes sont parvenues à un accord pour réglementer l’intelligence artificielle : le Règlement sur l’IA, connu sous le nom de « AI Act ». Ce Règlement exige notamment que les fournisseurs de systèmes d'IA à haut risque testent leurs produits par rapport aux normes harmonisées avant d'apposer sur ces produits un marquage « CE » de conformité. Ces outils, issus du cadre sur la sécurité des produits, vont ici devoir être utilisés pour attester du respect des droits fondamentaux (Gornet & Winston, 2024).
Protéger les droits fondamentaux sous le prisme de la sécurité des produits
Le Règlement sur l’IA s’inscrit dans le Nouveau Cadre Législatif (NLF) européen et établit ainsi un cadre de responsabilité ex ante pour l'IA (Castets-Renard & Philippe, 2022). Dans ce cadre, la preuve de la conformité aux exigences essentielles définies dans le texte est une condition préalable à la « mise sur le marché ou la mise en service » des systèmes d'IA (art. 2). C’est notamment le cas pour les systèmes d’IA dits « à haut risque », une classification incluant notamment l’IA en santé, dans le recrutement, l’éducation, les services d’urgence ou encore le contrôle aux frontières (art. 6). Les fournisseurs de systèmes à haut risque doivent conduire, ou faire conduire par un organisme tiers selon les produits, un examen de conformité en s’appuyant notamment sur des normes harmonisées.
À l’issue de l’examen de conformité, le marquage CE est apposé, permettant ainsi au produit de circuler librement sur le marché européen. Le marquage CE et les normes harmonisées sont des outils réglementaires européens de longue date et s'appliquent déjà à un large éventail de produits (dispositifs médicaux, appareils électroniques, jouets, drones,...). Toutefois, à ce jour, ils ont toujours été utilisés exclusivement pour attester de la sécurité des produits.
Le Règlement sur l’IA promeut deux objectifs : améliorer le marché intérieur européen en permettant la libre circulation des systèmes d’IA et protéger les utilisateurs des systèmes les plus dangereux. Selon la Commission européenne, cette démarche vise à garantir une IA « de confiance ». Ce discours sur la confiance se retrouve tout au long du texte, de la classification par risques prenant en compte les risques « pour la santé, la sécurité, ou les droits fondamentaux », aux études d’impact sur les droits fondamentaux devant être réalisées pour les systèmes à haut risque.
Les normes et le marquage CE ne sont ainsi plus vus simplement comme des outils pour garantir la sécurité, mais également pour protéger les droits fondamentaux. De nombreuses normes commencent ainsi à voir le jour, sur l’éthique des systèmes d’IA et la protection des droits fondamentaux (Gornet & Winston, 2023).
Le système de normalisation présente de nombreux défauts
Le NFL européen fait la distinction entre de simples normes techniques, que n’importe quel organisme peut développer, et les normes dites harmonisées, provenant d’organismes de normalisation européens – le Comité Européen de Normalisation (CEN), le Comité Européen de Normalisation Électrotechnique (CENELEC) ou le European Telecommunications Standards Institute (ETSI) –, et répondant à une requête spécifique de la Commission européenne. Ces normes harmonisées sont essentielles pour comprendre les textes de lois, comme le Règlement sur l’IA, qui n’énoncent que des exigences générales que les normes ont pour rôle d’étayer. Les normes harmonisées sont d’ailleurs elles-mêmes considérées comme des actes juridiques car leur application confère une « présomption de conformité » à la loi, alléguant notamment les procédures d’évaluation de la conformité ainsi que la charge de la preuve lors d’un procès. Ainsi, un fabricant d’un système d’IA à haut risque pourra s’appuyer sur des normes harmonisées pour tester sa conformité et apposer le marquage CE. Néanmoins, cette approche par les normes fait débat pour plusieurs raisons.
Tout d’abord, les organismes de normalisation européens sont des associations privées composées d'experts techniques, provenant principalement d'entreprises industrielles. Si toute personne peut a priori demander à adhérer à un organisme de normalisation pour participer à l'élaboration des normes et aux votes des comités, en pratique, seules les grandes entreprises peuvent se permettre d’y consacrer de la main-d’œuvre et payer les cotisations. Cette emprise de l’industrie sur les normes crée des conflits d’intérêt où les entreprises décident seules des exigences qui encadreront leur marché.
Même une fois publiées, les normes sont souvent payantes. En effet, les organismes de normalisation fondent leur modèle économique sur la vente de ces normes. Ce système opaque où les citoyens font face à des problèmes d’accès aux normes est néanmoins en train de changer. Un jugement récent opposant d’une part deux associations engagées dans la lutte pour le droit d’accès à l’information, et de l’autre la Commission européenne et les organismes de normalisation, a conclu qu’il existait un « intérêt public supérieur » à divulguer les normes techniques. Si les enjeux de transparence autour des organismes de normalisation se renforcent, le travail sur les normes continue. Un comité commun entre la CEN et la CENELEC, le JTC 21, travaille d’ailleurs déjà à l’élaboration de normes harmonisées dans le cadre du Règlement sur l’IA.
Le problème spécifique des normes pour la protection des droits fondamentaux
Dans un monde idéal, les normes techniques ne devraient pas contenir de jugements moraux. En réalité cependant, il est difficile de s’en passer, notamment lorsque, comme pour le Règlement sur l’IA, ces normes visent à être des outils de protection des droits fondamentaux (Laux, Watcher & Mittelstadt, 2024).
Par exemple, le concept d’équité – ou fairness en anglais – est une composante essentielle de la confiance promue par le Règlement sur l’IA. Or, il est difficile de formaliser ce concept, d’une part car il comporte une dimension sociale forte, mais également car, même si l’on s’en tient au domaine technique, l’équité algorithmique peut être mathématiquement définie de plusieurs façons. La normalisation pourrait ainsi encourager des pratiques de « ethics washing », où les entreprises choisissent la définition qui les arrange pour se dédouaner des préjudices causés par leur système. Le risque est plus grand encore pour les normes fixant des seuils minimaux de fonctionnement. En effet, rien ne garantit qu’un seuil arbitraire sur une mesure mathématique également arbitraire ne garantisse un niveau suffisant de protection des droits fondamentaux.
De leur côté, les organismes de normalisation déjà décriés, subissent un problème supplémentaire de légitimité vis-à-vis des droits fondamentaux que les normes doivent adresser (Baeva, Puntschuh & Binder, 2023). En effet, les membres industriels qui les constituent manquent d’expertise en matière de droit fondamentaux. La question est donc à la fois de savoir ce que les normes devraient contenir mais aussi qui devraient les développer, et dans quel but.
L'approche du Règlement sur l’IA, fondée sur les normes pour la protection des droits fondamentaux, remet en question le rôle des normes et leurs limites. Si les normes sont utiles pour encourager la mise en place de bonnes pratiques de gouvernance d’entreprise et de conception des systèmes, elles doivent laisser aux juges le pouvoir de décider si un système d’IA protège suffisamment les droits fondamentaux des personnes.
Key resources to learn more
Gornet, Mélanie & Maxwell, Winston (2024). The European approach to regulating AI through technical standards (Internet Policy Review).
Castets-Renard, Céline, & Besse, Philippe (2022). Ex Ante Accountability of the AI Act: Between Certification and Standardisation, in Pursuit of Fundamental Rights in the Country of Compliance. (In Céline Castets-Renard and Jessica Eynard (Eds.) Artificial Intelligence Law: Between Sectoral Rules and Comprehensive Regime. Comparative Law Perspectives. Bruylant).
Gornet, Mélanie & Maxwell, Winston (2023). Normes techniques et éthique de l'IA. (Conférence Nationale en Intelligence Artificielle, Strasbourg, France).
Laux, Johann, Watcher, Sandra & Mittelstadt, Brent (2024). Three pathways for standardisation and ethical disclosure by default under the European Union Artificial Intelligence Act. (Computer Law & Security Review, vol. 53).
Baeva, Gergana, Puntschuh, Michael, & Binder, Matthieu (2023). Power to the standards Expert consultation on the role of norms and standards in the European regulation of artificial intelligence. (Zentrum für vertrauenswürdige Künstliche Intelligenz (ZVKI) Whitepaper).
About the author
Mélanie Gornet est doctorante à Télécom Paris - Institut Polytechnique de Paris, où elle travaille sur la régulation de l'intelligence artificielle, comprenant des enjeux sociaux, juridiques et techniques, qu’elle aborde de façon interdisciplinaire. Ses projets actuels portent sur la normalisation et la conformité des systèmes d'IA à la proposition de Règlement européen sur l’IA (AI Act). Elle détient un MSc de l’ISAE-SUPAERO en science des données et IA, ainsi qu’un master de SciencesPo en affaires internationales.
Ce contenu est fourni par l'Initiative IA + Société afin d’amplifier les conversations et la recherche autour des implications éthiques, juridiques et sociétales de l'intelligence artificielle. Les opinions et les erreurs sont celles des auteur(e)s et non celles de l'Initiative IA + Société, du Centre de recherche en droit, technologie et société, ou de l'Université d'Ottawa.