En 2019, en réponse à l’accroissement prévisible du recours aux outils de décision assistés par IA dans l’ensemble de la fonction publique, le Secrétariat du Conseil du Trésor du Canada a publié sa Directive sur la prise de décisions automatisée. Cette politique réglementaire a pour but d’examiner et d’atténuer les risques associés aux outils d’IA en exigeant des ministères souhaitant les utiliser qu’ils suivent un processus en deux étapes. La première est d’évaluer le risque sur une échelle de 1 à 4; la seconde consiste à mener une évaluation par les pairs avant d’employer l’outil si le risque est de 2 ou plus.
La Directive étant en place mais ne possédant aucune expérience de ce type d’évaluation par les pairs, le gouvernement a chargé Kelly Bronson et Jason Millar, membres de la communauté de recherche de l’Université d’Ottawa, de concevoir une procédure modèle et de recommander les pratiques exemplaires.
Qualifier de succès le rapport qui en a résulté, c’est bien peu dire. Le Guide de l’évaluation par les pairs vient d’être publié; il s’inspire largement des travaux de Kelly Bronson et Jason Millar. « Ce n’est pas tous les jours qu’on peut observer directement l’influence de la recherche universitaire sur les politiques, alors c’est très excitant », commente le professeur Millar, directeur du Laboratoire canadien en conception éthique de la robotique et de l’intelligence artificielle.
La professeure Bronson ajoute : « Depuis la publication de notre rapport, j’ai reçu de nombreuses demandes de personnes qui me parlent de notre travail et cherchent de l’information et du soutien. C’est très gratifiant de voir l’utilité de notre rapport et de poursuivre le travail sur la Directive en collaboration avec toute une communauté de gens bien informés ».
Kelly Bronson, de la Faculté des sciences sociales, et Jason Millar, de la Faculté de génie, nous ont présenté leur approche interactive et interdisciplinaire, ainsi que les lacunes intéressantes décelées en cours de route.
Une approche collaborative pour constituer un corpus de connaissances innovant
La professeure Kelly Bronson, titulaire de la Chaire de recherche du Canada sur la science et la société, souligne la perspective unique qu’elle et le professeur Jason Millar, titulaire de la Chaire de recherche du Canada en génie éthique de la robotique et de l’intelligence artificielle, apportent au débat.
« Nous avons tous deux un bagage interdisciplinaire. Les recherches de Jason portent sur les considérations techniques et éthiques de l’IA, tandis que mes travaux concernent principalement les dimensions sociétales des technologies émergentes », explique la professeure Bronson. « Je pense que c’est la complémentarité de ces domaines qui a fait le succès du projet. »
Les deux universitaires ont d’abord procédé à une revue de la littérature sur les évaluations de l’incidence algorithmique qui existent déjà afin de comprendre les pratiques actuelles. « Nous avons rapidement constaté que le gouvernement canadien était un chef de file à cet égard. Personne d’autre dans le monde ne pratiquait ce genre d’évaluation par les pairs à ce moment-là », précise le professeur Millar. « Nous avons donc examiné des processus comparables, comme des évaluations d’incidence sur la vie privée et l’environnement, et différents comités d’éthique de la recherche, afin de voir comment d’autres s’y prenaient pour gérer les conséquences éthiques de l’emploi d’une technologie donnée. »
En s’appuyant sur des pratiques équivalentes, le chercheur et la chercheuse ont élaboré un ensemble de principes directeurs, autour desquels ils ont conçu une procédure modèle permettant de faire évaluer par les pairs les outils de prise de décisions automatisée visés par la Directive.
« Pour moi, l’aspect le plus important de notre méthodologie, c’est que nous ne nous sommes pas arrêtés à la recension des écrits et à la modélisation initiale », note le professeur Millar. « Nous voulions vraiment faire de ce projet une activité de conception interactive où l’adoption finale des recommandations serait déterminée par l’appropriation, par le public cible, du rapport final et de la boîte à outils. »
Kelly Bronson et Jason Millar ont travaillé avec de nombreuses équipes gouvernementales pour peaufiner leur modèle, notamment l’École de la fonction publique du Canada et le Secrétariat du Conseil du Trésor, qui étaient en train d’évaluer un outil d’IA. C’était une bonne occasion d’examiner le modèle des deux universitaires, qui ont également collaboré avec d’autres ministères travaillant sur des projets en lien avec l’IA (comme l’Agence des services frontaliers du Canada, Emploi et Développement social Canada, Innovation, Sciences et Développement économique Canada, et Agriculture et Agroalimentaire Canada).
« Les commentaires reçus dans le cadre de ce processus interactif et inclusif nous ont permis de raffiner nos principes et d’améliorer la simplicité d’utilisation de notre modèle », souligne la professeure Bronson.
Le but ultime : créer une bonne boîte à outils
Le modèle, ainsi que les recommandations et les outils proposés dans le rapport final, s’accompagne d’un ensemble de principes directeurs pour orienter l’évaluation par les pairs. Ces principes comprennent la vigilance, l’indépendance, la responsabilité, la transparence, la proportionnalité, l’exactitude, l’absence de préjugés, la cohérence, l’inclusion, la robustesse et la lisibilité.
« Il était important pour moi d’aller au-delà de la conformité légale énoncée dans la Directive. Je voulais réfléchir au problème sous l’angle plus large de la justice sociale et voir comment atténuer les préjudices, en particulier pour les groupes vulnérables », explique la professeure Bronson. « Nous avons travaillé avec plusieurs équipes de recherche et partenaires de différents domaines, comme l’IA, l’éthique, la justice sociale, le droit et la fonction publique, pour formuler des recommandations exhaustives. »
En élaborant leur processus, Kelly Bronson et Jason Millar ont trouvé des lacunes importantes en matière d’approvisionnement, de responsabilité et de transparence dans le cadre général de la Directive en ce qui a trait à l’évaluation et à la mise en œuvre des outils de prise de décisions assistée par IA.
« Nous nous sommes rendu compte que, si un outil provenait d’un fournisseur externe, ce dernier devait nécessairement participer au processus d’évaluation par les pairs », signale le professeur Millar. « Le temps que consacrera le fournisseur à transmettre l’information et la documentation requises peut entraîner des coûts importants. Il est donc essentiel de prévoir le coup dès l’étape de l’approvisionnement pour éviter les imprévus budgétaires. »
La professeure Bronson insiste également sur l’importance de définir clairement les rôles pour mettre en application les exigences de la Directive. « Nos ateliers ont révélé que la responsabilité était attribuée de manière ad hoc et qu’elle devait être mieux circonscrite », explique-t-elle. « Notre rapport attribue la responsabilité pour chaque étape du processus et recommande la mise en place d’une équipe de spécialistes en éthique de l’IA au sein du gouvernement. »
En plus de permettre la documentation du processus, la conservation d’une trace écrite et une transition en douceur lorsque des personnes exerçant des responsabilités clés changent de poste (chose fréquente dans l’administration), ces mesures favorisent la transparence et la cohérence, ce qui, selon la recherche, est essentiel à l’évaluation par les pairs.
« En fin de compte, notre rapport dépasse la portée de l’évaluation par les pairs en tant que telle », conclut en riant la professeure Bronson. « Mais il a permis de rendre nos résultats de recherche aussi utiles que possible », renchérit le professeur Millar.
