De la politisation de l'IA par les pratiques participatives
Dans le cadre de la parution de son article « Doing Participation in the Midst of Algorithm Troubles », Axel Meunier, designer de recherche au médialab a échangé avec Pierre Norro, advisor du Tech & Global Affairs Innovation Hub de Sciences Po. L’analyse des troubles algorithmiques proposée au cours de leur discussion met en lumière les enjeux actuels liés à l’intelligence artificielle participative.
Chronique
Je fais ce petit post pour inviter à la lecture de mon article « Doing Participation in the Midst of Algorithm Troubles » publié récemment dans l’ouvrage collectif New Experimental Research in Design III. Plutôt qu’un résumé, je propose ici une discussion avec Pierre Noro, advisor du Tech & Global Affairs Innovation Hub de Sciences Po, suscitée par un intérêt commun pour l’Intelligence Artificielle participative. Dans mon article, je critique le tournant participatif de l’IA tel qu’il est promu depuis quelques années car il néglige une partie des pratiques et enjeux du design participatif. Je propose de les remobiliser en prenant comme exemple le cas d’un trouble survenu en 2021 concernant l’algorithme de cropping automatique de Twitter, basé sur un modèle de saillance élaboré par apprentissage machine, qui a été accusé de racisme et a été décommissionné quelques mois après. Partant d’une perspective plus technologiste, Pierre Noro s’est engagé pour la politisation de l’IA grâce aux pratiques participatives, et a contribué récemment à deux initiatives internationales : la base de données de controverses et incidents liés à l’IA, aux algorithmes et à l’automatisation AIAAIC, et le Symposium sur la recherche et la pratique de l’IA Participative PAIRS. (Axel Meunier)
Pierre Noro: Les troubles algorithmiques dont tu parles… c’est dans le sens que Donna Haraway donne au mot “trouble” dans Staying with the trouble ?
Axel Meunier : Oui, ça vient de là, et aussi d’autres travaux de recherche féministe, par exemple Gender Trouble de Judith Butler. C'est un intérêt de longue date, pour moi, de décrire des troubles algorithmiques plutôt que de parler d’erreur et de bug technique dans les systèmes d’IA… Est-ce que ce sont réellement des problèmes techniques ? Est-ce que ce sont des problèmes sociaux ? Par exemple, est-ce que les discriminations viennent du fait que la société est injuste - ce que les technologies reproduisent, par exemple - ou est-ce que les technologies produisent des erreurs de représentation ? C’est caricatural, mais en même temps, il y a dans l’expérience relationnelle de l’utilisateur·ice avec l’IA des moments d'hésitation qui invitent à s’intéresser à la co-construction entre technologie et société. Dès 2017, alors que les algorithmes commençaient à rentrer dans la vie quotidienne, on s’était intéressé avec Dominique Cardon aux situations ordinaires où l'agentivité des calculs algorithmiques surgit et trouble les utilisateur·ice·s. Alors que l’IA participative propose d’éviter ces problèmes en amont en consultant les stakeholders pour produire de meilleurs modèles, je souligne dans l’article les limites d’une approche participative centrée sur les modes de délibération.
P.N. : Moi, ce qui m'intéresse beaucoup, c'est le moment où la technique refait surface. Tout le propos de Marcello Vitali-Rosati dans L'Éloge du bug c'est ce moment où la technologie va dysfonctionner ou heurter les attentes de l'utilisateur. Alors, d'un seul coup, on se rend compte de nouveau d’une présence de la technologie qui en brise la mystique - ce côté “magique” lorsque tout fonctionne de manière intégrée, seamless, “sans couture”, qui est aujourd'hui au cœur du discours que développent les industriels de l'IA. Je ne choisis pas le mot mystique pour rien, ce mot me semble important pour décrire l’idée centrale défendant un “exceptionnalisme” du numérique - c’est-à-dire qu’il ne devrait pas être régulé comme d’autres domaines : il existerait un mystère de la technologie qui ne peut pas être révélé aux utilisateur·ices, qui contribue à l’autorité donnée à l’outil technique et à la situation de passivité, de soumission dans laquelle est placée l’utilisateur·ice. D’ailleurs l’interaction avec l'IA en termes de design a une affordance qui est extrêmement asymétrique par rapport à la complexité et la réalité technique du modèle. C’est très visible en ce qui concerne les LLMs où il n’y a pas besoin de compétence technique, n’importe qui peut interagir avec l’outil en langage naturel, dans la langue de son choix, et il nous répond sans donner à voir ce qu’un LLM est réellement, ses capacités et ses limites.
C'est l'une des raisons pour lesquelles je me suis impliqué dans l’AIAAIC (Repository of AI, algorithmic and automation incidents and controversies). Tout le monde peut signaler un micro dysfonctionnement rapporté dans la presse, identifier le système technique, les organisations impliquées… Nous avons également élaboré de manière collaborative une taxonomie pour catégoriser les AI harms, pas juste les risques théoriques mais bien les impacts négatifs de l’IA tels qu’ils sont rapportés. Dans la perspective de ré-agencer le grand public face à ces outils et de politiser l’IA, mon but était de tester cette taxonomie en continu en proposant aux utilisateurs de taguer les différents incidents via un formulaire pour rendre visible leurs différences et qualifier leur caractère problématique. C’est une forme de réappropriation, de méta-participation dans l'IA.
A.M. : Justement une des propositions que je fais dans l’article est de déplacer les enjeux de participation dans l’IA vers d’autres moments que celui de la conception de la technologie, en particulier depuis l’expérience des troubles qui surviennent pendant l’usage…
P.N. : ... Ex post! C'est une façon de préciser l'enjeu puisque l'incident a eu lieu. On n'est pas en train de parler uniquement de manière spéculative. Au moins, en ex post, on a une emprise sur ces modèles qui n'est pas juste théorique mais qui est liée aux troubles. Un dommage est constaté, la participation devient pratique et peut amener à des formes de litigations, de remédiation et de réparation.
Mais moi, je vois plus ça dans la dimension de résistance, de subversion et de stratégie de rééquilibrage des rapports de force dans la gouvernance de l'IA. Mon ambition avec PAIRS, c’est de rassembler des chercheurs et des chercheuses, des activistes qui viennent parler de projets inspirants qui adressent des “troubles” qui semblent partout, mais avec une dimension très locale, afin de parvenir à un “cosmolocalisme” où on garde ces ancrages locaux mais on arrive à construire une culture et des outils communs, un contre-pouvoir en réseau global. Dans mon introduction à la 1ère édition, je faisais le parallèle avec le Serment du jeu de paume. Le royaume va mal, on convoque les Etats Généraux mais, au final, le vote par ordre et la collusion entre la noblesse et le clergé met systématiquement le Tiers-État, qui représente 95% de la population, en minorité. Aujourd'hui, dans la gouvernance de l'IA, on est dans une situation sensiblement similaire où le peuple n'a quasiment aucune participation ou alors une participation symbolique qui relève d'un “participation-washing”. Dans des processus multi-stakeholder on appelle à la diversité mais pas à la représentativité. Le serment du jeu de paume est le moment où se crée cette conscience que les Etats Généraux sont inopérants et extrêmement inégaux, qu’avec un changement de gouvernance, en donnant un vote par représentant, le Tiers-État deviendrait puissant et de nouveaux horizons politiques pourraient s’ouvrir. Tu changes la tectonique des plaques quand tu identifies certaines valeurs et que tu les positives dans des systèmes de gouvernance qui donnent du pouvoir à la délibération citoyenne.
A.M. : Oui je comprends mais je ne suis pas complètement convaincu par la possibilité de positiver des valeurs par des nouveaux modes de délibération. Je reproche beaucoup à l’IA participative de se centrer sur les compromis à mettre en oeuvre dans les calculs, par exemple entre des valeurs incompatibles ou des principes éthiques. Il y a une difficulté à saisir comment la technologie vient agir dans des situations concrètes qui mettent la société à l'épreuve. Il faut inventer des formats matériels et participatifs qui permettent de se rendre sensibles aux effets des calculs. Dans l’article, je développe le cas de l’algorithme de cropping de Twitter en 2021 dont l’intérêt politique est peut-être limité –bien qu’il soit référencé dans de nombreuses publications, par exemple Birhane et al. 2022 ou Lorusso 2021, et d’ailleurs effectivement rentré dans la base AIAAIC– mais qui a suscité un format de participation émergente super intéressant, basé sur l’invention d’un format d’image permettant à tous·te·s utilisateur·ice·s de la plateforme d’explorer le trouble, indépendamment de leurs connaissances techniques. Twitter y a répondu en organisant son propre challenge de chasse aux bugs –donc plus technique– pour rendre visible les communautés affectées par les préférences de l’algorithme. C'est donc un cas qui permet de comparer des politiques de participation différentes.
P.N. : C'est dingue à quel point les innovations institutionnelles ou organisationnelles concernant les modes de participation sont des sujets sous-valorisés dans l'histoire de l'innovation technologique. Ils sont présentés comme étant complètement anecdotiques mais, en réalité, peuvent avoir des aspects transformatifs sur la technologie elle-même et sur nos modes d'interaction avec elle.
A.M. : Mais il faut voir que ça pose aussi un problème politique un peu différent de celui de la “représentativité” des représentants du peuple que tu mentionnais à propos des Etats Généraux. C’est celui de la représentation des problèmes auxquels la société doit répondre : quels sont les problèmes dits “publics” et comment sont-ils représentés pour être discutés démocratiquement ? Ce n’est pas si évident, en particulier dans le cas de troubles algorithmiques qui sont, comme tu le soulignais, difficile à catégoriser. Cela demande à mon sens de s’intéresser à des questions de design : une base de données, un réseau global de contre-pouvoir –les exemples dont tu parlais– un format d’image ou un challenge de chasse aux bugs –ceux dont je parle dans mon article– portent différents modes de participation matérielle qui contribuent à rendre les problèmes publics de manière spécifique. Leur conception, c’est-à-dire leur design de la participation, importe autant dans la représentation du problème que celle de la société. Le vocabulaire du trouble renvoie à la nécessité de mettre en forme le problème afin de savoir qui est autorisé à le définir, qui est affecté et comment, et qui a pouvoir de décision pour le résoudre. Les pratiques participatives peuvent justement contribuer à mettre en forme les problèmes contre les logiques techno-solutionnistes, et pas seulement parvenir à un consensus concernant leur résolution.
Dans son article qui interroge comment sont cadrés les problèmes liés aux erreurs algorithmiques, Michael Ananny suggère qu’il faut concevoir les collectifs assemblés autour des troubles algorithmiques comme des communautés d’interprétation : ce qui importe, au-delà des identités, des positions sociales ou professionnelles des personnes qui sont impliqués dans la résolution des troubles, c’est : quelle interprétation du problème arrivent-elles à partager ? Formuler les problèmes en termes de biais et de discriminations ne résout pas la difficulté de composer des publics concernés à différents titres par les troubles algorithmiques. C’est de cette manière que j’invite le design participatif à intervenir.
P.N. : Je suis d’accord avec toi. Il y a un travail complexe et en partie original, lié aux spécificités des technologies IA, à réaliser à la fois au niveau méthodologique, à la fois au niveau culturel et politique, afin de constituer ce vocabulaire commun et donner forme à ces publics. Et pour ce travail, une articulation entre le design participatif et l’institutionnalisation de systèmes de gouvernance qui restaure le pouvoir des citoyens est essentielle.