1. médialab Sciences Po
  2. Activités
  3. Écologies des pratiques LLMs

Écologies des pratiques LLMs

Comment reproblématiser la place des LLMs au sein des pratiques de travail ordinaire ?

Le projet Écologies des pratiques LLMs (EL2MP) crée des espaces d’investigation pour rendre compte de la place des LLMs dans différentes pratiques professionnelles et des conséquences engendrées par leur utilisation.

Recherche

Contexte

L’essor fulgurant des grands modèles de langage (LLMs) comme ChatGPT a engendré une véritable ruée à la production de discours sur ces technologies. Une vision commune s’est rapidement cristallisée autour de quelques thèmes, restreignant ainsi le champ des interrogations possibles. Les débats publics et scientifiques se concentrent sur leurs problèmes  techniques : biais algorithmiques, confabulation, non-respect de la propriété intellectuelle. Mais les problèmes et les conséquences liés à leur usage réel – pour leurs utilisateurs et pour leurs contextes disciplinaires et professionnels – demeurent largement inexplorés. Cette asymétrie alimente une vision mécanique du développement technologique et de ses effets, comme si l’analyse technique de ces systèmes suffisait à en prédire l’impact social. De plus, ces discours présentent l’IA comme une entité monolithique et disruptive, écartant la possibilité qu’elle s’inscrive dans la continuité des pratiques existantes et que ses effets varient selon les situations de travail.

Il est donc urgent de sortir des pronostics sur le futur du travail, de rendre compte des contextes professionnels de l’utilisation des LLMs et d’identifier les problèmes qui en émergent aujourd’hui. Comment se manifestent les problèmes déjà connus (biais, confabulation, etc.) des IAs dans les usages ? Quels nouveaux problèmes inattendus se construisent ? Comment les LLMs façonnent-ils les pratiques individuelles de travail ? Et, en retour, comment les milieux professionnels façonnent-ils les LLMs et leurs usages ?

Objectif

Pour répondre à ces questions, le projet Écologies des Pratiques LLMs (EL2MP) crée des espaces d’investigation que les travailleurs investissent pour documenter et réfléchir à leurs usages des LLMs. L’enquête vise ainsi à mettre l’accent sur les savoir-faire, l'expertise et les valeurs des travailleurs plutôt que sur celles des concepteurs d’IA ou des décideurs économiques. L’objectif du projet est d’examiner méticuleusement la place des LLMs dans divers usages professionnels. Le projet EL2MP interrogera la manière dont les utilisateurs se rapportent aux LLMs en termes de :

  • Évaluation. Comment les professionnels évaluent-ils la valeur produite ou détruite par les LLMs ?
  • Effort. Quelles nouvelles formes d’activité les LLMs exigent-ils de la part de leurs utilisateurs ?
  • Perception. Quels affects, attachements et jugements les professionnels développent-ils au fur et à mesure de leurs usages ?

Méthodologie

Pour mener à bien notre projet, nous avons élaboré un protocole de recherche à la fois expérimental et participatif. Ce protocole, fruit de la collaboration entre sociologues, chercheurs en sciences et technologies (STS) et designers, a pour but de créer :

  • Des espaces d’hésitation. À travers une série d'exercices, le protocole offre aux participants différents moyens de documenter et de réfléchir à leurs usages des LLMs. Il cherche à instaurer un cadre où le doute et l’hésitation sont non seulement acceptés, mais encouragés. Certains exercices introduisent des pauses délibérées dans les routines professionnelles et offrent des moments de recul : ces pauses constituent des temps où le jugement est suspendu, ménageant des espaces où les utilisateurs s’interrogent sur leurs réflexes et hésitent quant à ce qui leur paraissait acquis. D’autres proposent d’intensifier les pratiques des LLMs pour grossir des traits qui resteraient autrement trop discrets pour être perçus.
  • Une archive écologique des pratiques. Les traces numériques issues de l’utilisation des LLM servent de point de départ aux exercices, qui sont ensuite analysés, contextualisés et discutés individuellement et collectivement. Les participants construisent ainsi une archive multimodale (audio, photo, vidéo, dessin et journal de bord) qui restitue de manière tangible leurs expériences d’usage des LLMs et leur intégration dans diverses normes professionnelles et configurations matérielles.
  • Un cahier d’exercices (vademecum). Le vademecum regroupe l’ensemble des exercices et leurs consignes, organisés en blocs thématiques.  Pensé comme un objet modulable dans lequel on peut ajouter ou retirer des pages selon les besoins, il accompagne chaque participant tout au long du protocole. Le vademecum sert à la fois de support matériel au protocole et de moyen de diffusion afin d’être reproduit et décliné dans divers contextes académiques et professionnels.

Concrètement, le protocole est mis en œuvre avec plusieurs cohortes, chacune réunissant des professionnels d’un même milieu durant entre 6 et 8 mois, pour un total de 40 co-enquêteurs. Le projet s’appuie sur les programmes de master et de formation continue  de Sciences Po pour recruter des professionnels hautement qualifiés. Le choix de ce public répond à la manière dont les LLMs sont présentés par les entreprises technologiques, qui valorisent les LLMs comme un outil (et parfois comme un substitut) à ce type d’activité et à ce niveau de compétence. Le protocole a été conçu de manière à pouvoir être implémenté et adapté dans d’autres secteurs professionnels, afin de dresser un panorama plus large des LLMs dans les mondes du travail.

Chaque cohorte effectue les exercices au même rythme, se réunit régulièrement (entre 10 et 15 fois au long de la période) lors d’ateliers animés par les chercheurs et individuellement lors d’entretiens. Cette approche permet de suivre l’évolution des usages et de distinguer l’écume des pratiques de celles qui se sédimentent au cours du temps.