1. médialab Sciences Po
  2. Actualités
  3. Recrute post-doc sur les biais des LLMs dans un contexte délibératif

Recrute post-doc sur les biais des LLMs dans un contexte délibératif

Le médialab de Sciences Po recrute un post-doc en sciences sociales computationnelles pour travailler sur l’identification et la caractérisation des biais des LLMs dans un contexte délibératif.

Annonce, Emploi

Date limite :

À propos du projet

Ce poste s’inscrit dans un projet de recherche du programme Communs Numériques financé par la BPI en partenariat avec l’ISIR (CNRS, Sorbonne Université) et make.org. De nombreux partenaires internationaux académiques et industriels complètent le consortium (Hugging Face, Genci, Mozilla,  Berkman Klein Center, etc.) des “communs démocratiques”.

Le programme "Communs Démocratiques", d’une durée de deux ans, réunit des dizaines de chercheurs  et d’ingénieurs  en sociologie, sciences politiques, traitement automatique des langues et en ingénierie,  pour  développer et partager librement un modèle d’évaluation des biais de l’IA appliquée aux espaces de débats démocratiques. L’objectif est de caractériser ces biais dans ce cadre précis, d’en fournir un modèle d'évaluation, et de travailler à entraîner des LLMs qui répondent aux principes démocratiques énoncés. 

Au-delà des biais démographiques déjà bien documentés dans la littérature, nous porterons une attention particulière à la fidélité des modèles de langue aux opinions exprimées par les contributeurs de plateformes délibératives. Dans un tel contexte, les grands modèles de langage promettent une participation accrue et simplifiée d’un plus grand nombre de citoyens : les robots conversationnels peuvent en effet faciliter la participation en  résumant de longs débats, en reformulant les contributions des citoyens si elles sont désajustées, ou simplement en les traduisant pour intégrer des contributeurs parlant différentes langues. Pour autant, ces applications - compte tenu de leur contexte d’application - appellent également à une grande vigilance. Le projet vise précisément à se prémunir des biais éventuels que ces opérations de “traduction” peuvent avoir sur la participation et la qualité du débat démocratique en les caractérisant précisément et en proposant des outils pour les mesurer. 

Le ou la candidat(e) s’intégrera dans une équipe interdisciplinaire de chercheurs, ingénieurs et designers du médialab, en lien avec une équipe de politistes au CEVIPOF, et sera naturellement amené à collaborer intimement avec les ingénieurs et les informaticiens du consortium du projet.

Missions

La personne recrutée sera chargée de mettre en place un protocole de caractérisation et de mesure des biais démocratiques dans le contexte d’applications à base de LLM développées pour améliorer la qualité des débats en ligne. En interaction avec les politistes engagés dans le projet et les informaticiens de l’ISIR (trois doctorants travaillant sur les tâches de résumé, traduction et reformulation), le post-doc devra concevoir un benchmark d’évaluation des biais démocratiques. Plus précisément, on souhaite pouvoir offrir des garanties de maintien du pluralisme des opinions exprimées lorsque les débats sont résumés (et éviter ainsi que des opinions minoritaires soient invisibilisées). De la même façon, nous tâcherons de mesurer dans quelles mesures les opinions exprimées par les utilisateurs sont fidèlement restituées par l’IA après reformulation ou traduction. Les données d’interaction entre les robots conversationnels et les utilisateurs (qualifiés) seront mises à disposition par make.org qui prévoit de déployer des espaces délibératifs assistés par IA dans quatre pays et trois langues différents de façon à faire varier les contextes socio-culturels. 

Expériences et compétences requises

On attend de la personne recrutée une bonne connaissance des algorithmes d’apprentissage automatique et du traitement automatique de la langue ainsi qu’une expérience solide en sciences sociales. Une expérience préalable sur l’évaluation ou l’audit de système algorithmique est souhaitable mais non obligatoire. Nous sommes à la recherche de profils hybrides relevant des sciences sociales computationnelles. Il peut s’agir de candidat(e)s ayant un doctorat dans une discipline telle que l’informatique, les mathématiques appliquées ou la physique, avec une appétence notable pour les sciences sociales. Nous sommes également ouverts à des candidatures provenant de docteurs en sociologie, sciences politiques ou économie avec une pratique avérée de la “science des données”.

Environnement de travail

La personne retenue sera intégrée au médialab de SciencesPo, dans le 7ème arrondissement de Paris (travail à distance possible un à deux jours par semaine) et travaillera avec son équipe de chercheurs, d’ingénieurs et de designers.

Le poste est ouvert à compter du mois d’octobre 2024, pour une durée de 24 mois.

Le salaire brut proposé s’échelonne entre 3200 et 3700 € / mois selon expérience. Le poste inclut une couverture santé complète, 40 jours de congés payés par an, 5 RTT, 50% du financement des transports en commun et des tickets restaurant.

Pour postuler

Envoyez un CV et une lettre de motivation détaillant vos expériences et compétences pertinentes pour le poste, ainsi qu’un lien vers vos articles scientifiques récents (publiés ou en cours) aux adresses suivantes avant le 23 juillet. Des auditions s’en suivront  pour une prise de poste à l’automne (à compter du 1er octobre 2024) :