Thèse Transmettre les Préférences Humaines aux Grands Modèles de Langage par des Démonstrations H/F - Doctorat.Gouv.Fr

Établissement : Ecole normale supérieure - PSL École doctorale : Sciences Cognitives Laboratoire de recherche : Laboratoire de Neurosciences Cognitives et Computationnelles Direction de la thèse : Stefano PALMINTERI Début de la thèse : 2026-10-01 Date limite de candidature : 2026-06-05T23:59:59 Contexte et motivation.
Avec l'intégration croissante des grands modèles de langage (LLM) dans des systèmes agentiques, ils sont de plus en plus envisagés comme des décideurs agissant pour le compte d'utilisateurs humains dans des domaines tels que la finance, la santé ou les choix du quotidien. L'utilité et la sécurité de ces systèmes dépendent de leur capacité à agir conformément aux préférences des utilisateurs, en particulier lorsque ceux-ci assument les conséquences des décisions déléguées. Or les préférences humaines sont souvent idiosyncratiques, dépendantes du contexte et difficiles à formaliser explicitement. En pratique, l'alignement pourrait reposer sur les capacités d'apprentissage en contexte des LLM, qui infèrent une fonction d'utilité à partir d'un petit nombre d'exemples de décisions.

Objectif général.
Ce projet vise à fournir la première étude empirique systématique de la manière dont les individus transmettent leurs préférences à un décideur substitut et de la capacité des LLM à les inférer et les reproduire.

Cadre conceptuel.
Le projet aborde l'alignement des préférences comme un problème conjoint humain-machine, combinant contraintes cognitives sur l'enseignement et contraintes computationnelles d'inférence à partir de données rares. Du point de vue humain, la communication des préférences peut être formalisée comme un problème de curriculum-design, où les individus sélectionnent intentionnellement des exemples afin de réduire l'incertitude de l'apprenant. Du point de vue de la machine, la tâche s'apparente à de l'inverse reinforcement learning sous forte contrainte de données.

Questions de recherche.
Le projet examine trois questions principales : comment les individus sélectionnent des exemples pour enseigner leurs préférences ; si ces stratégies diffèrent selon que l'agent est humain ou un LLM ; et dans quelle mesure les LLM peuvent inférer et reproduire les préférences à partir de ces exemples.

Dispositif expérimental.
Le projet développe un paradigme expérimental contrôlé décliné dans plusieurs études, faisant varier le domaine de décision (loteries de laboratoire vs comportements de risque en situation réelle) et le type d'agent substitut (humain vs LLM). Les participants révèlent d'abord leurs préférences dans un espace de décision donné. Ils apprennent ensuite qu'un agent prendra des décisions en leur nom et ne peuvent transmettre qu'une information limitée sur leur stratégie, soit en sélectionnant quelques décisions exemples, soit en fournissant une brève description écrite. L'agent, un autre participant ou un LLM, doit alors prendre de nouvelles décisions. La précision avec laquelle ces décisions reproduisent les choix initiaux du participant est mesurée.

Mesures et analyses.
Le protocole permet d'analyser à la fois le comportement d'enseignement humain et l'inférence des préférences par l'agent. L'étude examine la structure des exemples sélectionnés (informatifs, extrêmes, contrastifs) afin de caractériser les stratégies utilisées pour communiquer des préférences sous contrainte d'information. Elle évalue et compare la précision avec laquelle humains et LLM reproduisent les choix à partir de démonstrations limitées, permettant d'identifier d'éventuels décalages entre stratégies humaines d'enseignement et mécanismes d'inférence des apprenants.

Résultats attendus.
Du point de vue des sciences cognitives, le projet apportera des éclairages sur les heuristiques et représentations mobilisées pour communiquer des préférences par des exemples. Du point de vue computationnel, il fournira une évaluation empirique de la capacité des LLM à inférer des préférences à partir de démonstrations rares. Plus largement, ces résultats contribueront à la conception de protocoles d'alignement, de personnalisation et d'évaluation pour des systèmes d'IA appelés à agir comme décideurs substituts, fondés sur des modèles expérimentalement validés de communication des préférences humaines.
N/A N/A N/A

Le candidat devra disposer d'une formation solide en sciences cognitives, psychologie, neurosciences, informatique ou dans un domaine connexe.
Des compétences en méthodes quantitatives et en programmation (par exemple Python, MATLAB ou environnements similaires) sont attendues, ainsi qu'un intérêt pour la modélisation computationnelle du comportement et de la prise de décision.
Une expérience en expérimentation comportementale, en apprentissage automatique ou en modélisation par apprentissage par renforcement constituera un atout.
Le candidat devra faire preuve de fortes capacités analytiques, d'autonomie, de curiosité intellectuelle et d'un intérêt marqué pour les recherches interdisciplinaires à l'interface entre sciences cognitives et intelligence artificielle.