Séminaire ayant lieu dans le cadre du doctorat en informatique cognitive, en collaboration avec le Centre de recherche sur l'intelligence artificiel (CRIA  ) 

Titre : Behavioral evaluation of language models as models of human sentence processing

Roger LEVY

Jeudi le 18 septembre 2025 10h30

Local PK-5115 (Il est possible d'y assister en virtuel en vous inscrivant ici)   

Résumé

Cette conférence examine comment les grands modèles de langage peuvent servir de modèles computationnels du traitement humain des phrases, en se concentrant sur les méthodes d'évaluation comportementale qui comparent les prédictions des modèles avec les données psycholinguistiques humaines. Je discuterai de travaux récents montrant que les mesures de probabilité directes des modèles de langage fournissent souvent de meilleures perspectives sur les connaissances linguistiques que les évaluations basées sur les invites. La conférence couvrira les considérations méthodologiques pour utiliser la théorie de la surprise et d'autres mesures théoriques de l'information pour valider les LLMs comme modèles cognitifs, examinant à la fois les promesses et les limites des modèles de langage neuraux actuels dans la capture des mécanismes de traitement des phrases humaines. Je présenterai des preuves sur la façon dont les mesures dérivées des modèles de difficulté de traitement s'alignent avec les données de temps de lecture humaines et discuterai des implications pour la science cognitive et le traitement du langage naturel.

 This talk examines how large language models can serve as computational models of human sentence processing, focusing on behavioral evaluation methods that compare model predictions with human psycholinguistic data. I will discuss recent work showing that direct probability measurements from language models often provide better insights into linguistic knowledge than prompting-based evaluations. The talk will cover methodological considerations for using surprisal theory and other information-theoretic measures to validate LLMs as cognitive models, examining both the promises and limitations of current neural language models in capturing human sentence processing mechanisms. I will present evidence on how model-derived measures of processing difficulty align with human reading time data and discuss implications for both cognitive science and natural language processing.

Biographie 

Roger LEVY est professeur de sciences du cerveau et cognitives au MIT, où il dirige le laboratoire de psycholinguistique computationnelle. Ses recherches portent sur des questions théoriques et appliquées dans le traitement et l'acquisition du langage naturel, étudiant comment la communication linguistique résout l'incertitude sur des signaux et significations potentiellement illimités. Il combine la modélisation computationnelle, l'expérimentation psycholinguistique et l'analyse de grands ensembles de données linguistiques naturelles pour comprendre les fondements cognitifs du traitement du langage et aider à concevoir de meilleurs systèmes de traitement automatique du langage. Avant de rejoindre le MIT en 2016, il a fondé un laboratoire de psycholinguistique computationnelle à UC San Diego. Il est actuellement président de la Cognitive Science Society (2024--2025).

Roger Levy is Professor of Brain and Cognitive Sciences at MIT, where he heads the Computational Psycholinguistics Laboratory. His research focuses on theoretical and applied questions in the processing and acquisition of natural language, investigating how linguistic communication resolves uncertainty over potentially unbounded signals and meanings. He combines computational modeling, psycholinguistic experimentation, and analysis of large naturalistic language datasets to understand cognitive underpinnings of language processing and to help design better machine language processing systems. Before joining MIT in 2016, he founded a Computational Psycholinguistics Laboratory at UC San Diego. He currently serves as President of the Cognitive Science Society (2024--2025). 

RÉFÉRENCES:

Hu, J., & Levy, R. (2023). Prompting is not a substitute for probability measurements in large language models. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 5040--5060.

Shain, C., Meister, C., Pimentel, T., Cotterell, R., & Levy, R. P. (2024). Large-scale evidence for logarithmic effects of word predictability on reading time. Proceedings of the National Academy of Sciences, 121(10), e2307876121.

Wilcox, E. G., Futrell, R., & Levy, R. (2023). Using Computational Models to Test Syntactic Learnability. Linguistic Inquiry, 1--44.

Futrell, R., Gibson, E., & Levy, R. P. (2020). Lossy-context surprisal: An information-theoretic model of memory effects in sentence processing. Cognitive Science, 44, 1--54.