Séminaire ayant lieu dans le cadre du doctorat en informatique cognitive, en collaboration avec le centre de recherche CRIA et l'ISC   

Tommaso TOSATO

Jeudi le 31 octobre 2024 à 10h30

Local: PK-5115 ((Il est possible d'y assister en virtuel en vous inscrivant ici)  

TITRE :   Algorithmic Gap Between LMs and the Brain

RÉSUMÉ

Les récents progrès des grands modèles linguistiques (LLM) ont amélioré leurs performances, mais ils diffèrent de la cognition humaine. Les comparaisons actuelles se concentrent souvent sur le comportement d’entrée-sortie ou les représentations intermédiaires, sans examiner les processus internes. Des concepts inspirés des neurosciences, comme la connectivité clairsemée et l’apprentissage incarné, pourraient rendre les LLM plus biologiquement plausibles. Les évaluations psychométriques montrent une grande variabilité des réponses, remettant en question la stabilité de la « personnalité » des LLM. Nous analyserons aussi comment la taille du modèle influence cette variabilité et la stabilité des traits de personnalité.                       

                                       Abstract: Large language models (LLMs) produce impressive performance on linguistic tasks but diverges from human cognition in how they do it. Comparisons of LLMs and the brain often focus only on input-output behavior or intermediate representations. Beyond surface-level behavior are the internal processes driving transformations between these representations. Neuroscience-inspired features like sparse connectivity, modularity, internal states, and embodied and interactive learning lead to biologically more plausible language models. Human psychometric assessment of LLMs reveals substantial variability in LLM responses because of question order shuffling or paraphrasing. This challenges the notion of a stable LLM "personality". Personality trait scores are influenced by different persona prompts. We will describe the relationship between model size and personality trait stability.

BIOGRAPHIE

Tommaso TOSATO est chercheur postdoctoral à l’Université de Montréal, au sein du Laboratoire de psychiatrie de précision et de physiologie sociale. Ses recherches portent sur l’intersection des neurosciences, de l’intelligence artificielle et de la modélisation computationnelle. Il a co-rédigé des études sur la relation algorithmique entre les modèles de langage et le fonctionnement cérébral.

RÉFÉRENCES

Tosato, Tommaso, et al. (2024) "Lost in Translation: The Algorithmic Gap Between LMs and the Brain." arXiv preprint arXiv:2407.04680 (2024).