Séminaire ayant lieu dans le cadre du doctorat en informatique cognitive, en collaboration avec le centre de recherche CRIA et l'ISC 

Guillaume LAJOIE

Jeudi le 7 novembre 2024 à 10h30

Local: PK-5115   (Il est possible d'y assister en virtuel en vous inscrivant ici)

TITRE :   Beyond parameters: Learning in-context without plasticity in neural networks

RÉSUMÉ

Les réseaux neuronaux peuvent approximer un large éventail de fonctions si une attribution de crédit appropriée est mise en place. Les théories de l’apprentissage se sont concentrées sur l’ajustement des paramètres d’un réseau, tels que les poids de connectivité, afin de minimiser les erreurs sur des tâches spécifiques. Dans le cerveau, ces modifications sont facilitées par des mécanismes de plasticité synaptique, tandis que les réseaux profonds utilisent la descente de gradient directe. Certains processus d’apprentissage dans le cerveau ne reposent pas uniquement sur ces mises à jour paramétriques. Ils exploitent des mécanismes d’attribution de crédit basés sur l’activité pour réaliser un apprentissage rapide, induit par les entrées, de manière non paramétrique. En IA, les grands modèles de fondation pré-entraînés sur des objectifs prédictifs simples montrent une expressivité remarquable dans l’apprentissage en contexte, en utilisant uniquement les activations évoquées par les entrées. Je présenterai des résultats démêlant les rôles de l’apprentissage paramétrique et non paramétrique. J’explorerai l’expressivité des réseaux neuronaux qui apprennent uniquement à partir des entrées et j’examinerai l’impact des objectifs de méta-formation paramétrique sur cette expressivité. Cette recherche vise à fournir des outils pour mieux comprendre l’apprentissage induit par les entrées dans le cerveau et l’apprentissage en contexte dans les grands systèmes d’IA pré-entraînés.

BIOGRAPHIE

Guillaume LAJOIE est professeur associé à l’Université de Montréal et chercheur au Mila (Institut québécois d’intelligence artificielle). Ses travaux se situent à l’intersection des neurosciences et de l’apprentissage automatique, en particulier sur la compréhension des dynamiques neuronales et comment les modèles inspirés du cerveau peuvent améliorer les systèmes d’IA.

RÉFÉRENCES

Ezekiel Williams, Avery Hee-Woon Ryoo, Thomas Jiralerspong, Alexandre Payeur, Matthew G. Perich, Luca Mazzucato, Guillaume Lajoie (2024) Expressivity of Neural Networks with Random Weights and Learned Biases.  arXiv preprint arXiv:2407.00957.