Séminaire ayant lieu dans le cadre du doctorat en informatique cognitive, en collaboration avec le centre de recherche CRIA et l'ISC     

Toufik MECHOUMA

Jeudi le 30 janvier 2025 à 10h30

Local: PK-5115   (Il est possible d'y assister en virtuel en vous inscrivant ici)    

TITRE :   Réduire l’opacité des LLMs par l’injection de syntaxe, de vision et de sens

RÉSUMÉ

Les grands modèles de langage (LLM) tels que GPT ou BERT, bien que puissants, souffrent d'une opacité importante qui rend leur fonctionnement interne difficile à comprendre. Leur complexité provient de millions, voire de milliards de paramètres, ce qui limite leur explicabilité et complique l'interprétation de leurs décisions. Cette "boîte noire" pose des défis éthiques et pratiques. Comprendre pourquoi et comment un modèle génère une réponse devient crucial pour favoriser la confiance et permettre une adoption responsable de ces technologies. Des approches comme les techniques d'explicabilité ou les modèles hybrides tentent d'atténuer ces problèmes en combinant puissance et interprétabilité. Comment peut-on répondre au problème d'opacité et d'inexplicabilité des grands modèles de langage en proposant l'injection de connaissances syntaxiques et visuelles, tout en améliorant l'encodage du sens des mots pour les rapprocher de leurs représentations conceptuelles et contextuelles ?

BIOGRAPHIE

Toufik MECHOUMA est un professionnel des TI, avec dix ans d'expérience dans le domaine du pétrole et du gaz. Il a débuté sa carrière dans l'apprentissage automatique en 2020 au sein d'une entreprise canadienne. Il a rejoint le programme d'informatique cognitive de l'UQAM en tant que doctorant en 2019. Il travaille pour le Collège LaSalle en tant que professeur d'IA. Les recherches de Toufik portent sur le traitement automatique du langage naturel d'un point de vue cognitif et computationnel. Il travaille sur l'interprétabilité des LLM et l'encodage du sens des mots à travers des architectures cognitives multimodales. Toufik n'est ni un symboliste pur ni un connexionniste pur, il pense que la fusion des deux approches est l'avenir de l'IA. Il aime lire sur la catégorisation, la conceptualisation et la perception dans les sciences cognitives. L'une des idées les plus influentes à laquelle il croit fermement est que les images et les mots sont à la fois des symboles et représentent donc la surface, tandis que la machine devrait aller plus loin, jusqu'à l'informatique conceptuelle.

RÉFÉRENCES

Toufik Mechouma , Ismaïl Biskri , Jean Guy Meunier : Reinforcement of BERT with Dependency-Parsing Based Attention Mask. ICCCI (CCISVolume) 2022: 112-122

▪ Toufik Mechouma , Ismaïl Biskri , Serge Robert : Reinforcement of BERT with Dependency-Parsing Based Attention Mask. ICCCI (CCIS Volume) 2022: 112-122

▪ Toufik Mechouma , Ismaïl Biskri , Serge Robert : LingBERT, LinguisticKnowledge Injection into Attention Mechanism based on a Hybrid Masking Strategy.ICMLA MIAMI USA 2024.

▪ Syntax-Constraint-Aware SCABERT: Syntactic Knowledge as a Ground Truth

Supervisor of Attention Mechanism via Augmented Lagrange Multipliers, ICICT, London UK 2025.

▪ Toufik Mechouma , Ismaïl Biskri , Serge Robert: VLG-BERT: Towards Better Interpretability in LLMs through Visual and Linguistic Grounding 2025 NLP4DH Albuquerque, USA