{"id":1963,"date":"2026-09-30T15:43:42","date_gmt":"2026-09-30T13:43:42","guid":{"rendered":"https:\/\/imn.u-bordeaux.fr\/?post_type=buni_events&p=1963"},"modified":"2026-09-30T15:43:43","modified_gmt":"2026-09-30T13:43:43","slug":"soutenance-de-these-yannis-bendi-ouis","status":"publish","type":"buni_events","link":"https:\/\/imn.u-bordeaux.fr\/fr\/events\/soutenance-de-these-yannis-bendi-ouis\/","title":{"rendered":"Soutenance de th\u00e8se – <\/span>Yannis Bendi-Ouis"},"content":{"rendered":"

[vc_row][vc_column][vc_column_text]Lieu : Centre Broca
\nTh\u00e8se soutenue en anglais<\/p>\n

\n

IMN
\nEquipe : Neurosciences computationnelles
\nTh\u00e8se dirig\u00e9e par Xavier Hinaut<\/p>\n

Titre<\/h3>\n

Des mod\u00e8les hybrides Reservoir\u2013Transformer aux State Space Models pour un traitement efficace des s\u00e9quences<\/p>\n

Abstract<\/h3>\n

Les architectures Transformer ont r\u00e9volutionn\u00e9 le traitement automatique des s\u00e9quences, notamment dans le domaine du langage. Leur m\u00e9canisme d\u2019attention permet d\u2019acc\u00e9der directement aux \u00e9l\u00e9ments ant\u00e9rieurs d\u2019une s\u00e9quence et favorise un entra\u00eenement fortement parall\u00e9lisable. Cette efficacit\u00e9 \u00e0 l\u2019entra\u00eenement s\u2019accompagne toutefois d\u2019un co\u00fbt croissant avec la longueur du contexte : l\u2019attention pr\u00e9sente une complexit\u00e9 quadratique en fonction de la longueur de la s\u00e9quence et, en g\u00e9n\u00e9ration autor\u00e9gressive, le stockage des cl\u00e9s et des valeurs pass\u00e9es n\u00e9cessite une m\u00e9moire qui augmente elle aussi avec le nombre de tokens trait\u00e9s. \u00c0 l\u2019inverse, les architectures r\u00e9currentes maintiennent un \u00e9tat de taille fixe, ce qui les rend naturellement adapt\u00e9es au traitement continu des donn\u00e9es et \u00e0 une inf\u00e9rence \u00e0 co\u00fbt constant par pas de temps. Leur caract\u00e8re s\u00e9quentiel limite cependant la parall\u00e9lisation de l\u2019entra\u00eenement. Cette th\u00e8se \u00e9tudie comment r\u00e9unir les propri\u00e9t\u00e9s de ces deux types d\u2019architectures : l\u2019entra\u00eenement parall\u00e8le des Transformers et l\u2019inf\u00e9rence \u00e0 co\u00fbt constant des mod\u00e8les r\u00e9currents. Elle explore pour cela l\u2019hybridation entre Transformers et Reservoir Computing, une approche particuli\u00e8re des r\u00e9seaux r\u00e9currents reposant sur des syst\u00e8mes dynamiques. Une premi\u00e8re architecture, l\u2019Echo State Transformer, remplace l\u2019attention port\u00e9e \u00e0 l\u2019ensemble des \u00e9l\u00e9ments pass\u00e9s par une attention appliqu\u00e9e \u00e0 un nombre fixe d\u2019unit\u00e9s de m\u00e9moire dynamiques. Ces travaux conduisent ensuite \u00e0 une reformulation des r\u00e9servoirs lin\u00e9aires. En param\u00e9trant directement leur dynamique \u00e0 l\u2019aide de valeurs propres complexes, il devient possible de mod\u00e9liser diff\u00e9rentes \u00e9chelles temporelles tout en rempla\u00e7ant les op\u00e9rations matricielles r\u00e9currentes par des op\u00e9rations \u00e9l\u00e9ment par \u00e9l\u00e9ment, moins co\u00fbteuses. Cette progression aboutit au Dynamical Memory Transformer, une architecture appartenant \u00e0 la classe des State-Space Models, fond\u00e9e sur plusieurs unit\u00e9s de m\u00e9moire r\u00e9currentes s\u00e9lectives. Celles-ci sont mises \u00e0 jour en fonction de l\u2019entr\u00e9e gr\u00e2ce \u00e0 un taux de fuite adaptatif, tandis que l\u2019attention permet d\u2019organiser leurs interactions. Comme cette dynamique reste lin\u00e9aire, l\u2019\u00e9volution des \u00e9tats peut \u00eatre calcul\u00e9e \u00e0 l\u2019aide d\u2019un scan associatif parall\u00e8le. Le mod\u00e8le conserve ainsi les avantages d\u2019un entra\u00eenement parall\u00e9lisable tout en maintenant, \u00e0 l\u2019inf\u00e9rence, un \u00e9tat de taille fixe. Enfin, la th\u00e8se d\u00e9veloppe CogScale, un benchmark de t\u00e2ches synth\u00e9tiques destin\u00e9 \u00e0 \u00e9valuer s\u00e9par\u00e9ment diff\u00e9rents aspects cognitifs tels que la r\u00e9tention, la s\u00e9lection, le rappel associatif et la manipulation d\u2019informations. L\u2019ensemble de ces travaux vise \u00e0 concevoir des architectures capables de pr\u00e9server un acc\u00e8s pr\u00e9cis au pass\u00e9 tout en maintenant un co\u00fbt d\u2019inf\u00e9rence constant par pas de temps.<\/p>\n

Mots-cl\u00e9s<\/h3>\n

Transformers, State Space Models, Reservoir Computing, Syst\u00e8me Dynamique, Scan Associatif, Traitement de Sequence<\/p>\n

Publications<\/h3>\n