Réunion

Modèles génératifs : diffusion, flow matching et leurs applications

Annonce

Les modèles génératifs ont connu de récentes avancées spectaculaires, au point que leurs dernières versions sont désormais capables de produire des images et du texte synthétiques presque indiscernables de contenus réels. Parmi les approches ayant contribué à ces progrès, les approches de diffusion et de flow matching occupent une place centrale.

Cette réunion vise à faire le point sur les avancées récentes, aussi bien fondamentales qu’appliquées, dans le domaine des modèles génératifs, avec un accent particulier sur les applications en traitement d’images. L’appel à contributions est ouvert aux travaux portant sur des développements théoriques, algorithmiques, ou des applications originales. Une liste non exhaustive de thèmes inclut :

• généralisation des méthodes de diffusion et flow matching
• entraînement des modèles génératifs
• passage à l’échelle pour la génération
• diffusion et flow matching pour les données discrètes et le texte
• liens avec le transport optimal
• évaluation des modèles génératifs
• intégration des modèles génératifs dans les applications en traitement d’image

La journée aura lieu le vendredi 24 octobre 2025 à l’ENS de Lyon (site Descartes, Amphi D2).

Les propositions de contributions (présentation de 20 min et/ou poster) sont à envoyer à mathurin.massias@gmail.com avant le 1er octobre. Les participations de jeunes chercheurs et chercheuses sont particulièrement encouragées.
Les demandes de prise en charge de mission doivent parvenir à la gestionnaire du GDR avant le 10 octobre.

Orateurs invités:

• Eric Vanden Eijnden (Courant Institute of Mathematical Sciences NYU / DMA, ENS Paris)
  Generative modeling with flows and diffusions
  Dynamical transport-based generative models have revolutionized unsupervised learning. These models construct maps between probability distributions, transforming samples from one into samples from another. While initially developed for image generation, they also show promise in previously intractable high-dimensional problems across scientific computing domains. This talk explores the mathematical foundations of flow and diffusion-based generative models, demonstrating how deeper understanding of their mechanisms improves design. I’ll present methods for structuring transport to efficiently reach complex target distributions while optimizing both learning and sampling. 
• Claire Boyer (Laboratoire de Mathématiques d’Orsay)
  Taking a Big Step: Large Learning Rates in Denoising Score Matching Prevent Memorization
  Denoising score matching plays a pivotal role in the performance of diffusion-based generative models. However, the empirical optimal score–the exact solution to the denoising score matching–leads to memorization, where generated samples replicate the training data. Yet, in practice, only a moderate degree of memorization is observed, even without explicit regularization. In this paper, we investigate this phenomenon by uncovering an implicit regularization mechanism driven by large learning rates. Specifically, we show that in the small-noise regime, the empirical optimal score exhibits high irregularity. We then prove that, when trained by stochastic gradient descent with a large enough learning rate, neural networks cannot stably converge to a local minimum with arbitrarily small excess risk. Consequently, the learned score cannot be arbitrarily close to the empirical optimal score, thereby mitigating memorization. To make the analysis tractable, we consider one-dimensional data and two-layer neural networks. Experiments validate the crucial role of the learning rate in preventing memorization, even beyond the one-dimensional setting.
• TBA

Programme provisoire

• 9 h – 9 h 20 Accueil
• 9 h 20 – 9 h 30 Introduction
• 9 h 30 – 10 h 20 Long Talk 1
• 10 h 20 – 10 h 40 Short talk 1
• 10 h 40 – 10 h 55 Pause café
• 10 h 55 – 11 h 45 LT2
• 11 h 45 – 12 h 05 ST2
• 12 h 05 – 13 h 45 Pause déjeuner
• 13 h 45 – 15 h 15 Session poster
• 15 h 15 – 16 h 15 LT 3
• 16 h 15 – 16 h 30 Pause café
• 16 h 30 – 17 h 10 ST 3 et 4

Organisateur : Mathurin Massias (INRIA, LIP, Lyon)