Notes et commentaires au sujet des conférences de S. Mallat du Collège de France (2024)

Jean-Eric Campagne (1)

1 IJCLab - Laboratoire de Physique des 2 Infinis Irène Joliot-Curie

Le cours de 2024 de Stéphane Mallat, Professeur au Collège de France, revient sur la thématique de comprendre le « Pourquoi ça marche » en des termes mathématiques. Il s’agit de comprendre les résultats très récents des modèles génératifs par Score Diffusion. Sont donc abordés l’apprentissage et la génération par échantillonnage aléatoire. Le cadre mathématique en grande dimension est probabiliste, et la clé essentielle est la notion d’indépendance. Les méthodes de Monte Carlo sont au cœur des calculs en grande dimension (Metropolis), avec en particulier les chaînes de Markov introduite en 2023. Les notions introduites par Fisher (modèle, inférence, etc) et Shannon (entropie) sont revues, avant d’aborder les algorithmes de Score Matching et de Score Diffusion avec l’équation de Ornstein-Uhlenbeck. Les réseaux de neurones (U-Net) utilisés pour le débruitage offrent dans cette optique un outil de choix.

Mots clés: Apprentissage automatique Machine Learning; Réseau de neurone convolutif; Chaine de markov; Algorithmes MCMC; Modèle génératif; Information de Fisher; Entropie de Shannon; Equation d'Ornstein-Uhlenbeck

Domaines: Mathématiques [math]; Statistiques [stat]

Jean-Eric Campagne. Notes et commentaires au sujet des conférences de S. Mallat du Collège de France (2024) : Apprentissage et génération par échantillonnage aléatoire. Master. Apprentissage et génération par échantillonnage aléatoire, https://www.college-de-france.fr/fr/agenda/cours/apprentissage-et-generation-par-echantillonnage-aleatoire, France. 2024, pp.169. ⟨hal-04549633v1⟩