Notes et commentaires au sujet des conférences de S. Mallat du Collège de France (2022)

Jean-Eric Campagne (1)

1 IJCLab - Laboratoire de Physique des 2 Infinis Irène Joliot-Curie

Le cours de 2022 de Stéphane Mallat, Professeur au Collège de France, est consacré à la Théorie de L’Information. Il est centré sur deux articles fondateurs : celui de R. A. Fisher en 1922 "On the mathematical foundations of theoretical statistics", et celui de Cl. Shannon en 1948 "A Mathematical Theory of Communication". Fisher développe des concepts comme : la consistance d’un estimateur, en particulier le maximum de vraisemblance et l’inférence, la notion d’information et de statistique suffisante. De son côté Shannon extrait l’entropie de son cadre de la Physique pour en faire un outil universel, avec lequel il aborde entres autres le sujet du codage (compression) , par le biais de la concentration des probabilités sur des ensembles typiques. Ces notions sont au cœur de la mise en œuvre des réseaux de neurones et de la compréhension de leur succès.

Mots clés: Apprentissage automatique Machine Learning; Réseau de neurone convolutif; Information de Fisher; Entropie de Shannon; JPEG; JPEG2000; MPEG; Codage entropique; Inférence

Domaines: Mathématiques [math]; Statistiques [stat]

Jean-Eric Campagne. Notes et commentaires au sujet des conférences de S. Mallat du Collège de France (2022) : Modèles multi-échelles et réseaux de neurones convolutifs. Master. Information et complexité, https://www.college-de-france.fr/fr/agenda/cours/information-et-complexite, France. 2022, pp.134. ⟨hal-04549438⟩