M2 Probabilités Sorbonne Université   -   Cours ``Bayésien non-paramétrique et applications"   -   Ismael Castillo

• Cours (24h)
  
  
  • Deuxième semestre 2023-2024 -- Date limite d'inscription au cours : 23 février
  
  
  
  • Dates de cours :
    
    
    Les lundi de 13h30 à 16h30, pour la salle, voir ici
    
    
  • Premier cours :    le lundi 29 janvier 2023 (3h)
  
  
  • Cours supplémentaire: le vendredi 22 mars 2024 (9h30-12h30, salle 16-26-113)
  
  
  
  • Examen : écrit le mercredi 3 avril, 9h30-12h30.
  
  
  
  • Notes de cours [ pdf ] (cours 1-4 : jusque page 48 incluse).
  
  







• Résumé et objectif
  
  
  • L'objet de ce cours est l'étude mathématique de lois a posteriori bayésiennes dans des modèles statistiques non-paramétriques.
    
    L'approche bayésienne consiste à munir l'espace des paramètres du modèle statistique d'une loi de probabilité, la loi a priori. Chaque loi du modèle est vue comme la loi des données conditionnellement au paramètre. L'estimateur bayésien est alors la loi conditionnelle du paramètre sachant les données. C'est une mesure de probabilité, aléatoire à travers sa dépendance en les données.
    
    Dans les modèles non-paramétriques, le paramètre est une fonction ou une autre quantité de dimension grande ou infinie. Dans ce cours, nous introduisons tout d'abord des outils généraux qui permettent d'étudier du point de vue mathématique la convergence de lois a posteriori, d'après des travaux de Ghosal, Ghosh et van der Vaart (2000-2010). Ensuite, nous considérons deux types d'applications. D'une part, nous verrons comment la théorie précédente s'applique à un cadre d'estimation de fonction de régression et à des modèles dits de grande dimension. D'autre part, nous verrons des applications récentes à des lois sur des objets "profonds", et montrerons en quoi ceux-ci permettent une adaptation automatique à des structures cachées de petite dimension.
    
    Note : avoir déjà suivi un cours de statistique n'est pas indispensable. Nous introduirons le bagage statistique nécessaire lors des premiers cours.




• Plan du cours
  
  
  • I] Principes généraux et vitesses de convergence de lois a posteriori
  
  
  • II] Applications 1 : estimation de fonctions de régression par processus gaussiens, adaptation à la régularité
  
  
  • III] Applications 2 : deep Bayes. Réseaux de neurones profonds et lois deep-ReLU, processus Gaussiens profonds
  
  
  • IV] Méthodes bayésiennes variationnelles





• Bibliographie
  
  
  • Bayesian nonparametrics, I. Castillo, 51th St-Flour summer school lecture notes, 2024 (forthcoming, videos available on youtube).
  
  
  • Fundamentals of Nonparametric Bayesian Inference, S. Ghosal and A. van der Vaart, Cambridge University Press, 2017.
  
  (disponible à la bibliothèque du LPSM)
  
  
  
  Bibliographie (optionnelle)
  
  
  • Mathematical foundations of infinite-dimensional statistical models, E. Giné and R. Nickl, Cambridge University Press, 2015.
  
  
  • Asymptotic statistics, A. van der Vaart, Cambridge University Press, 1998.
  
  
  • Bases de statistiques - cours de M1 , I. Castillo,  [ Chaps12 ]
  
  

Quelques liens sur le sujet (liste non exhaustive !)

• Fondations et étude mathématique   [A. van der Vaart, H. van Zanten, R. Nickl, J. Rousseau, S. Ghoshal]


• Algorithmes, apprentissage, applications du bayésien non-paramétrique   [M. Jordan, Z. Ghahramani, D.Dunson]