Modélisation et statistique bayésienne computationnelle


Code et crédits : MU5MAS03/5MS34, 3 ECTS


Responsable : Nicolas Bousquet (lien vers la page personnelle)

Contact : nicolas.bousquet@sorbonne-universite.fr

Objectif : présenter d’une part les principales méthodologies de modélisation bayésienne appliquées à des problèmes d’aide à la décision en univers risqué sur des variables scalaires et fonctionnelles,
et d’autre part des méthodes avancées de calcul inférentiel permettant l’enrichissement de l’information utile, en fonction de l’emploi et de la nature des modèles.

Prérequis : notions fondamentales de probabilités et statistique, introduction aux statistiques bayésiennes, méthodes de Monte-Carlo, calcul scientifique en R ou/ et en Python
  1. Formalisation et résolution de problèmes d’aide à la décision en univers risqué, représentation probabiliste des incertitudes (Cox-Jaynes, de Finetti)
  2. Liens avec le machine learning
  3. Maximum d’entropie, familles exponentielles, modélisation par données virtuelles
  4. Règles d’invariance, de compatibilité et de cohérence pour les modèles bayésiens
  5. Algorithmes de Gibbs, MCMC adaptatives, introduction aux chaînes de Markov cachées, méthodes de filtrage et approches « likelihood-free » (ABC)
  6. Perspectives : quadrature bayésienne, modèles hiérarchiques de haute dimension, modélisation bayésienne fonctionnelle, processus gaussiens, calibration par expériences numériques, critères d’enrichissement bayésiens



Lien vers le planning du M2 Stat


Les cours débutent le 16 janvier (et non le 9)
Créneau : 9h-12h
Salle : 15-16/201
Dernier cours le 27 mars
Pas de cours le 13 mars



Poly de cours (MAJ le 7 mars)
Corrigé évolutif (7 mars)



Les TPs numériques sont faits simultanément en R et Python
(liens vers des aides pour R et Python 3)

Voici un document pour aider à l'installation des outils, comprenant également OpenBUGS et JAGS (documentation ici pour JAGS)

- vous pouvez appeler OpenBUGS depuis R via le package R2OpenBUGS
- vous pouvez appeler JAGS depuis R via le package rjags
- PyMC3 permet de mener des calculs bayésiens en Python
 

TPnum1 : cas conjugué
sujet (Python) / corrigé (Python)

TPnum2 : cas gaussien censuré
acceptation-rejet :
                        Python : sujet  / corrigé
                        R : sujet / corrigé
importance sampling :
                        Python : sujet / corrigé
                        R : sujet / corrigé

TPnum3 : loi de Gumbel
MCMC (MH/Gibbs) :
                        Python : sujet / corrigé
                        R : sujet / corrigé          


TPnum4 : retour sur le cas gaussien censuré
échantillonneur de Gibbs à données manquantes : R (code entier)


TPnum5 : cas beta-binomial
                    OpenBUGS/JAGS : data.txt / model.txt / inits.txt
                                                    + code R appelant Jags
                    Python : sujet / corrigé

Liens supplémentaires pour la production de code vers :
- youchat.com
- chatGPT


==========================================
 Préparation du partiel 2023 (date provisoire : 13 avril)


Deux choix de travaux de groupe (binômes ou trinômes) sont possibles.
Les notes prendront en compte la difficulté relative à chaque proposition

 

- travail d'analyse critique et de reproduction des résultats de l'un des articles récents suivants, en suivant les consignes en lien

Deep Gaussian Process for the Bayesian Calibration of Computer Models (++++)
Bayesian prediction of Jumps in large panels of Time Series Data (++)
Quantifying prior impact (++)
Bayesian Topological Learning for Classifying the Structure of Biological Networks (+++)
Informative Bayesian Neural Network Priors for Weak Signals (++)
Bayesian Prediction of Jumps in Large Panels of Time Series Data Conformal Bayesian computation (++)
Hierarchical Bayesian Bandits (++)


- conduite d'un mini-projet de recherche, à choisir parmi les sujets suivants (consignes dans l'énoncé) :

Analyse bayésienne robuste de lois d'extrêmes pour la météorologie
Analyse bayésienne de lois de Polya pour la fiabilité de matériels type batterie
Calibration a priori par minimisation de discrépances dans l'espace d'échantillonnage