3. Optimisation stochastique

Dans la première partie, on présente brièvement des résultats de comportement en temps long des chaines de Markov et notamment la convergence vers la probabilité invariance de la chaine (sur un espace discret \(E\)).

On présente ensuite les méthodes de Monte Carlo par chaîne de Markov (MCMC pour l’acronyme anglais Markov Chain Monte Carlo) et l’algorithme de Metropolis-Hastings qui permet de construire une chaine de Markov dont on spécifie la mesure invariance a priori. Une application sera l’algorithme du recuit simulé qui permet d’optimiser une fonction (déterministe) sur un espace discret (fini mais grand!).

Le dernier point aborde un autre algorithme d’optimisation stochastique, appelé gradient stochastique, qui permet d’optimiser une fonction sur \(\mathbf{R}^d\) lorsque la fonction s’écrit sous forme d’une espérance.