Chaînes de Markov > [!NOTE] > ### 1. Définitions et Fondamentaux > Une [chaîne de Markov](def:chaine de markov) est un processus stochastique vérifiant la propriété de Markov. > * Propriété de Markov : [formule]. > * Matrice de transition : [formule] avec [formule]. > * Homogène : [formule] ne dépend pas de [formule]. > * Distribution initiale : [formule]. > * Distribution à l'instant [formule] : [formule]. > * Irréductible : Tous les états communiquent — on peut aller de [formule] à [formule] pour tous [formule]. > * Apériodique : Le pgcd des longueurs de chemins de [formule] à [formule] est 1. > * Mesure invariante : [formule] avec [formule]. > [!WARNING] > ### 2. Pièges à éviter > * Stochastique : Les lignes de [formule] somment à 1, pas les colonnes. > * Réversibilité : [formule] n'est pas toujours vraie (équilibre détaillé). > * Existence de [formule] : Pas toujours unique si la chaîne n'est pas irréductible. > * Convergence : Irréductible + apériodique + récurrente positive [formule] convergence vers [formule]. > * Temps de retour : [formule] pour une chaîne récurrente positive. > [!TIP] > ### 3. Exercice Type : Mesure invariante > Énoncé : Trouver la mesure invariante de [formule]. > > Solution Détaillée : > 1. Équation : [formule] avec [formule]. > [formule] > 2. Simplification : [formule]. > 3. Normalisation : [formule]. > 4. Résultat : [formule]. > 5. Interprétation : À long terme, 37.5% du temps dans l'état 1, 62.5% dans l'état 2. > [!QUESTION] > ### 4. Questions de Jury > * Q1 : Qu'est-ce qu'un état récurrent ? Transient ? > * Rép : Récurrent : on revient p.s. en partant de cet état. Transient : probabilité de non-retour [formule]. > * Q2 : Énoncer le théorème ergodique pour les chaînes de Markov. > * Rép : Pour une chaîne irréductible, apériodique, récurrente positive : [formule] p.s. > * Q3 : Qu'est-ce que l'algorithme de Metropolis-Hastings ? > * Rép : Méthode MCMC pour échantillonner selon [formule] en construisant une chaîne de Markov avec [formule] invariante. ### 5. Références Bibliographiques * D. Foata, A. Fuchs, Calcul des probabilités — Introduction aux chaînes de Markov finies. * J.-Y. Ouvrard, Probabilités 2 — Classification des états et théorèmes ergodiques.