Chaîne de Markov simple

Énoncé

Chaîne à 2 états avec P [formule]. Trouver la loi stationnaire.

Indication

Résoudre [formule] avec [formule] = 1.

Solution

Une loi stationnaire est une distribution que la dynamique laisse invariante : si l'on part de [formule], on est encore en [formule] après une transition, et donc après toutes. Le calcul est un simple système linéaire, mais deux points méritent d'être posés — pourquoi le système est nécessairement lié, et à quelle vitesse la chaîne s'approche de [formule] quand elle en part loin. Rappel — convention et définition. On écrit les lois en ligne et [formule], si bien qu'une loi [formule] devient [formule] après une transition. Une loi stationnaire est un vecteur ligne [formule] vérifiant [formule] C'est un vecteur propre à gauche pour la valeur propre [formule]. Le système. Avec [formule], la première composante de [formule] s'écrit [formule] La seconde composante donne [formule], soit la même équation : c'est normal, les lignes de [formule] sommant à [formule], le système [formule] est toujours de rang au plus [formule]. C'est la condition de normalisation qui le referme. Résolution. De [formule] et [formule] on tire [formule], donc [formule] Vérification directe, à ne jamais sauter : [formule] et [formule]. On a bien [formule]. À quelle vitesse la chaîne oublie son point de départ. Les valeurs propres d'une matrice stochastique [formule] sont [formule] et [formule], ici [formule]. Partant de l'état [formule] avec certitude, l'écart à la stationnarité vaut exactement [formule] Numériquement : [formule] après une étape, [formule] après trois, [formule] après dix. La convergence est géométrique, et son taux est la seconde valeur propre — c'est le trou spectral qui gouverne tout. ⚠️ Trois erreurs classiques sur ce calcul. Résoudre [formule] au lieu de [formule] donne ici [formule], qui n'est pas la loi stationnaire — la convention ligne ou colonne doit être écrite avant de commencer. Oublier [formule] laisse une droite entière de solutions. Enfin, une loi stationnaire n'est unique que si la chaîne est irréductible : ici les deux états communiquent et tous les coefficients sont strictement positifs, donc tout va bien. 💡 À retenir. Une chaîne finie, irréductible et apériodique admet une unique loi stationnaire, vers laquelle toute loi initiale converge géométriquement (théorème de Perron-Frobenius). L'interprétation de [formule] est double : proportion de temps passée en [formule] à long terme, et inverse du temps moyen de retour en [formule] — ici [formule] étapes en moyenne pour revenir en [formule].