Chaînes de Markov

Une chaîne de Markov décrit un système qui passe d’un état à un autre à des étapes successives. Ici l’ensemble des états est fini, avec deux ou trois états. La probabilité du prochain état dépend de l’état présent, et non du chemin complet suivi auparavant. Cette propriété est une hypothèse du modèle : elle ne découle pas du simple fait de dessiner un graphe. Nous étudions des transitions homogènes, dont les probabilités restent les mêmes à chaque étape.

On peut modéliser le choix quotidien entre deux moyens de transport, l’occupation de deux zones ou les états d’une machine. Il faut définir précisément ce qu’est une étape et à quel moment l’état est observé. Une transition décrit alors une probabilité conditionnelle. Si un individu est actuellement dans l’état A, la probabilité d’aller vers B n’est pas la probabilité d’être en B pour toute la population : celle-ci dépend aussi de la répartition actuelle.

Le graphe orienté pondéré porte les états aux sommets et les probabilités sur les arcs. Une boucle représente la possibilité de rester dans le même état. Les probabilités sortant d’un sommet sont positives ou nulles et leur somme vaut 1. On peut omettre les arcs de probabilité nulle, mais il faut conserver la possibilité d’une boucle lorsqu’elle est prévue. Le graphe exprime des probabilités ; il ne prédit pas un trajet individuel certain.

Fixons l’ordre des états. La matrice P de transition possède en ligne i et colonne j la probabilité de passer de i vers j en une étape. Ses coefficients sont positifs ou nuls et chaque ligne a pour somme 1. Une telle matrice est dite stochastique par lignes. Dans ce chapitre, les distributions sont des matrices lignes : πₙ donne la répartition des états au rang n. Cette convention est essentielle pour placer les produits dans le bon ordre.

La relation fondamentale est πₙ₊₁ = πₙP. Pour obtenir la probabilité de l’état j à l’étape suivante, on additionne les probabilités de tous les états de départ, multipliées par leurs probabilités de transition vers j. C’est la formule des probabilités totales appliquée aux états du système. Par récurrence, πₙ = π₀Pⁿ. La distribution initiale doit être donnée ou justifiée par l’énoncé.

Le coefficient (i ; j) de Pⁿ est la probabilité d’être dans l’état j après n transitions lorsqu’on part avec certitude de i. Pour n = 2, le produit ligne-colonne additionne toutes les possibilités d’état intermédiaire. Chaque produit pᵢₖpₖⱼ est la probabilité du trajet i vers k vers j. La propriété de Markov justifie l’utilisation de la même transition à la seconde étape, sans autre information sur le passé.

La preuve pour n + 1 reprend le même découpage par l’état avant la dernière transition. Sous l’hypothèse connue au rang n, la formule des probabilités totales donne la somme des produits (Pⁿ)ᵢₖpₖⱼ, qui est exactement le coefficient de PⁿP. Au rang zéro, P⁰ = I correspond à l’absence de transition. Cette démonstration relie le calcul matriciel aux probabilités ; elle n’est pas seulement une règle à appliquer.

Un modèle à trois états conserve les mêmes règles : trois probabilités initiales de somme 1, une matrice 3 × 3 et le produit π₀Qⁿ. La présence d’un troisième état ne change pas la définition de Markov, mais augmente le nombre de trajets possibles. On doit vérifier toutes les lignes de transition, y compris celles d’états peu probables au départ, car ils peuvent devenir accessibles ensuite.

Une distribution π est invariante si πP = π. Ses coefficients doivent être positifs ou nuls et leur somme doit valoir 1. Résoudre une équation matricielle sans imposer la somme 1 peut donner des vecteurs qui ne sont pas des distributions. Une distribution invariante décrit un équilibre de répartition : des individus peuvent changer d’état pendant que les proportions globales restent identiques.

La chaîne cyclique à trois états possède la distribution invariante (1/3, 1/3, 1/3), car la permutation conserve ces trois coefficients. Pourtant, partant de A, la distribution alterne cycliquement entre trois valeurs et ne converge pas. Cet exemple montre que l’invariance et la convergence ne sont pas équivalentes. Il interdit d’annoncer une stabilisation sans propriété supplémentaire ou sans démonstration adaptée au cas étudié.

Un état absorbant est un état dont la probabilité de rester sur place vaut 1. La distribution concentrée sur cet état est invariante. Si plusieurs états sont absorbants, plusieurs distributions invariantes peuvent exister. Ainsi la matrice identité conserve toutes les distributions. Le modèle et ses transitions doivent donc être lus avant de supposer l’unicité d’un équilibre ou l’existence d’une limite.

Erreurs fréquentes : additionner les colonnes au lieu des lignes pour contrôler notre convention ; oublier la distribution initiale ; confondre probabilité conditionnelle de transition et proportion totale ; annoncer une convergence parce qu’un équilibre existe. Pour une simulation, comparer les fréquences aux probabilités aide à explorer, mais les fluctuations ne remplacent pas la démonstration exacte.

Pour t’entraîner, ouvre S’entraîner dans /exercices. Représente d’abord le graphe puis reconstruis la matrice sans regarder le cours. Un contrôle utile consiste à partir d’un seul état : la première distribution obtenue doit être la ligne correspondante de la matrice. Cette vérification simple révèle immédiatement une convention inversée.