Qu’est-ce qu’une chaîne de Markov ?

Réponse courte

Une chaîne de Markov modélise un système qui évolue entre un nombre fini d’états : la probabilité du prochain état dépend de l’état présent, selon des transitions stables, et non de tout le passé.

Comprendre

Un modèle à états

Une chaîne de Markov décrit un système qui passe d’un état à un autre à des étapes successives. À chaque étape, le système est dans l’un des états prévus, par exemple A ou B. La probabilité de la transition suivante dépend de l’état actuel ; cette hypothèse caractérise la propriété de Markov.

Décrire les transitions

Avec deux états A et B, supposons que depuis A le système reste en A avec probabilité 0,8 et passe en B avec probabilité 0,2 ; depuis B il va vers A avec probabilité 0,3 et reste en B avec probabilité 0,7. Chaque ligne de transition totalise 1. Dans l’ordre A, B, la matrice est (0,8 ; 0,2 ; 0,3 ; 0,7), écrite en lignes (0,8, 0,2 ; 0,3, 0,7).

Ce que le modèle dit

Si la répartition actuelle est πₙ=(x,y), la suivante est πₙ₊₁=πₙP. Par exemple, en partant certainement de A, π₀=(1,0), on obtient π₁=(0,8,0,2). La chaîne calcule des probabilités pour l’ensemble du système, pas le trajet certain d’un individu particulier.

Deux précautions

L’hypothèse de Markov doit correspondre au contexte : un graphe seul ne la justifie pas. Il faut aussi fixer ce qu’est une étape et contrôler que les probabilités de chaque état de départ ont pour somme 1.

Exemples

  • Pour une machine en état A, transition vers B de probabilité 0,2 : si elle est en A au rang 0, la probabilité d’être en B au rang 1 vaut 0,2.
  • Depuis B, les probabilités 0,3 vers A et 0,7 vers B forment une ligne de somme 1.

Pièges fréquents

  • Confondre probabilité conditionnelle de transition et proportion totale : la seconde dépend de la distribution actuelle.
  • Supposer que le passé complet influence le prochain état : dans le modèle de Markov, l’état présent suffit.

Pourquoi ça marche

La propriété de Markov simplifie la prévision en résumant l’information utile du passé dans l’état présent.

Et maintenant ?

Questions proches

← Toutes les questions-réponses