Suites de matrices et chaînes de markov (Terminale)

Q: Comment calculer la puissance n-ième d'une matrice ?

Soit on calcule les premières puissances, on conjecture une formule et on la démontre par récurrence avec A^{n+1} = A^nA ; soit on utilise une écriture A = PDP^{-1} fournie par l'énoncé, avec D diagonale, qui donne A^n = PD^nP^{-1}.

Q: Pourquoi écrit-on \pi_{n+1} = \pi_nP et non P\pi_n ?

La distribution \pi_n est une matrice ligne. D'après la formule des probabilités totales, P(X_{n+1} = j) = \sum_k P(X_n = k)\,p_{kj}, ce qui est le produit de la ligne \pi_n par la colonne j de P : on multiplie donc à gauche de P.

Q: Comment trouver la distribution invariante d'une chaîne de Markov ?

On pose \pi = \begin{pmatrix} x & y & z \end{pmatrix}, on écrit le système \pi P = \pi, qui contient toujours une équation redondante, et on lui ajoute la condition x + y + z = 1. On vérifie ensuite que les solutions sont positives.

Ce chapitre de maths expertes utilise le calcul matriciel pour étudier des suites couplées : une relation $U_{n+1} = AU_n$ donne directement $U_n = A^nU_0$ . Il introduit ensuite les chaînes de Markov, qui modélisent un système passant au hasard d'un état à un autre : la matrice de transition $P$ permet de calculer la distribution après $n$ étapes, $\pi_n = \pi_0P^n$ , et de prévoir le comportement à long terme grâce à la distribution invariante.

Définitions

Une suite de matrices colonnes $(U_n)$ vérifiant $U_{n+1} = AU_n + C$ représente plusieurs suites récurrentes couplées.
Une chaîne de Markov est une suite de variables aléatoires $(X_n)$ à valeurs dans un ensemble fini d'états, telle que la probabilité $p_{ij}$ de passer de l'état $i$ à l'état $j$ ne dépend ni de $n$ ni des états antérieurs.
La matrice de transition $P = (p_{ij})$ a des coefficients positifs et la somme de chaque ligne vaut $1$ ; le graphe associé a une arête $i \to j$ de poids $p_{ij}$ .
La distribution à l'instant $n$ est la matrice ligne $\pi_n = \begin{pmatrix} P(X_n = 1) & P(X_n = 2) & P(X_n = 3) \end{pmatrix}$ (deux coefficients pour une chaîne à deux états).
Une distribution $\pi$ est invariante si $\pi P = \pi$ .

Propriétés

Si $U_{n+1} = AU_n$ pour tout $n$ , alors $U_n = A^nU_0$ .
Si $A = PDP^{-1}$ avec $P$ inversible, alors $A^n = PD^nP^{-1}$ pour tout $n \in \mathbb{N}$ .
Si $L = AL + C$ , alors $V_n = U_n - L$ vérifie $V_{n+1} = AV_n$ , d'où $U_n = A^n(U_0 - L) + L$ .
Pour une chaîne de Markov : $\pi_{n+1} = \pi_nP$ et $\pi_n = \pi_0P^n$ ; le coefficient $(i,j)$ de $P^n$ est la probabilité de passer de $i$ à $j$ en $n$ transitions.
Si la suite $(\pi_n)$ converge, sa limite est une distribution invariante ; la convergence n'est pas toujours assurée.

Formules à retenir

$D = \begin{pmatrix} \lambda_1 & 0 \\ 0 & \lambda_2 \end{pmatrix} \Rightarrow D^n = \begin{pmatrix} \lambda_1^n & 0 \\ 0 & \lambda_2^n \end{pmatrix}$ .
Point fixe : $(I - A)L = C$ , soit $L = (I - A)^{-1}C$ lorsque $I - A$ est inversible.
Récurrence d'ordre 2 : $u_{n+2} = \alpha u_{n+1} + \beta u_n$ s'écrit $X_{n+1} = \begin{pmatrix} \alpha & \beta \\ 1 & 0 \end{pmatrix}X_n$ avec $X_n = \begin{pmatrix} u_{n+1} \\ u_n \end{pmatrix}$ .
Deux états, $P = \begin{pmatrix} 1-a & a \\ b & 1-b \end{pmatrix}$ : $p_{n+1} = (1-a-b)p_n + b$ et, si $0 < a+b < 2$ , $\pi_n \to \begin{pmatrix} \frac{b}{a+b} & \frac{a}{a+b} \end{pmatrix}$ .
$p_{ij}^{(n)} = P_{(X_0 = i)}(X_n = j)$ = coefficient $(i,j)$ de $P^n$ .

Exemple corrigé

Un client est abonné (état 1) ou non abonné (état 2). Un abonné le reste le mois suivant avec probabilité $0{,}8$ ; un non-abonné s'abonne avec probabilité $0{,}3$ . Au départ il est abonné. Déterminer $\pi_2$ et la distribution invariante.

La matrice de transition est $P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}3 & 0{,}7 \end{pmatrix}$ (chaque ligne a pour somme $1$ ) et $\pi_0 = \begin{pmatrix} 1 & 0 \end{pmatrix}$ .
$\pi_1 = \pi_0P = \begin{pmatrix} 0{,}8 & 0{,}2 \end{pmatrix}$ .
$\pi_2 = \pi_1P = \begin{pmatrix} 0{,}64 + 0{,}06 & 0{,}16 + 0{,}14 \end{pmatrix} = \begin{pmatrix} 0{,}7 & 0{,}3 \end{pmatrix}$ .
Une distribution invariante $\begin{pmatrix} x & 1-x \end{pmatrix}$ vérifie $x = 0{,}8x + 0{,}3(1-x)$ , soit $0{,}5x = 0{,}3$ et $x = 0{,}6$ .
Conclusion : $\pi = \begin{pmatrix} 0{,}6 & 0{,}4 \end{pmatrix}$ ; comme $p_n = 0{,}6 + 0{,}4 \times 0{,}5^n$ , la probabilité d'être abonné tend vers $0{,}6$ .

Ce que tu sauras faire

Savoir écrire un système de suites récurrentes sous la forme $U_{n+1} = AU_n$ ou $U_{n+1} = AU_n + C$
Savoir calculer $A^n$ par récurrence ou à l'aide d'une écriture $A = PDP^{-1}$ donnée
Savoir étudier une suite $U_{n+1} = AU_n + C$ grâce au point fixe $L = AL + C$
Savoir associer un graphe orienté pondéré et une matrice de transition à une chaîne de Markov à 2 ou 3 états
Savoir calculer la distribution $\pi_n = \pi_0P^n$ et interpréter les coefficients de $P^n$
Savoir déterminer une distribution invariante et étudier la convergence dans des cas simples

Questions fréquentes

Comment calculer la puissance $n$ -ième d'une matrice ?

Soit on calcule les premières puissances, on conjecture une formule et on la démontre par récurrence avec $A^{n+1} = A^nA$ ; soit on utilise une écriture $A = PDP^{-1}$ fournie par l'énoncé, avec $D$ diagonale, qui donne $A^n = PD^nP^{-1}$ .

Pourquoi écrit-on $\pi_{n+1} = \pi_nP$ et non $P\pi_n$ ?

La distribution $\pi_n$ est une matrice ligne. D'après la formule des probabilités totales, $P(X_{n+1} = j) = \sum_k P(X_n = k)\,p_{kj}$ , ce qui est le produit de la ligne $\pi_n$ par la colonne $j$ de $P$ : on multiplie donc à gauche de $P$ .

Comment trouver la distribution invariante d'une chaîne de Markov ?

On pose $\pi = \begin{pmatrix} x & y & z \end{pmatrix}$ , on écrit le système $\pi P = \pi$ , qui contient toujours une équation redondante, et on lui ajoute la condition $x + y + z = 1$ . On vérifie ensuite que les solutions sont positives.