Matrice de Markov

Matrice stochastique

En mathématiques, une matrice stochastique (aussi appelée matrice de Markov) est une matrice carrée dont chaque élément est un réel compris entre 0 et 1 et dont la somme des éléments de chaque ligne vaut 1. Cela correspond, en probabilité, à la matrice de transition d'une chaîne de Markov finie.

Voici un exemple de matrice stochastique P (dans cet exemple, la somme des éléments de chaque ligne est égale à 1 ; on remarque que la somme des éléments de chaque colonne est quelconque):

$P = \begin{pmatrix} 0,5 & 0,3 & 0,2 \\ 0,2 & 0,8 & 0 \\ 0,3 & 0 ,3& 0,4 \end{pmatrix}$

Si G est une matrice stochastique, alors on appelle vecteur stable pour G le vecteur h tel que :

hG = h

Par exemple :

$G = \begin{pmatrix} 0,95 & 0,05 \\ 0,03 & 0,97 \end{pmatrix}$

et

$h = \begin{pmatrix} 0,375 & 0,625 \end{pmatrix}$

$hG = \begin{pmatrix} 0,375 & 0,625 \end{pmatrix} \begin{pmatrix} 0,95 & 0,05 \\ 0,03 & 0,97 \end{pmatrix}$

$hG = \begin{pmatrix} 0,35625 + 0,01875 & 0,01875 + 0,60625 \end{pmatrix} = \begin{pmatrix} 0,375 & 0,625 \end{pmatrix}$

Cet exemple montre que hG = 1h.

Pour des équations du type hG = βh, où β est un nombre réel, on dit que h est un vecteur propre associé à la valeur propre β. On peut donc dire que h est un vecteur propre associé à la valeur propre 1.

Une matrice stochastique est dite régulière s'il existe un entier k tel que la matrice P^k ne contient que des réels strictement positifs.

La matrice 3 × 3 précédente est régulière car :

$P^2 = \begin{pmatrix} 0,37 & 0,45 & 0,18\\ 0,26 & 0,70 & 0,04\\ 0,33 & 0,45 & 0,22 \end{pmatrix}$

Le théorème des matrices stochastiques stipule que, si A est une matrice stochastique régulière, alors A possède un vecteur stable t tel que, si x_o est un état initial quelconque, et si x_k+1 = x_kA pour k = 0, 1, 2, ..... alors la chaîne de Markov {x_k} converge vers t quand $k \to \infty$. C’est-à-dire :

$\lim_{k \to \infty} \textbf{x}_0 A^k = \textbf{t}$

Voir aussi

• Chaîne de Markov

Ce document provient de « Matrice stochastique ».