: Mathématiques: processus de Markov

théorie des probabilités > processus stochastique > processus de Markov

processus de Markov

En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information concernant le passé. Les processus de Markov portent le nom de leur inventeur, Andreï Markov. Un processus de Markov en temps discret est une séquence ${\ extstyle X_{1},}$ ${\ extstyle X_{2},}$ ${\ extstyle X_{3},\\ \\dots }$ de variables aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la valeur ${\ extstyle X_{n}\\ }$ étant l'état du processus à l'instant ${\ extstyle n.}$ Selon les auteurs, le vocable « chaîne de Markov » désigne les processus de Markov à temps discret ou uniquement les processus de Markov à temps discret et à espace d'états discret, c.-à-d. les processus de Markov à temps discret dont l'espace d'états est fini ou dénombrable. Si la loi conditionnelle de ${\ extstyle X_{n+1}\\ }$ sachant le passé, i.e. sachant ${\ extstyle \\left(X_{k}\ ight)_{0\\leq k\\leq n}\\ }$ est une fonction de ${\ extstyle X_{n}\\ }$ seul, alors :
${\\displaystyle P(X_{n+1}=x\\mid X_{0},X_{1},X_{2},\\ldots ,X_{n})=P(X_{n+1}=x\\mid X_{n}).\\,}$
où ${\\displaystyle x}$ est un état quelconque du processus. L'identité ci-dessus identifie la probabilité markovienne.
(Wikipedia, L'Encylopédie Libre, https://fr.wikipedia.org/wiki/Processus_de_Markov)