Chaînes de Markov

Abstract

La notion de chaine a ete introduite en 1902 par Andrei Markov dans le but de formaliser des problemes d'epistemologie et de cryptage. Plus tard, vers 1940-1950, est apparu un formalisme beaucoup mieux adapte, proposant des modes operatoires effectifs s'inspirant de la theorie generale des processus stochastiques et de la theorie du potentiel. Cette presentation est elementaire et ne necessite que des connaissances de base en probabilites. Des exemples illustrent la theorie debouchant sur des procedures algorithmiques generiques : algorithmes de recherche de mesures invariantes, de la programmation dynamique et des chaines de Markov cachees.