Introduction aux modèles graphiques

Francis Bach, Ecole des Mines de Paris

Master recherche spécialité "Mathématiques Appliquées",
Parcours M2 Mathématiques, Vision et Apprentissage (ENS Cachan), 1er semestre, 2006/2007
 


Attention: Dernier cours Jeudi 14 decembre 2006, de 10h a 12h dans la salle 103 du bâtiment Cournot de l'ENS Cachan.


Exercises à rendre (obligatoires)

Pour le 14 novembre 2006: [pdf], données: [classification.data] [classification.test], solutions: [pdf], code: [zip]
Pour le 28 novembre 2006: [pdf], données: 
[EMGaussienne.dat] [EMGaussienne.test], solutions: [pdf], code: [zip]
Pour le 14 decembre 2006: [pdf], données: [EMGaussienne.dat] [EMGaussienne.test]



Projets

Description

Ce cours porte sur la modélisation statistique de données complexes multivariées. Il est centré sur le formalisme des modèles graphiques probabilistes (aussi appelés réseaux Bayésiens), qui se trouvent à la frontière entre la théorie des graphes et les probabilités. Ce formalisme regroupe un grand nombre de modèles existants (modèle de Markov cachés, filtres de Kalman) et dséfinit la sémantique et les algorithmes d’inférence et d’apprentissage nécessaires pour étendre naturellement ces modèles à des situations plus complexes. Des applications des modèles graphiques à des problèmes de vision, traitement du signal, intelligence artificielle et bioinformatique seront présentées.
 


Références - Polycopié

Le cours sera basé sur le livre en préparation de Michael Jordan (UC Berkeley) sur les modèles graphiques, et sur des articles scientifiques appliquant ces techniques. Le polycopie tiré du livre sera disponible pour les élèves suivant ce cours (aupres du secretariat du Mastere).
Premier chapitre (envoyer un e-mail a francis.bach@mines.org) pour demander le login/passwd.
 

Algorithme somme-produit (preuve du resultat)


Programme prévisionnel

  Date du cours chapitre  du polycopié
Introduction aux modèles graphiques 03/10 - 10/10
2
Algorithme d'élimination 10/10 3
Algorithme de propagation sur les arbres 10/10 - 17/10 4
Concepts statistiques 17/10 5
Régression linéaire 17/10 6
Classification linéaire 17/10 - 24/10 7
Famille exponentielles et modèles linéaires généralisés 8
Apprentissage pour les modèles complètement observes 24/10 9
Mixtures - EM 24/10 - 13/10 10-11
Modèles de Markov cachés 14/10 12
Analyse factorielle 13/10 13-14
Filtres de Kalman 14/10 15
Résultats théoriques sur les propriétés de Markov 16
algorithme de l'arbre de jonctions 21/10 - 28/10 17-18
Features, entropie maximum 19
Méthodes d'échantillonage  14/10 21