Attention: Dernier cours Jeudi 14 decembre 2006, de 10h a 12h dans la salle 103 du bâtiment Cournot de l'ENS Cachan.
Exercises à rendre (obligatoires)
Pour le 14 novembre 2006: [pdf], données: [classification.data] [classification.test], solutions: [pdf], code: [zip]
Pour le 28 novembre 2006: [pdf], données: [EMGaussienne.dat] [EMGaussienne.test], solutions: [pdf], code: [zip]
Pour le 14 decembre 2006: [pdf], données: [EMGaussienne.dat] [EMGaussienne.test]
Description
Ce cours porte
sur la modélisation statistique de données complexes multivariées. Il est centré
sur le formalisme des modèles graphiques probabilistes (aussi appelés réseaux
Bayésiens), qui se trouvent à la frontière entre la théorie des graphes et les
probabilités. Ce formalisme regroupe un grand nombre de modèles existants
(modèle de Markov cachés, filtres de Kalman) et dséfinit la sémantique et les
algorithmes d’inférence et d’apprentissage nécessaires pour étendre
naturellement ces modèles à des situations plus complexes. Des applications des
modèles graphiques à des problèmes de vision, traitement du signal, intelligence
artificielle et bioinformatique seront présentées.
Références - Polycopié
Le cours sera
basé sur le livre en préparation de
Michael Jordan
(UC Berkeley) sur les modèles graphiques, et sur des articles
scientifiques appliquant ces techniques. Le polycopie tiré du
livre sera disponible pour les élèves suivant ce
cours (aupres du secretariat du Mastere).
Premier chapitre (envoyer un e-mail a francis.bach@mines.org) pour demander le login/passwd.
Algorithme somme-produit (preuve du resultat)
Programme prévisionnel
Date du cours | chapitre du polycopié | |
Introduction aux modèles graphiques | 03/10 - 10/10 |
2 |
Algorithme d'élimination | 10/10 | 3 |
Algorithme de propagation sur les arbres | 10/10 - 17/10 | 4 |
Concepts statistiques | 17/10 | 5 |
Régression linéaire | 17/10 | 6 |
Classification linéaire | 17/10 - 24/10 | 7 |
Famille exponentielles et modèles linéaires généralisés | 8 | |
Apprentissage pour les modèles complètement observes | 24/10 | 9 |
Mixtures - EM | 24/10 - 13/10 | 10-11 |
Modèles de Markov cachés | 14/10 | 12 |
Analyse factorielle | 13/10 | 13-14 |
Filtres de Kalman | 14/10 | 15 |
Résultats théoriques sur les propriétés de Markov | 16 | |
algorithme de l'arbre de jonctions | 21/10 - 28/10 | 17-18 |
Features, entropie maximum | 19 | |
Méthodes d'échantillonage | 14/10 | 21 |