Apprentissage Statistique

Sylvain Arlot et Francis Bach

CNRS - INRIA - École Normale Supérieure

Mastère M2 Probabilités et Statistiques

(Université Paris-Sud), 2ème semestre, 2010/2011

Les cours ont lieu au département de Mathématiques de l'Université Paris-Sud (Orsay)

Dates des cours:

1er Février de 14h à 17h (S. Arlot): Théorie de l'apprentissage, de Vapnik à la localisation (1/2) - Notes de cours - Exercices corrigés
9 Février de 9h à 12h (S. Arlot): Théorie de l'apprentissage, de Vapnik à la localisation (2/2) - Notes de cours - Exercice corrigé
2 Mars de 9h à 12h (F. Bach): Convexification du risque - Notes de cours
9 Mars de 9h à 12h (F. Bach): Régularisation l2 - Notes de cours
23 Mars de 9h à 12h (S. Arlot): Choix d'algorithmes statistiques (1/2): Sélection d'estimateurs linéaires - Notes de cours
24 Mars de 9h à 12h (S. Arlot; salle 018 bâtiment 430): Choix d'algorithmes statistiques (2/2): Sélection d'estimateurs par rééchantillonnage ou validation croiséee - Notes de cours
30 Mars de 9h à 12h (F. Bach): Régularisation L1 (1/2) - Transparents (en anglais) - Notes de cours
6 Avril de 9h à 12h (F. Bach): Régularisation L1 (2/2) - Transparents (en anglais)
Validation du cours: exposé sur un article à choisir parmi cette liste, le mercredi 27 avril à partir de 9h30 en salle 229 du bâtiment 440.

Résumé

Nous présenterons dans un premier temps la théorie statistique de l'apprentissage supervisé classique due à Vapnik. Après en avoir précisé les limitations, nous étudierons ses améliorations et extensions récentes. Nous mettrons l'accent sur trois aspects :

- Convexification du risque de classification (support vector machines, boosting).
- Contrôle de la capacité de généralisation, par sélection de modèles ou régularisation (L1 et L2)
- Méthodes de calibration adaptative (pénalités minimales, rééchantillonnage, validation croisée).

Les rappels nécessaires sur les techniques de choix de modèles et les outils de probabilité utilisés seront effectués à mesure afin de rendre ce cours aussi largement accessible avec un minimum de prérequis.

Retour à l'index - Back to index