Apprentissage - 2016

Cours M1 de la filière informatique à l'École normale supérieure

Cours de l'année 2015
Cours de l'année 2014
Cours de l'année 2013
Cours de l'année 2012



Enseignants


Ce cours est co-enseigné par deux chercheurs: Francis Bach (responsable du cours) et Jean-Philippe Vert.

Un chargé de TD assurera les séances pratiques (Jean-Baptiste Alayrac).


INSCRIPTION OBLIGATOIRE



Résumé du cours

L'apprentissage statistique est une discipline en plein essor à l'interface de l'informatique et des mathématiques appliquées (probabilités / statistiques, optimisation, etc.) et qui joue aujourd'hui un rôle majeur en matière d'innovation technologique.

À la différence d'un cours de statistique traditionnel, l'apprentissage statistique se préoccupe particulièrement de l'analyse de données de grande dimension ainsi que de l'efficacité des algorithmes pour traiter d'importants volumes de données telles que rencontrées dans des domaines d'applications divers tels l'analyse d'image et du son, le traitement automatique du langage, la bioinformatique ou la finance.

L'objectif du cours est de présenter les théories et algorithmes majeurs de l'apprentissage statistique. Les méthodes abordées reposeront en particulier sur des arguments d'analyse convexe et de statistiques. Les séances de TDs (dont plus de la moitié seront réalisées sur machines) donneront lieu à des implantations simples des algorithmes vus en cours et à une application à différents domaines comme la vision ou le traitement du langage. Ce cours a comme débouché naturel le master M2 MVA de l'ENS de Cachan.

Les seuls pré-requis sont d'être familier avec les fondements de la théorie des probabilités (notion de variables aléatoires, théorèmes de convergence, espérance conditionnelle).



Méthode pédagogique, attendus et critères d'évaluation

L'objectif de ce cours est de mêler
-- théorie (des théorèmes seront prouvés)
-- et pratique (des algorithmes seront à implémenter sur données réelles ou artificielles).

Nous alternerons, dans la mesure du possible,
-- cours magistral,
-- exercices de mise en application ou d'approfondissement (ensemble ou à la maison),
-- codage d'algorithmes (en Matlab).

Ce cours durera 52 heures (30 heures de cours + 22 heures de TDs) et peut être validé pour 9 ECTS.

La note du cours sera déterminée à 40% par l'examen, 40% par un TP à rendre, et 20% par les TDs à finir a la maison.


Notes de cours et déroulement prévisionnel

Les cours auront lieu les vendredis matins, de 8h30 à 12h30, dans la Salle R.
Le déroulement normal sera un cours magistral de 8h30 à 10h20, suivie d'une pause d'environ 20 minutes, et d'un TD de 10h40 à 12h30. Apportez votre portable pour le TD!
Pour utiliser Matlab sur votre portable: vous avez deux options dans le DI:
  1. soit vous installez Matlab directement sur votre portable; pour cela, envoyez un courriel à Jacques Beigbeder du SPI pour les instructions et la licence; en précisant l'OS de votre machine: Windows 32 bits, Windows 64 bits, Linux (64 bits uniquement) ou MacOS (64 bits uniquement)
  2. soit vous utilisez Matlab à distance (par SSH) sur les ordinateurs du DI (pour avoir accès à l'interface graphique vous pouvez utiliser FreeNX qui est très rapide selon Jacques Beigbeder).
16/09 Francis
Francis
2h
2h
Introduction
Apprentissage supervisé

(TP) d'introduction à Matlab
23/09 JP
JB
2h
2h
Plus proches voisins
(TD) Regression Lineaire et polynomiale
[Correction TD] [Matlab] [Python notebook]
30/09 JP
JB
2h
2h
Théorème de Stone / sélection de modèles
(TD) K-plus proche voisins
[Correction TD] [Matlab] [Python notebook]
7/10

Pas de classe
14/10 Francis
JB
2h
2h
Analyse convexe
(TD) Analyse convexe
[Correction TD]
11/10

Pas de classe
28/10 Francis
JB
2h
2h
Optimisation convexe
(TD) Optimisation convexe
[Correction TD] [Matlab] [Python notebook]
4/11 JP
JB
2h
2h
Théorie, concentration et borne PAC
(TD) Théorie, concentration et borne PAC
[Correction TD]
18/11 Francis
JB
2h
2h
Méthodes probabilitistes (maximum de vraisemblance)
(TD) Méthodes probabilistes (maximum de vraisemblance)
[Correction TD]
25/11 JP
JB
2h
2h
Régression linéaire / logistique (+regularisation)
(TP/TD) Régression linéaire / logistique
2/12 JP
JB
2h
2h
Méthode à noyaux (I)
(TD) Méthode à noyaux (I)
[Correction TD]
9/12

Pas de classe
16/12 JP
JB
2h
2h
Méthode à noyaux (II)
(TD) Méthodes à noyaux (II)
23/12

Vacances
30/12

Vacances
6/1 Francis
JB
2h
2h
Classification linéaire par pertes convexes
(TD) Kmeans et PCA
13/1 Francis
JB
2h
2h
Résumé et questions / réponses
Exercises d'entrainement


Last updated: September 5th, 2016.