Apprentissage - 2018/2019

Cours M1 de la filière informatique à l'École normale supérieure

Cours de l'année 2017
Cours de l'année 2016
Cours de l'année 2015
Cours de l'année 2014
Cours de l'année 2013
Cours de l'année 2012



Enseignants


Ce cours est co-enseigné par deux chercheurs: Francis Bach (responsable du cours) et Pierre Gaillard.

Un chargé de TD assurera les séances pratiques (Aude Genevay).


INSCRIPTION OBLIGATOIRE



Résumé du cours

L'apprentissage statistique est une discipline en plein essor à l'interface de l'informatique et des mathématiques appliquées (probabilités / statistiques, optimisation, etc.) et qui joue aujourd'hui un rôle majeur en matière d'innovation technologique.

À la différence d'un cours de statistique traditionnel, l'apprentissage statistique se préoccupe particulièrement de l'analyse de données de grande dimension ainsi que de l'efficacité des algorithmes pour traiter d'importants volumes de données telles que rencontrées dans des domaines d'applications divers tels l'analyse d'image et du son, le traitement automatique du langage, la bioinformatique ou la finance.

L'objectif du cours est de présenter les théories et algorithmes majeurs de l'apprentissage statistique. Les méthodes abordées reposeront en particulier sur des arguments d'optimisation et de statistiques. Les séances de TDs (dont plus de la moitié seront réalisées sur machines) donneront lieu à des implantations simples des algorithmes vus en cours et à une application à différents domaines comme la vision ou le traitement du langage. Ce cours a comme débouché naturel le master M2 MVA de l'ENS de Cachan.

Les seuls pré-requis sont d'être familier avec les fondements de la théorie des probabilités (notion de variables aléatoires, théorèmes de convergence, espérance conditionnelle) et d'avoir une experience de code en Python ou R.



Méthode pédagogique, attendus et critères d'évaluation

L'objectif de ce cours est de mêler
-- théorie (quelques théorèmes seront prouvés)
-- et pratique (des algorithmes seront à implémenter sur données réelles ou artificielles).

Nous alternerons, dans la mesure du possible,
-- cours magistral,
-- exercices de mise en application ou d'approfondissement (ensemble ou à la maison),
-- codage d'algorithmes (en Python ou Matlab).

Ce cours durera 52 heures (30 heures de cours + 22 heures de TDs) et peut être validé pour 9 ECTS.

La note du cours sera déterminée à 40% par l'examen, 40% par un TP à rendre, et 20% par les TDs à finir a la maison.


Notes de cours et déroulement prévisionnel

Les cours auront lieu les vendredis matins, de 8h30 à 12h30, dans differentes salles
Le déroulement normal sera un cours magistral de 8h30 à 10h20, suivie d'une pause d'environ 20 minutes, et d'un TD de 10h40 à 12h30. Apportez votre portable pour le TD!
Pour utiliser Matlab sur votre portable: vous avez deux options dans le DI:
  1. soit vous installez Matlab directement sur votre portable; pour cela, envoyez un courriel à Jacques Beigbeder du SPI pour les instructions et la licence; en précisant l'OS de votre machine: Windows 32 bits, Windows 64 bits, Linux (64 bits uniquement) ou MacOS (64 bits uniquement)
  2. soit vous utilisez Matlab à distance (par SSH) sur les ordinateurs du DI (pour avoir accès à l'interface graphique vous pouvez utiliser FreeNX qui est très rapide selon Jacques Beigbeder).
14/09
Salle Conference
46, rue d'Ulm
Francis
Francis
2h
2h
Introduction
Apprentissage supervisé

(TP) d'introduction à Python
21/09
Salle Conference
46, rue d'Ulm
Pierre
Aude
2h
2h
Régression linéaire / logistique (+regularisation)
(TP/TD) Régression linéaire / logistique

28/09
Salle Conference
46, rue d'Ulm
Pierre
Aude
2h
2h
Apprentissage non supervise
(TD) Kmeans et PCA

05/10
Salle des Actes
45, rue d'Ulm


Pas de classe
12/10
Salle des Actes
45, rue d'Ulm
Pierre
Aude
2h
2h
Plus proches voisins
(TD) K-plus proche voisins

19/10
Salle des Actes
45, rue d'Ulm
Francis
Aude
2h
2h
Analyse convexe
(TD) Analyse convexe

26/10
Salle des Actes
45, rue d'Ulm
Francis
Aude
2h
2h
Optimisation convexe
(TD) Optimisation convexe

2/11

Pas de classe
9/11
salle 235 A
29, rue d'Ulm
Pierre
Aude
2h
2h
Théorie, concentration et borne PAC
(TD) Théorie, concentration et borne PAC
16/11
salle 235 A
29, rue d'Ulm
Pierre
Aude
2h
2h
Méthodes probabilitistes (maximum de vraisemblance)
(TD) Méthodes probabilistes (maximum de vraisemblance)

23/11
salle 235 A
29, rue d'Ulm
Pierre
Aude

Selection de variable (Lasso)
(TD) Regression LASSO

30/11
salle 235 A
29, rue d'Ulm
Pierre
Aude

Apprentissage Séquentiel
(TD) Multi-armed Bandits

7/12

Pas de classe
14/12
salle 235 A
29, rue d'Ulm
Francis
Aude
2h
2h
Méthode à noyaux (I)
(TD) Méthode à noyaux (I)

21/12
salle 235 A
29, rue d'Ulm
Francis
Aude
2h
2h
Méthode à noyaux (II)
(TD) Méthodes à noyaux (II)
28/12

Vacances
4/1
salle 235 A
29, rue d'Ulm


Vacances
11/1
salle 235 A
29, rue d'Ulm
Francis
Aude
2h
2h
Réseaux de Neurones
(TD) Classification binaire avec un réseau à 1 couche cachée
18/1
salle 235 A
29, rue d'Ulm
Francis
Aude

Résumé et questions / réponses
Exercices d'entrainement
25/1
salle 235 B
29, rue d'Ulm

3h Exam with solutions


Last updated: February 1st, 2019.