Apprentissage - 2017/2018

Cours M1 de la filière informatique à l'École normale supérieure

Cours de l'année 2016
Cours de l'année 2015
Cours de l'année 2014
Cours de l'année 2013
Cours de l'année 2012



Enseignants


Ce cours est co-enseigné par deux chercheurs: Francis Bach (responsable du cours) et Pierre Gaillard.

Un chargé de TD assurera les séances pratiques (Aude Genevay).


INSCRIPTION OBLIGATOIRE



Résumé du cours

L'apprentissage statistique est une discipline en plein essor à l'interface de l'informatique et des mathématiques appliquées (probabilités / statistiques, optimisation, etc.) et qui joue aujourd'hui un rôle majeur en matière d'innovation technologique.

À la différence d'un cours de statistique traditionnel, l'apprentissage statistique se préoccupe particulièrement de l'analyse de données de grande dimension ainsi que de l'efficacité des algorithmes pour traiter d'importants volumes de données telles que rencontrées dans des domaines d'applications divers tels l'analyse d'image et du son, le traitement automatique du langage, la bioinformatique ou la finance.

L'objectif du cours est de présenter les théories et algorithmes majeurs de l'apprentissage statistique. Les méthodes abordées reposeront en particulier sur des arguments d'analyse convexe et de statistiques. Les séances de TDs (dont plus de la moitié seront réalisées sur machines) donneront lieu à des implantations simples des algorithmes vus en cours et à une application à différents domaines comme la vision ou le traitement du langage. Ce cours a comme débouché naturel le master M2 MVA de l'ENS de Cachan.

Les seuls pré-requis sont d'être familier avec les fondements de la théorie des probabilités (notion de variables aléatoires, théorèmes de convergence, espérance conditionnelle).



Méthode pédagogique, attendus et critères d'évaluation

L'objectif de ce cours est de mêler
-- théorie (des théorèmes seront prouvés)
-- et pratique (des algorithmes seront à implémenter sur données réelles ou artificielles).

Nous alternerons, dans la mesure du possible,
-- cours magistral,
-- exercices de mise en application ou d'approfondissement (ensemble ou à la maison),
-- codage d'algorithmes (en Matlab).

Ce cours durera 52 heures (30 heures de cours + 22 heures de TDs) et peut être validé pour 9 ECTS.

La note du cours sera déterminée à 40% par l'examen, 40% par un TP à rendre, et 20% par les TDs à finir a la maison.


Notes de cours et déroulement prévisionnel

Les cours auront lieu les vendredis matins, de 8h30 à 12h30, dans la Salle R.
Le déroulement normal sera un cours magistral de 8h30 à 10h20, suivie d'une pause d'environ 20 minutes, et d'un TD de 10h40 à 12h30. Apportez votre portable pour le TD!
Pour utiliser Matlab sur votre portable: vous avez deux options dans le DI:
  1. soit vous installez Matlab directement sur votre portable; pour cela, envoyez un courriel à Jacques Beigbeder du SPI pour les instructions et la licence; en précisant l'OS de votre machine: Windows 32 bits, Windows 64 bits, Linux (64 bits uniquement) ou MacOS (64 bits uniquement)
  2. soit vous utilisez Matlab à distance (par SSH) sur les ordinateurs du DI (pour avoir accès à l'interface graphique vous pouvez utiliser FreeNX qui est très rapide selon Jacques Beigbeder).
15/09 Francis
Francis
2h
2h
Introduction
Apprentissage supervisé

(TP) d'introduction à Python
22/09 Pierre
Aude
2h
2h
Régression linéaire / logistique (+regularisation)
(TP/TD) Régression linéaire / logistique

[Corrigé TP1 (notebook)]
29/09 Pierre
Aude
2h
2h
Plus proches voisins - arbres de decision - forets aleatoires
(TD) K-plus proche voisins

[Corrigé TP2 (notebook)]
06/10 Francis
Aude
2h
2h
Analyse convexe
(TD) Analyse convexe

[Corrigé TD3]
13/10 Francis
Aude
2h
2h
Optimisation convexe
(TD) Optimisation convexe

[Corrigé TP4 (notebook)]
20/10 Pierre
Aude
2h
2h
Théorie, concentration et borne PAC
(TD) Théorie, concentration et borne PAC

[Corrigé TD5]
27/10 Francis
Aude
2h
2h
Méthodes probabilitistes (maximum de vraisemblance)
(TD) Méthodes probabilistes (maximum de vraisemblance)

[Corrigé TD6]
3/11

Pas de classe
10/11 Pierre
Aude
2h
2h
Méthode à noyaux (I)
(TD) Méthode à noyaux (I)

17/11 Pierre
Aude
2h
2h
Méthode à noyaux (II)
(TD) Méthodes à noyaux (II)
24/11 Pierre
Aude
2h
2h
Selection de variable (Lasso)
(TD) Regression LASSO

1/12 Pierre
Aude
2h
2h
Apprentissage Sequentiel - Renforcement
8/12

Pas de classe
15/12 Francis
Aude
2h
2h
Apprentissage non supervise
(TD) Kmeans et PCA
22/12

Pas de classe
29/12

Vacances
5/1

Vacance
12/1 Francis
Aude
2h
2h
Résumé et questions / réponses
Exercices d'entrainement
19/1
4h Exam


Last updated: September 14th, 2017.