Théorie de l'information et du codage
Horaires
- Cours : mardi de 8h45 à 10h45 en salle U/V
- TD : mardi de 10h45 à 12h45 en salle U/V
- Evaluation du cours : l'évaluation se fera par un DM, un TP et la
lecture d'un article.
Intervenants
- Anne Bouillard (1ère
partie du cours et TD)
- Gilles Wainrib (2nde partie du cours et TD)
Si vous avez des questions, n'hésitez pas à leur envoyer un mail : prenom.nom@ens.fr
Devoirs maison
à rendre pour le 29 mars : DM
Plan du cours
Cours du 9 février : Entropie, ensembles typiques
- Introduction
- Entropie, entropie conditionnelle, information mutuelle
- Ensembles typiques, application au codage/compression avec perte
Cours du 16 février : Codage pour des sources discrètes
- Codes, codes instantanés
- Théorème de codage de source
- Codage de Huffman, optimalité, codage de Huffman adaptatif
Cours du 23 février : Codage de souces universel
- Codage universel d'une suite binaire
- Codage par automate fini
- Algortihme de Lempel-Ziv
Cours du 1er mars : complexité de Kolmogorov
- Modèle et exemples
- Liens avec l'entropie
- Complexité des entiers : incompressibilité et non-calculabilité
- probabilité universelle
Cours du 8 mars : Entropie, entropie relative et information mutuelle
Notes de cours
Feuilles de TDs
- TD1 du 9 février : entropie et information mutuelle
- TD2 du 16 février : Codage de source
discrète
- TD3 du 23 février : Codage de source
discrète
- TD4 du 1er mars : Entropie et jeu, distance de Kullback-Leibler
- TD5 du 8 mars : Entropie différentielle
Références
- Elements of Information Theory, T.M. Cover and J.A. Thomas.
- Information theory and reliable communications, R.G. Gallager.
- The Theory of Information and Coding, R.J. McEliece.
- The Theory of error-correcting codes, F.J. MacWilliams and N.J.A. Sloane.
-
Information Theory, Inference, and Learning Algorithms, D MacKay
(liens vers des programmes implémentant différents codages)
Pages des années précédentes