Théorie de l'information et du codage

Horaires

Intervenants

Si vous avez des questions, n'hésitez pas à leur envoyer un mail : prenom.nom@ens.fr

Plan du cours

Cours du 10 février : Entropie, ensembles typiques

  1. Introduction
  2. Entropie, entropie conditionnelle, information mutuelle
  3. Ensembles typiques, application au codage/compression avec perte

Cours du 17 février : Codage pour des sources discrètes

  1. Codes, codes instantanés
  2. Théorème de codage de source
  3. Codage de Huffman, optimalité

Cours du 24 février : Codage de souces universel

  1. Codage universel d'une suite binaire
  2. Codage par automate fini
  3. Algortihme de Lempel-Ziv

Cours du 3 mars : Entropie, entropie relative et information mutuelle

Cours du 17 mars : capacité d'un canal discret sans mémoire

  1. Capacité d'un canal, fonction coût-capacité
  2. Théorème de Shannon

Cours du 24 mars : codage de source et fonction taux-distorsion

  1. Fin de la preuve du théorème de Shannon de codage de canal
  2. Fonction taux-distorsion, propriétés

Cours du 31 mars : Théorème de codage source-canal

  1. Théorème de codage de source
  2. Théorème de codage source-canal

Cours du 7 avril : complexité de Kolmogorov

  1. Modèle et exemples
  2. Liens avec l'entropie
  3. Complexité des entiers : incompressibilité et non-calculabilité
  4. probabilité universelle

Cours du 14 avril : Codes linéaires, codes de Hamming

  1. Décodage par maximum de vraisemblance
  2. Géométrie de Hamming et codes correcteurs d'erreur
  3. Codes linéaires : matrice génératrice, matrice de parité
  4. Décodage par syndrome

Notes de cours

Feuilles de TDs

Devoirs maison

L'évaluation se fait par devoir maisons.

Références

  1. Elements of Information Theory, T.M. Cover and J.A. Thomas.
  2. Information theory and reliable communications, R.G. Gallager.
  3. The Theory of Information and Coding, R.J. McEliece.
  4. The Theory of error-correcting codes, F.J. MacWilliams and N.J.A. Sloane.
  5. Information Theory, Inference, and Learning Algorithms, D MacKay (liens vers des programmes implémentant différents codages)

Pages des années précédentes