Titre : Biais implicite et factorisation de matrices 

Encadrant : Gabriel Peyré <gabriel.peyre@ens.fr> (DMA)

Résumé : Un des ingrédients essentiels de l'apprentissage automatique est l'optimisation de fonctionnelles non-convexes avec un très grand nombre de paramètres. Dans ce cadre où le nombre de parmètres est très grand, la solution du problème d'optimisation n'est souvent pas unique, est il est important de comprendre la solution particulière sélectionnée par un algorithme, par exemple la descente de gradient. On appelle ceci le biais implicite de l'algorithme, et ce biais explique en partie les performances observées en pratique. Le but de ce projet est d'étudier un problème simple, la factorisation de matrices, qui correspond à une idéalisation où l'on considère des réseaux de neurones sans non-linéarité. Dans ce cadre, le papier [1] a énoncé une conjecture sur le biais implicite, mais cette conjecture a été ensuite réfutée [2]. Le projet étudiera théoriquement et numériquement ce problème. 

Références : 
[1] Implicit Regularization in Matrix Factorization, Suriya Gunasekar, Blake Woodworth, Srinadh Bhojanapalli, Behnam Neyshabur, Nathan Srebro, https://arxiv.org/abs/1705.09280
[2] Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning, Zhiyuan Li, Yuping Luo, Kaifeng Lyu, https://arxiv.org/abs/2012.09839