Hamed Karimi reçoit le prix Test-of-Time de l'ECML PKDD
Lors de la conférence ECML PKDD (European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases), organisée le mois dernier à Naples, Hamed Karimi, chercheur appliqué senior chez Amazon, et ses coauteurs ont reçu le prix Test-of-Time 2026. Cette distinction récompense des travaux publiés dix ans plus tôt et dont l'influence reste forte. L'article primé, paru en 2016, s'intitule « Linear convergence of gradient and proximal-gradient methods under the Polyak, Łojasiewicz condition ». Il a été rédigé avec Julie Nutini et Mark Schmidt, alors que Karimi était chercheur postdoctoral à l'Université de Colombie-Britannique. Les auteurs y montrent que la condition de Polyak-Łojasiewicz, une inégalité mathématique datant de 1963 et largement ignorée en apprentissage automatique, permet de prouver que la descente de gradient, méthode standard d'entraînement des modèles, s'approche rapidement des meilleures solutions, même lorsque plusieurs solutions sont équivalentes. « Nous ne nous attendions pas à ce que cet article fasse du bruit », confie Karimi. Il a depuis été cité plus de 2 000 fois et figure dans des manuels de master et de doctorat.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'enjeu est de combler l'écart entre la pratique et la théorie. Entraîner un modèle revient à ajuster ses milliards de paramètres pour minimiser une fonction de perte, ce que l'on peut se représenter comme la descente d'un relief jusqu'à son point le plus bas. La théorie garantissait une convergence linéaire, où l'erreur diminue d'une fraction constante à chaque pas, uniquement pour des reliefs en forme de cuvette strictement convexe, avec un unique minimum. Or les grands modèles de langage possèdent bien plus de paramètres que de données d'entraînement utiles, si bien que le fond du relief est une vallée plate et non un point unique. Ces modèles s'entraînent bien en pratique, mais la théorie ne pouvait ni expliquer pourquoi ni dire à quelle vitesse. Des chercheurs ont depuis repris des variantes de la méthode du papier pour redériver des garanties pour pratiquement tous les algorithmes d'optimisation standard, et elle sert d'outil pour analyser de nouvelles méthodes d'entraînement.
Au milieu des années 2010, environ vingt-cinq ans de travaux avaient produit de nombreuses conditions plus faibles que la convexité, chacune avec son nom, ses notations et son article, sans que personne n'ait clarifié leurs liens. Karimi, Nutini et Schmidt ont établi ces relations et montré que la condition de Polyak-Łojasiewicz, publiée en 1963 par Boris Polyak dans un article en russe, était l'une des plus générales et des plus utiles. Ce travail a ainsi réorganisé un domaine jusque-là éparpillé. Il s'inscrit dans le contexte plus large d'une théorie de l'optimisation qui cherche à rendre compte du succès empirique de l'apprentissage profond, alors que les modèles ne cessent de grossir et que leurs comportements dépassent souvent les garanties disponibles.
La conférence ECML PKDD, grand rendez-vous européen du domaine, a décerné ce prix à Naples, mais l'impact concret sur la France/UE reste indirect.