Décan AI, rivale de Mercor, obtient 25 millions de dollars en financement et recrute des experts en provenance d'Inde

Fonctions d'activation Sigmoid et ReLU : le coût en inférence de la perte de contexte géométrique

Les réseaux de neurones profonds peuvent être compris comme des systèmes géométriques : chaque couche transforme l'espace d'entrée pour construire des frontières de décision de plus en plus complexes. Une étude comparative récente explore comment deux fonctions d'activation fondamentales, Sigmoid et ReLU (Rectified Linear Unit), influencent cette géométrie interne et, par conséquent, l'efficacité des modèles lors de l'inférence. L'expérience repose sur un jeu de données synthétique classique, le "two-moons", généré avec scikit-learn : 400 points répartis en deux classes non linéairement séparables, avec un bruit de 0,18 pour simuler des conditions réalistes. Les deux architectures sont strictement identiques, même nombre de couches, même largeur, seule la fonction d'activation diffère, ce qui permet une comparaison propre et isolée. Le constat central est le suivant : Sigmoid compresse toutes les valeurs d'entrée dans un intervalle étroit entre 0 et 1. Conséquence directe, les points éloignés des frontières de décision deviennent indiscernables les uns des autres, car l'information sur leur distance à ces frontières est effacée couche après couche. Ce phénomène, appelé perte de contexte géométrique, affaiblit la capacité du réseau à construire des représentations riches en profondeur. ReLU, à l'inverse, conserve la magnitude des entrées positives : l'information de distance continue de circuler à travers les couches, permettant au réseau de rester expressif sans nécessiter une largeur excessive ni une puissance de calcul démesurée. En pratique, cela se traduit par des modèles ReLU plus efficaces à l'inférence et mieux adaptés au passage à l'échelle. Ces observations s'inscrivent dans une évolution plus large du domaine du deep learning. ReLU a progressivement remplacé Sigmoid comme fonction d'activation standard dans les réseaux profonds dès les années 2010, notamment grâce aux travaux fondateurs d'Hinton, LeCun et Bengio sur le problème de la disparition du gradient. Sigmoid souffrait en effet d'un double problème : saturation des gradients lors de la rétropropagation, et perte d'information géométrique lors de la propagation avant. L'étude actuelle met l'accent précisément sur ce second aspect, moins souvent discuté que le premier. Avec la montée en puissance des grands modèles de langage et des architectures à des centaines de milliards de paramètres, l'efficacité à l'inférence est devenue un enjeu industriel majeur. Des variantes de ReLU comme GELU ou SwiGLU, utilisées dans GPT-4 ou LLaMA, héritent de cette même propriété de préservation de l'information, confirmant que le choix de la fonction d'activation reste un levier critique pour la performance et l'économie de calcul des systèmes d'IA modernes.

Subventions de financement pour de nouvelles recherches sur l'IA et la santé mentale

OpenAI offre des subventions allant jusqu'à 2 millions de dollars pour des recherches explorant la convergence de l'IA et de la santé mentale. Le programme finance des projets se concentrant sur les risques, avantages et applications réels pour améliorer la sécurité et le bien-être.

Une startup d'un milliard de dollars avec une vision différente de l'IA

Yann LeCun, ancien directeur scientifique de l'intelligence artificielle chez Meta, a fondé AMI Labs (Advanced Machine Intelligence Labs) après avoir quitté son poste fin 2025. La startup vient de lever un milliard de dollars de financement, une somme remarquable pour une équipe de seulement 12 personnes. LeCun prévoit de ne pas commercialiser de produit avant au moins cinq ans, positionnant AMI Labs comme une organisation de recherche pure. Son approche repose sur des architectures d'IA modulaires composées de plusieurs blocs spécialisés : un modèle du monde propre au domaine d'application, un acteur chargé de proposer des actions via l'apprentissage par renforcement, un module critique qui évalue ces options selon des règles fixes, un système de perception adapté au type de données traité (vidéo, texte, audio), une mémoire à court terme, et un configurateur orchestrant l'ensemble. Chaque instance serait entraînée uniquement sur des données pertinentes à son environnement, contrairement aux grands modèles de langage nourris de l'intégralité du web. Cette approche remet fondamentalement en question le paradigme dominant des LLMs comme GPT ou Claude. Là où ces modèles généralistes mobilisent des centaines de milliards de paramètres et nécessitent une infrastructure colossale pour fonctionner, les modules spécialisés d'AMI Labs pourraient se contenter de quelques centaines de millions de paramètres, voire tourner directement sur un appareil local. Le coût d'entraînement et d'inférence serait alors une fraction de celui des modèles actuels, rendant l'IA viable pour des acteurs qui ne disposent pas des ressources d'Anthropic, OpenAI, Google ou Meta. Pour les entreprises, cela ouvrirait la voie à des systèmes IA déployables en interne, sans dépendance aux grandes plateformes cloud. Le contexte donne tout son poids à cette prise de position. Les LLMs ont absorbé des ressources exponentiellement croissantes à chaque génération, et les techniques d'amélioration récentes, comme le prompting récursif des modèles de raisonnement, alourdissent encore la facture. Seuls de très grands groupes peuvent aujourd'hui se permettre de les exploiter à perte. LeCun, l'un des pères fondateurs du deep learning et lauréat du prix Turing 2018, défend depuis plusieurs années l'idée que les LLMs constituent une impasse pour atteindre une intelligence artificielle véritablement générale. Des précédents existent : les systèmes d'apprentissage automatique capables de maîtriser des jeux vidéo ou de plateau illustrent déjà la puissance des approches ciblées. Si AMI Labs parvient à ses fins, l'industrie pourrait connaître un rééquilibrage majeur, fragmentant un marché aujourd'hui dominé par une poignée d'acteurs disposant de budgets quasi illimités.

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160. Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique. La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

💬 La distillation de connaissances, c'est pas nouveau, Hinton 2015, DistilBERT, tout ça. Ce qui est bien expliqué ici, c'est pourquoi les soft labels avec la mise à l'échelle par température font toute la différence par rapport à un entraînement classique : l'élève apprend les nuances de l'enseignant, pas juste ses réponses binaires. Facteur 160 de compression avec 53% de l'avantage récupéré, c'est le genre de ratio qui explique pourquoi chaque labo qui sort un gros modèle sort aussi une version distillée dans les semaines qui suivent.