NeurIPS 2026 : la conférence où se joue l’avenir scientifique, industriel et géopolitique de l’IA

Fonctions d'activation Sigmoid et ReLU : le coût en inférence de la perte de contexte géométrique

Les réseaux de neurones profonds peuvent être compris comme des systèmes géométriques : chaque couche transforme l'espace d'entrée pour construire des frontières de décision de plus en plus complexes. Une étude comparative récente explore comment deux fonctions d'activation fondamentales, Sigmoid et ReLU (Rectified Linear Unit), influencent cette géométrie interne et, par conséquent, l'efficacité des modèles lors de l'inférence. L'expérience repose sur un jeu de données synthétique classique, le "two-moons", généré avec scikit-learn : 400 points répartis en deux classes non linéairement séparables, avec un bruit de 0,18 pour simuler des conditions réalistes. Les deux architectures sont strictement identiques, même nombre de couches, même largeur, seule la fonction d'activation diffère, ce qui permet une comparaison propre et isolée. Le constat central est le suivant : Sigmoid compresse toutes les valeurs d'entrée dans un intervalle étroit entre 0 et 1. Conséquence directe, les points éloignés des frontières de décision deviennent indiscernables les uns des autres, car l'information sur leur distance à ces frontières est effacée couche après couche. Ce phénomène, appelé perte de contexte géométrique, affaiblit la capacité du réseau à construire des représentations riches en profondeur. ReLU, à l'inverse, conserve la magnitude des entrées positives : l'information de distance continue de circuler à travers les couches, permettant au réseau de rester expressif sans nécessiter une largeur excessive ni une puissance de calcul démesurée. En pratique, cela se traduit par des modèles ReLU plus efficaces à l'inférence et mieux adaptés au passage à l'échelle. Ces observations s'inscrivent dans une évolution plus large du domaine du deep learning. ReLU a progressivement remplacé Sigmoid comme fonction d'activation standard dans les réseaux profonds dès les années 2010, notamment grâce aux travaux fondateurs d'Hinton, LeCun et Bengio sur le problème de la disparition du gradient. Sigmoid souffrait en effet d'un double problème : saturation des gradients lors de la rétropropagation, et perte d'information géométrique lors de la propagation avant. L'étude actuelle met l'accent précisément sur ce second aspect, moins souvent discuté que le premier. Avec la montée en puissance des grands modèles de langage et des architectures à des centaines de milliards de paramètres, l'efficacité à l'inférence est devenue un enjeu industriel majeur. Des variantes de ReLU comme GELU ou SwiGLU, utilisées dans GPT-4 ou LLaMA, héritent de cette même propriété de préservation de l'information, confirmant que le choix de la fonction d'activation reste un levier critique pour la performance et l'économie de calcul des systèmes d'IA modernes.

Recherches en apprentissage automatique d'Apple à l'ICLR 2026

Apple participe cette semaine à la quatorzième édition de l'International Conference on Learning Representations (ICLR 2026), qui se tient à Rio de Janeiro, au Brésil. L'entreprise y est présente en tant que sponsor officiel et y envoie plusieurs de ses chercheurs pour présenter des travaux couvrant un large spectre de sujets en apprentissage automatique et en intelligence artificielle. Ces contributions sont publiées et partagées avec la communauté scientifique internationale, conformément à la politique de diffusion ouverte qu'Apple a renforcée ces dernières années. Cette présence illustre l'ambition croissante d'Apple dans la recherche fondamentale en IA, un domaine où l'entreprise a longtemps été perçue comme moins visible que ses concurrents Google DeepMind, Meta AI ou Microsoft Research. Publier à l'ICLR, l'une des conférences les plus sélectives au monde en apprentissage profond, constitue un signal fort adressé à la communauté académique et au marché des talents, dans un contexte de recrutement intensément compétitif entre les grandes entreprises technologiques. Apple a sensiblement accéléré ses publications scientifiques depuis 2017, après avoir longtemps gardé ses recherches entièrement confidentielles. Cette ouverture progressive vise à attirer des chercheurs de haut niveau qui, dans d'autres structures, peuvent publier librement leurs travaux. L'ICLR 2026 intervient alors qu'Apple intègre davantage de fonctionnalités d'IA générative dans ses produits via Apple Intelligence, ce qui rend ses avancées en ML directement pertinentes pour des centaines de millions d'utilisateurs à travers le monde.

Comprendre l'état actuel de l'IA : ces graphiques sont essentiels

Le rapport annuel AI Index 2026 de l'Institut HAI de l'Université Stanford, publié ce mois-ci, dresse un bilan saisissant de l'état de l'intelligence artificielle mondiale. Malgré les prédictions d'un essoufflement technologique, les modèles de pointe continuent de progresser à un rythme sans précédent. Sur le benchmark SWE-bench Verified, qui mesure les capacités en ingénierie logicielle, les meilleurs scores sont passés d'environ 60 % en 2024 à près de 100 % en 2025. Les modèles atteignent désormais ou dépassent les performances d'experts humains sur des tests de niveau doctorat en sciences, mathématiques et compréhension du langage. L'adoption de l'IA par le grand public progresse plus vite que celle du PC ou d'Internet en leur temps, et les entreprises du secteur génèrent des revenus plus rapidement que lors de n'importe quel autre boom technologique de l'histoire. Le tout, en dépensant des centaines de milliards de dollars en centres de données et en puces électroniques. Cette accélération a des conséquences concrètes et massives. Les centres de données IA dans le monde peuvent désormais consommer 29,6 gigawatts d'électricité, soit l'équivalent de la consommation maximale de l'État de New York. La seule utilisation de GPT-4o d'OpenAI pourrait dépasser annuellement les besoins en eau potable de 12 millions de personnes. La chaîne d'approvisionnement en semi-conducteurs représente une vulnérabilité stratégique majeure : les États-Unis concentrent la majorité des centres de données mondiaux, mais une seule entreprise taïwanaise, TSMC, fabrique la quasi-totalité des puces IA de pointe. Par ailleurs, les benchmarks censés mesurer les progrès de l'IA, les cadres réglementaires et le marché du travail peinent à suivre un secteur qui avance bien plus vite qu'eux. Sur le plan géopolitique, la course entre les États-Unis et la Chine est désormais au coude à coude. En début d'année 2023, OpenAI dominait nettement avec ChatGPT, mais l'écart s'est resserré en 2024 avec l'arrivée des modèles de Google et Anthropic. En février 2025, DeepSeek R1, développé par un laboratoire chinois, a brièvement égalé ChatGPT. En mars 2026, Anthropic prend la tête du classement Arena, suivi de près par xAI, Google et OpenAI, tandis que DeepSeek et Alibaba ne sont qu'à faible distance. Si les États-Unis disposent de modèles plus puissants, de davantage de capitaux et de 5 427 centres de données (dix fois plus que tout autre pays), la Chine domine en publications scientifiques, brevets et robotique. La transparence, elle, recule : OpenAI, Anthropic et Google ne divulguent plus leurs codes d'entraînement ni la taille de leurs modèles, compliquant le travail des chercheurs indépendants en matière de sécurité de l'IA.

💬 SWE-bench à presque 100% en un an, des modèles qui surpassent des experts sur des tests de doctorat, une adoption plus rapide qu'Internet en son temps. Les chiffres Stanford HAI 2026 sont là, vérifiables, pas du storytelling de keynote. Ce qui coince, c'est que pendant que les perfs s'envolent, OpenAI, Anthropic et Google ont discrètement arrêté de publier tailles de modèles et codes d'entraînement, laissant les chercheurs en sécurité IA travailler de plus en plus dans le noir.

ICML 2026 : les nouvelles frontières du machine learning se discutent à Séoul

Séoul accueille du 6 au 12 juillet 2026 la 43e édition de l'International Conference on Machine Learning (ICML), l'une des conférences scientifiques les plus influentes au monde dans le domaine de l'intelligence artificielle. Organisée dans la capitale sud-coréenne, cet événement rassemble chaque année des milliers de chercheurs, ingénieurs et représentants de l'industrie venus présenter et débattre des dernières avancées en apprentissage automatique. L'édition 2026 marque la première fois que la conférence se tient en Corée du Sud, témoignant de la montée en puissance de l'Asie dans l'écosystème mondial de la recherche en IA. ICML est un point de convergence incontournable pour la communauté scientifique : les papiers acceptés y définissent souvent les directions de recherche pour les années suivantes. Les grandes entreprises tech, Google DeepMind, Meta AI, Microsoft Research, Anthropic, y dévoilent des travaux qui alimentent directement leurs produits. Pour les chercheurs académiques, une publication à ICML constitue une validation de premier rang, et la conférence sert de baromètre pour identifier les tendances émergentes, des architectures de modèles aux questions d'alignement et d'efficacité computationnelle. Le choix de Séoul s'inscrit dans une dynamique plus large de reconnaissance des pôles asiatiques d'excellence en IA, la Corée du Sud investissant massivement dans ce secteur via des géants comme Samsung et LG, mais aussi via des startups et universités de rang mondial. ICML 2026 devrait notamment concentrer des débats autour des modèles multimodaux, de l'IA générative post-transformeurs et des approches d'apprentissage à faible coût énergétique, des enjeux devenus centraux dans un contexte de pression croissante sur les ressources de calcul.