RechercheMarkTechPost1h

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

1 source couvre ce sujet·Source originale ↗·

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160.

Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique.

La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

À lire aussi

1MarkTechPost

Alibaba lance VimRAG, un framework RAG multimodal avec graphe de mémoire pour les grands contextes visuels

Les chercheurs du Tongyi Lab d'Alibaba Group ont publié VimRAG, un nouveau cadre de travail conçu pour résoudre les limitations des systèmes de Retrieval-Augmented Generation (RAG) face aux données visuelles. Là où les approches classiques accumulent un historique linéaire croissant ou compriment les observations passées en résumés textuels, VimRAG modélise le raisonnement sous forme de graphe orienté acyclique dynamique. Chaque nœud du graphe encode une sous-requête décomposée, un résumé textuel concis, et une banque de tokens visuels extraits des documents ou vidéos récupérés. Le système a été évalué avec le modèle Qwen3-VL-30B sur un corpus vidéo, et trois études préliminaires ont guidé l'architecture finale. La méthode de mémoire visuelle sémantique sélective développée atteint 58,2 % de précision sur les tâches images et 43,7 % sur les tâches vidéo, en n'utilisant que 2 700 tokens en moyenne, contre 15 800 pour les approches retenant l'intégralité des tokens visuels bruts. Ces résultats sont significatifs car ils s'attaquent à deux problèmes fondamentaux qui paralysaient les agents RAG multimodaux jusqu'ici. Le premier est la "cécité d'état" : les agents qui résument itérativement leurs observations perdent la trace des requêtes déjà effectuées, ce qui les conduit à répéter les mêmes recherches dans des scénarios de raisonnement multi-étapes. Le second est le rapport signal/bruit : stocker les tokens visuels bruts noie l'information pertinente dans une masse de données inutiles. Le graphe de mémoire de VimRAG résout les deux problèmes simultanément, réduisant les actions de recherche redondantes tout en conservant les détails fins nécessaires à la vérification des réponses, une capacité critique pour des applications comme l'analyse de documents techniques ou la compréhension de vidéos longues. Le développement de VimRAG s'inscrit dans une course mondiale à la maîtrise du raisonnement multimodal, où les acteurs majeurs, OpenAI avec GPT-4o, Google avec Gemini, et Meta avec ses modèles Llama Vision, cherchent tous à aller au-delà de la simple compréhension d'images isolées vers un raisonnement complexe sur des corpus visuels massifs. Alibaba positionne ici Tongyi Lab comme un contributeur de premier plan à la recherche fondamentale en IA, après la sortie remarquée de la série Qwen3. La troisième composante de VimRAG porte sur l'entraînement par renforcement : les chercheurs ont montré qu'environ 80 % des étapes dans les trajectoires positives standard contiennent du bruit qui fausse les gradients d'apprentissage, et que supprimer les étapes redondantes des trajectoires négatives restaure entièrement les performances. L'article complet est disponible sur arXiv (2602.12735).

RecherchePaper

1 source

2Le Big Data

Le Québec mobilise des fonds pour faire de Montréal un leader mondial de l’intelligence artificielle

Le gouvernement du Québec a annoncé un investissement de 36 millions de dollars en faveur de Mila, l'Institut québécois d'intelligence artificielle basé à Montréal. Ce financement s'inscrit dans une stratégie d'innovation quinquennale dotée d'un budget total de 7,5 milliards de dollars, dans le cadre de laquelle Québec s'était engagé à verser jusqu'à 80 millions de dollars à Mila sur cinq ans à compter de 2018. Au total, depuis 2017, la province a injecté plus de 700 millions de dollars dans la recherche, le développement et l'intégration de l'IA dans divers secteurs économiques. En parallèle, ScaleAI, une supergrappe fédérale installée à Montréal, a mobilisé des fonds supplémentaires pour accélérer l'adoption de l'IA par les entreprises locales, notamment en augmentant les capacités de calcul et en attirant des chercheurs internationaux. Cet engagement financier positionne Montréal comme prétendant sérieux au titre de capitale mondiale de l'IA, aux côtés de San Francisco, Londres et Singapour. Pour Mila, l'un des pôles de recherche en apprentissage automatique les plus réputés au monde, ce financement représente la possibilité de renforcer son rôle d'institut de recherche de référence et d'intensifier son accompagnement des entreprises québécoises dans leur transformation numérique. Au-delà de la recherche pure, les retombées sont concrètes : l'IA est déjà intégrée dans la finance, les services publics, la santé et d'autres secteurs stratégiques. L'écosystème montréalais bénéficie également d'une offre de formation en expansion, d'un réseau académique solide et de la capacité à recruter des talents étrangers, trois atouts que cet investissement est destiné à amplifier. Montréal n'est pas novice dans la course à l'IA. La ville s'est imposée dès les années 2010 comme un centre mondial en apprentissage automatique, portée notamment par les travaux de Yoshua Bengio, cofondateur de Mila et figure pionnière du deep learning. La stratégie québécoise s'appuie sur cet héritage académique pour construire une filière industrielle complète, alliant recherche fondamentale, formation de haut niveau et déploiement sectoriel. L'ambition est clairement géopolitique : dans un contexte où les États-Unis, la Chine et l'Union européenne se livrent une concurrence féroce pour dominer l'IA, le Québec entend faire valoir sa spécificité, notamment son approche ancrée dans l'éthique et la recherche ouverte. Les prochaines années seront déterminantes pour savoir si Montréal parvient à transformer ses avantages académiques en leadership économique durable face à des écosystèmes disposant de ressources financières bien supérieures.

UELa montée en puissance de Montréal comme concurrent direct des hubs européens de recherche en IA intensifie la pression sur l'UE pour consolider ses propres écosystèmes et éviter une fuite des talents vers l'Amérique du Nord.

RechercheOpinion

1 source

3InfoQ AI

Construire des systèmes RAG multi-agents hiérarchiques avec raisonnement multimodal et récupération autonome des erreurs

Les systèmes RAG agentiques hiérarchiques représentent une nouvelle approche pour automatiser l'analyse de données complexes en entreprise. Dans un article publié récemment, Abhijit Ubale détaille comment ces architectures coordonnent des agents spécialisés, chacun dédié à un type de source ou de raisonnement, sous la supervision d'un orchestrateur central. Le cadre présenté, appelé Protocol-H, illustre concrètement ce modèle : les requêtes sont acheminées de façon déterministe vers les bons agents, qui peuvent interroger simultanément des bases vectorielles, des documents structurés ou des données multimodales comme des images et des tableaux. Ce qui distingue cette approche des RAG classiques, c'est la capacité de récupération autonome en cas d'erreur. Lorsqu'un agent produit un résultat insuffisant ou incohérent, le système déclenche automatiquement une boucle de réessai réflexif sans intervention humaine. Pour les équipes analytiques en entreprise, cela réduit drastiquement les interruptions de pipeline et améliore la fiabilité des réponses sur des requêtes complexes à sources multiples. La traçabilité est également renforcée : chaque décision de routage est journalisée, ce qui facilite l'auditabilité des workflows. Ce type d'architecture s'inscrit dans une tendance de fond qui dépasse les RAG simples pour aller vers des systèmes multi-agents capables de raisonner sur des données hétérogènes. Alors que les entreprises cherchent à déployer des pipelines IA fiables en production, les questions de robustesse, de contrôle et d'explicabilité deviennent centrales. Protocol-H propose une réponse concrète, mais sa généralisation dépendra de la capacité des équipes à maintenir des orchestrateurs complexes à grande échelle.

RecherchePaper

1 source

4MarkTechPost

Fonctions d'activation Sigmoid et ReLU : le coût en inférence de la perte de contexte géométrique

Les réseaux de neurones profonds peuvent être compris comme des systèmes géométriques : chaque couche transforme l'espace d'entrée pour construire des frontières de décision de plus en plus complexes. Une étude comparative récente explore comment deux fonctions d'activation fondamentales, Sigmoid et ReLU (Rectified Linear Unit), influencent cette géométrie interne et, par conséquent, l'efficacité des modèles lors de l'inférence. L'expérience repose sur un jeu de données synthétique classique, le "two-moons", généré avec scikit-learn : 400 points répartis en deux classes non linéairement séparables, avec un bruit de 0,18 pour simuler des conditions réalistes. Les deux architectures sont strictement identiques, même nombre de couches, même largeur, seule la fonction d'activation diffère, ce qui permet une comparaison propre et isolée. Le constat central est le suivant : Sigmoid compresse toutes les valeurs d'entrée dans un intervalle étroit entre 0 et 1. Conséquence directe, les points éloignés des frontières de décision deviennent indiscernables les uns des autres, car l'information sur leur distance à ces frontières est effacée couche après couche. Ce phénomène, appelé perte de contexte géométrique, affaiblit la capacité du réseau à construire des représentations riches en profondeur. ReLU, à l'inverse, conserve la magnitude des entrées positives : l'information de distance continue de circuler à travers les couches, permettant au réseau de rester expressif sans nécessiter une largeur excessive ni une puissance de calcul démesurée. En pratique, cela se traduit par des modèles ReLU plus efficaces à l'inférence et mieux adaptés au passage à l'échelle. Ces observations s'inscrivent dans une évolution plus large du domaine du deep learning. ReLU a progressivement remplacé Sigmoid comme fonction d'activation standard dans les réseaux profonds dès les années 2010, notamment grâce aux travaux fondateurs d'Hinton, LeCun et Bengio sur le problème de la disparition du gradient. Sigmoid souffrait en effet d'un double problème : saturation des gradients lors de la rétropropagation, et perte d'information géométrique lors de la propagation avant. L'étude actuelle met l'accent précisément sur ce second aspect, moins souvent discuté que le premier. Avec la montée en puissance des grands modèles de langage et des architectures à des centaines de milliards de paramètres, l'efficacité à l'inférence est devenue un enjeu industriel majeur. Des variantes de ReLU comme GELU ou SwiGLU, utilisées dans GPT-4 ou LLaMA, héritent de cette même propriété de préservation de l'information, confirmant que le choix de la fonction d'activation reste un levier critique pour la performance et l'économie de calcul des systèmes d'IA modernes.

RecherchePaper

1 source