Aller au contenu principal
Le Fil IALe Fil IA
Google AI publie Auto-Diagnose : un système basé sur des LLM pour diagnostiquer les échecs de tests d'intégration à grande échelle
RechercheMarkTechPost3h

Google AI publie Auto-Diagnose : un système basé sur des LLM pour diagnostiquer les échecs de tests d'intégration à grande échelle

1 source couvre ce sujet·Source originale ↗·

Une équipe de chercheurs de Google a publié Auto-Diagnose, un outil basé sur le modèle Gemini 2.5 Flash qui analyse automatiquement les logs d'échecs de tests d'intégration, identifie la cause racine et poste un diagnostic structuré directement dans l'interface de revue de code interne de Google, appelée Critique. Évalué manuellement sur 71 pannes réelles couvrant 39 équipes distinctes, l'outil a correctement identifié la cause racine dans 90,14 % des cas. À grande échelle, il a déjà tourné sur 52 635 tests défaillants distincts, représentant 224 782 exécutions sur 131 130 changements de code écrits par 22 962 développeurs différents. Le taux de retours négatifs ("Not helpful") n'atteint que 5,8 %, tandis que 84,3 % des 517 retours reçus correspondent à des demandes "Please fix" de la part de reviewers, signe que les diagnostics sont jugés suffisamment fiables pour déclencher une action immédiate.

L'enjeu est concret : diagnostiquer un échec de test d'intégration est structurellement plus difficile que de déboguer un test unitaire. Dans une enquête interne menée auprès de 116 développeurs Google, 38,4 % des échecs de tests d'intégration prenaient plus d'une heure à diagnostiquer, et 8,9 % plus d'une journée, contre respectivement 2,7 % et 0 % pour les tests unitaires. La raison est simple : les logs du pilote de test n'exposent généralement qu'un symptôme générique, un timeout ou une assertion échouée, tandis que l'erreur réelle est enfouie dans l'un des nombreux composants du système testé. Auto-Diagnose résout ce problème en agrégeant tous les logs, les triant par horodatage en un flux unique, puis en guidant le modèle via un protocole explicite étape par étape pour remonter à la source réelle de l'échec.

Sur le plan technique, le système fonctionne sans fine-tuning : Gemini 2.5 Flash est appelé avec une température de 0,1 pour des résultats quasi-déterministes, à partir d'un prompt d'ingénierie pur incluant des contraintes négatives strictes, par exemple l'interdiction de tirer une conclusion si les logs du composant fautif sont absents. Chaque exécution consomme en moyenne 110 617 tokens en entrée et produit 5 962 tokens en sortie, avec une latence médiane de 56 secondes et un 90e percentile à 346 secondes, suffisamment rapide pour que le développeur voie le diagnostic avant de changer de contexte. Ce travail illustre une tendance plus large chez les grands groupes technologiques : utiliser les LLM non pas pour écrire du code, mais pour absorber la complexité observationnelle des systèmes distribués, là où l'humain peine à tenir l'ensemble des signaux en tête simultanément.

À lire aussi

De l'entraînement à l'inférence : comment optimiser votre budget de calcul IA de bout en bout
1VentureBeat AI 

De l'entraînement à l'inférence : comment optimiser votre budget de calcul IA de bout en bout

Des chercheurs des universités du Wisconsin-Madison et de Stanford ont publié un cadre théorique appelé Train-to-Test (T²) scaling laws, qui remet en question les règles d'entraînement des grands modèles de langage en vigueur depuis des années. Leur approche démontre qu'il est plus efficace, sur le plan computationnel, d'entraîner des modèles nettement plus petits sur des volumes de données bien plus importants que ce que préconisent les standards actuels, puis d'utiliser les ressources ainsi économisées pour générer plusieurs échantillons de raisonnement au moment de l'inférence. La règle Chinchilla, référence dominante du secteur depuis 2022, recommande environ 20 tokens d'entraînement par paramètre de modèle. Les concepteurs de familles comme Llama, Gemma ou Qwen s'en écartent déjà délibérément en surinformant leurs modèles compacts, mais sans cadre rigoureux pour calibrer ce surplus. Le framework T² comble précisément ce vide en traitant comme une équation unifiée trois variables jusqu'ici étudiées séparément : la taille du modèle (N), le volume de tokens d'entraînement (D) et le nombre d'échantillons générés à l'inférence (k). L'impact concret est significatif pour les entreprises qui développent leurs propres modèles ou déploient des workflows agentiques complexes. Comme l'explique Nicholas Roberts, co-auteur de l'article, la pile d'inférence se grippe lorsque chaque appel individuel est coûteux, ce qui arrive systématiquement avec de grands modèles nécessitant un échantillonnage répété. Avec des modèles plus compacts mais surinformés, ce même échantillonnage multiple devient accessible à une fraction du coût. Pour les développeurs d'applications d'IA en entreprise, cela signifie qu'il n'est pas nécessaire de s'appuyer sur des modèles frontières onéreux pour obtenir des performances élevées sur des tâches complexes : des modèles plus petits, correctement entraînés et utilisés avec des stratégies d'inférence adaptées, peuvent surpasser des modèles bien plus larges tout en maintenant des coûts par requête maîtrisables. Ce travail s'inscrit dans une tension croissante entre deux écoles de pensée dans la recherche sur les LLM : celle qui mise sur l'augmentation continue de la taille des modèles à l'entraînement, et celle qui explore le potentiel du calcul au moment de l'inférence. Les lois d'échelle de préentraînement et de test-time scaling avaient jusqu'ici été développées en silo, malgré leur interdépendance fondamentale : la taille et la durée d'entraînement d'un modèle déterminent directement la qualité et le coût de chacun de ses échantillons d'inférence. Le framework T² introduit une passerelle mathématique entre ces deux domaines, notamment en reliant la métrique de perte continue utilisée à l'entraînement aux métriques de performance réelles utilisées au déploiement, comme le pass@k. Les suites probables incluent une adoption progressive par les équipes qui construisent des agents autonomes multi-étapes, pour lesquels le coût d'inférence est souvent le principal facteur limitant.

RecherchePaper
1 source
GPT-Rosalind : cette IA travaille gratuitement pour les chercheurs, mais il y a un hic
2Le Big Data 

GPT-Rosalind : cette IA travaille gratuitement pour les chercheurs, mais il y a un hic

OpenAI a présenté le 16 avril 2026 GPT-Rosalind, un modèle d'intelligence artificielle de nouvelle génération conçu spécifiquement pour la recherche en biologie, la découverte de médicaments et la médecine translationnelle. Baptisé en hommage à la chimiste Rosalind Franklin, ce modèle est accessible en version test via ChatGPT, Codex et l'API d'OpenAI, mais uniquement pour un cercle restreint d'organisations américaines sélectionnées. Ses capacités couvrent la génomique, l'ingénierie des protéines et la chimie moléculaire : il croise des données complexes, formule des hypothèses biologiques et conçoit des protocoles expérimentaux complets. Sur BixBench, référence sectorielle en bioinformatique, il se classe premier parmi tous les modèles ayant publié leurs résultats. Sur LABBench2, il surpasse GPT-5.4 sur six tâches sur onze, avec une performance particulièrement nette sur CloningQA, un exercice de conception de réactifs pour protocoles de clonage moléculaire. En collaboration avec Dyno Therapeutics, le modèle a été testé sur des séquences d'ARN inédites : ses propositions ont dépassé 95 % des experts humains en prédiction de protéines, et atteint le 84e percentile pour la génération de séquences. Pour la recherche biomédicale, l'enjeu est considérable. Des tâches qui mobilisaient des équipes entières pendant des années peuvent désormais être accélérées par un modèle capable de raisonner sur des structures biologiques complexes. La gratuité pendant la phase de test lève la barrière financière pour les laboratoires, leur permettant d'expérimenter sans contrainte de budget. Si les performances observées se confirment en conditions réelles, GPT-Rosalind pourrait compresser significativement les cycles de développement de médicaments, dont les délais se comptent actuellement en décennies et les coûts en milliards de dollars. OpenAI a choisi une stratégie d'accès délibérément restrictive, justifiée par la sensibilité des domaines concernés. Les organisations candidates subissent une vérification approfondie : leurs travaux doivent présenter un impact collectif identifiable et positif. Les bénéficiaires acceptent des conditions d'usage strictes et s'engagent à mettre en place des mécanismes contre les détournements. Cette prudence n'est pas anodine : un modèle capable de manipuler des concepts biologiques avancés, comme la conception de protéines ou la modification de séquences génétiques, soulève des questions de biosécurité que la communauté scientifique et les régulateurs scrutent de près. Le lancement de GPT-Rosalind s'inscrit dans une course plus large entre OpenAI, Google DeepMind et des acteurs spécialisés comme Insilico Medicine pour dominer l'IA appliquée aux sciences de la vie, un marché estimé à plusieurs centaines de milliards de dollars d'ici 2030.

UELes laboratoires et chercheurs européens sont exclus de l'accès à GPT-Rosalind, réservé à un cercle restreint d'organisations américaines, creusant l'écart avec les acteurs américains dans la course à l'IA biomédicale.

RechercheOpinion
1 source
États quantiques neuronaux à base de transformeurs pour systèmes de spins frustrés avec NetKet
3MarkTechPost 

États quantiques neuronaux à base de transformeurs pour systèmes de spins frustrés avec NetKet

Des chercheurs en physique computationnelle explorent une approche inédite pour simuler les systèmes quantiques frustrés : l'utilisation d'architectures Transformer, les mêmes qui propulsent les grands modèles de langage, comme ansatz variationnel pour représenter des fonctions d'onde quantiques. Concrètement, l'implémentation s'appuie sur NetKet et JAX pour résoudre la chaîne de spins de Heisenberg J1-J2, un système dit "frustré" où les interactions magnétiques concurrentes entre premiers voisins (J1) et seconds voisins (J2) génèrent des corrélations quantiques extraordinairement complexes. Le modèle Transformer utilisé comporte 6 couches d'attention, 4 têtes d'attention et une dimension cachée de 96, entraîné par Monte Carlo variationnel (VMC) avec reconfiguration stochastique, un analogue du gradient naturel adapté à l'optimisation de fonctions d'onde. L'enjeu est fondamental pour la physique de la matière condensée. Les méthodes classiques d'exacte diagonalisation atteignent rapidement leurs limites face à la croissance exponentielle de l'espace de Hilbert : un système de N spins 1/2 requiert 2^N états de base. Les États Quantiques Neuronaux (NQS) introduits par cette approche permettent de représenter des fonctions d'onde hautement expressives en paramétrant leur amplitude complexe log-Ψ via un réseau de neurones, contournant cette explosion combinatoire. Les Transformers sont particulièrement adaptés : leur mécanisme d'attention globale capture naturellement les corrélations à longue portée entre spins, là où les réseaux convolutifs classiques peinent à dépasser quelques voisins. Les résultats sont benchmarkés contre la diagonalisation exacte de Lanczos, permettant de quantifier la précision de l'approximation variationnelle. Cette convergence entre apprentissage profond et physique quantique s'inscrit dans un mouvement plus large amorcé en 2017 avec les travaux pionniers de Carleo et Troyer, qui ont démontré pour la première fois qu'un réseau de neurones pouvait rivaliser avec les meilleures méthodes numériques en physique quantique. Depuis, les architectures se sont sophistiquées : réseaux récurrents, machines de Boltzmann restreintes, et désormais Transformers. L'écosystème logiciel autour de NetKet, développé principalement par des groupes européens, et de JAX/Flax de Google DeepMind, démocratise ces techniques auparavant réservées à quelques laboratoires spécialisés. Les perspectives sont considérables : simuler des matériaux quantiques réels comme les supraconducteurs à haute température ou les isolants topologiques, là où les méthodes traditionnelles restent bloquées par la "malédiction de la dimensionnalité".

UEL'écosystème NetKet, développé principalement par des groupes européens, renforce la compétitivité de la recherche quantique européenne dans la simulation de matériaux complexes comme les supraconducteurs à haute température.

RecherchePaper
1 source
Parcae : une architecture stable pour LLM en boucle aussi performante qu'un transformer deux fois plus grand
4MarkTechPost 

Parcae : une architecture stable pour LLM en boucle aussi performante qu'un transformer deux fois plus grand

Des chercheurs de l'UC San Diego et de Together AI ont publié Parcae, une nouvelle architecture de modèle de langage dite "en boucle" capable de rivaliser avec des transformers deux fois plus grands, sans augmenter le nombre de paramètres. L'article de recherche, disponible sur arXiv depuis avril 2026, démontre que Parcae surpasse les modèles en boucle existants et bat les transformers classiques à chaque échelle testée, de 350 millions à plusieurs milliards de paramètres, avec le même budget d'entraînement et la même quantité de données. L'architecture repose sur un design en trois blocs : un prélude qui encode la séquence d'entrée, un bloc récurrent qui fait passer les activations T fois en boucle à travers les mêmes couches en réinjectant l'entrée à chaque itération, et un bloc final qui produit la sortie. À 350 millions de paramètres, Parcae réduit la perplexité de validation de 6,3 % par rapport aux modèles en boucle concurrents comme les Recurrent Depth Models (RDM). L'enjeu concret est considérable : dans les déploiements actuels, l'inférence représente une part croissante des coûts de calcul, et les modèles migrent de plus en plus vers des appareils embarqués où la mémoire est contrainte. Parcae répond directement à ce défi en découplant la qualité du modèle de son empreinte mémoire. Un modèle en boucle exécute les mêmes blocs de couches plusieurs fois lors d'un seul passage, multipliant la puissance de calcul sans multiplier les paramètres stockés. Cela ouvre la voie à des modèles plus performants sur smartphone ou en edge computing, sans avoir à embarquer des architectures plus lourdes. Pour l'industrie, cela signifie potentiellement des coûts d'inférence réduits à iso-qualité. Le problème central que Parcae résout est l'instabilité chronique des architectures en boucle précédentes. Les RDMs et modèles similaires souffraient d'une explosion du vecteur d'état caché au fil des itérations, provoquant des divergences d'entraînement et nécessitant un réglage fin très délicat des hyperparamètres. L'équipe a reformulé le passage avant comme un système dynamique et appliqué la théorie du contrôle classique : la stabilité est garantie si la norme spectrale de la matrice de transition reste strictement inférieure à 1. Les méthodes antérieures laissaient cette matrice soit à la limite de la stabilité (injection additive), soit totalement non contrainte (RDMs). Parcae impose cette contrainte par construction, en paramétrant la matrice continue comme une diagonale négative et en la discrétisant via un schéma emprunté aux modèles d'espace d'états comme Mamba et S4. Le résultat est un modèle qui s'entraîne de façon fiable, sans explosion de gradient, et dont la qualité progresse régulièrement avec le nombre de boucles, ouvrant la voie à une nouvelle génération de modèles efficaces en mémoire.

RecherchePaper
1 source