Découvrez JiTTests de Meta : des tests générés par LLM conçus pour échouer avant l'arrivée de code risqué
Meta a fait passer ses « Catching Just-in-Time Tests » (JiTTests) du prototype de recherche à son infrastructure de production. Ce système s'appuie sur des modèles de langage pour écrire des tests exécutables conçus pour échouer lorsqu'une modification de code introduit un bug. Un test qui échoue constitue ainsi une preuve concrète que le diff a changé le comportement du programme. Selon Meta, l'outil a détecté 74 incidents de sécurité de confidentialité (SEV) au stade du diff au premier semestre 2026, et la fréquence globale de ces incidents a reculé de 20 % sur la période. La méthode est décrite dans l'article de recherche présenté à FSE 2026, qui analyse 22 126 tests générés. Le pipeline compte cinq étapes : un ciblage nocturne sur la capacité inutilisée des diffs à risque de la veille, deux flux de génération de tests, un jury de plusieurs LLM qui note chaque échec, un filtre déterministe baptisé RubFake qui écarte les faux positifs (réflexion, mocks défaillants, exceptions « non implémenté »), puis une décision d'alerter ou non un ingénieur.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'intérêt tient à la nature de la preuve. La plupart des outils d'IA dédiés au code se comportent comme des relecteurs humains plus rapides : ils lisent le diff et laissent des commentaires. Les JiTTests exécutent le code et montrent une différence de comportement tangible, ce qui, selon Meta, permet d'attraper des classes de bugs que la relecture par LLM ou par agent peut manquer, au prix de davantage d'étapes de calcul. Les chiffres de production sont encourageants : 589 ingénieurs ont interagi avec l'outil, soit 64 % de ceux qui ont été contactés, et ils rapportent un taux de vrais positifs de 60 %. Les évaluateurs à base de règles et de LLM réduisent de 70 % la charge de revue humaine. Ces données restent toutefois déclarées par Meta elle-même, sur son propre code, et l'outil n'est pas disponible publiquement. Le déploiement initial était bien plus modeste : sur 41 détections signalées, seules 8 ont été confirmées, soit 19,5 %, dont 4 auraient provoqué de graves défaillances en production.
Deux approches alimentent la génération. Le « dodgy diff » suppose que chaque diff est défectueux, le traite comme un mutant de son parent et produit des tests capables de les distinguer. L'approche « intent-aware » déduit d'abord l'intention du diff à partir du code, du titre et du résumé, dresse la liste des risques, construit un mutant pour chacun et écrit des tests pour les éliminer ; ceux qui échouent ensuite sur le vrai diff sont appelés « weak catches ». Cette dernière produit des détections faibles dans 6,4 % de ses tests (52 sur 811) et sur 7,9 % des diffs, contre 2,5 % et 4,0 % pour le dodgy diff, et 0,8 % et 1,6 % pour ACH, le précédent système de durcissement guidé par mutation de Meta. Les méthodes sensibles au diff génèrent quatre fois plus de candidats que les tests de durcissement et vingt fois plus que les tests qui échouent par hasard. Cette lignée remonte à TestGen-LLM (FSE 2024), puis à l'article « Harden and Catch » de 2025, qui a formalisé l'idée de tests de détection. Les juges cités dans l'étude incluent Llama 3.3 70B, Gemini 3 Pro et Claude Sonnet 4. Reste à voir si la méthode sortira du cadre interne de Meta, et si ses résultats se confirmeront hors d'un code backend de plusieurs centaines de millions de lignes.