Hugging Face publie Carbon-X, un modèle de langage ouvert de 14 milliards de paramètres qui associe ADN et langage naturel
Hugging Face a publié Carbon-X, un modèle de langage ouvert pour l'ADN de 14,8 milliards de paramètres, développé par sa division Hugging Face Bio avec la Zhongguancun Academy et le TIGEM de l'Université de Naples Federico II. Ce modèle dense, de type décodeur seul et doté d'un contexte de 40 960 tokens, lit de l'ADN brut au sein d'une conversation et répond en anglais. Il prédit si une mutation est bénigne ou pathogène, repère des régions régulatrices, classe des organismes et prédit les bases suivantes. Il part de Qwen3-14B et partage un seul flux de tokens entre ADN et texte, sans encodeur ADN séparé, contrairement à BioReason. Son tokenizer hybride conserve le vocabulaire BPE de Qwen3 et ajoute 5 515 tokens ADN : 4 096 6-mers non chevauchants, 1 364 tokens de queue et 3 marqueurs. Chaque token couvre six paires de bases, et les séquences de six bases A/C/G/T ou plus sont balisées automatiquement. Les poids sont publiés sous licence Apache 2.0, et le modèle tourne sur un seul GPU de 80 Go en bfloat16. Des versions GGUF officielles existent : 15,8 Go en Q80 et 9,6 Go en Q4K_M.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'entraînement s'est déroulé en quatre étapes : un échauffement des embeddings sur environ 10 milliards de tokens avec le transformeur gelé, puis 302 milliards de tokens de mi-entraînement (55 % d'ADN brut, 20 % d'anglais, 15 % de texte biologique, 10 % d'instructions), un réglage supervisé de trois époques sur 20 sous-ensembles vérifiés par des contrôleurs déterministes conçus avec des experts, enfin un apprentissage par renforcement GRPO asynchrone en deux tours. Sur cinq benchmarks ADN, Carbon-X atteint 66,7 % en moyenne, soit 27 points de plus que Qwen3-14B et 0,8 point de moins que GPT-6.1 Sol (67,5 %), contre 60,9 % pour Opus 5.5 et 50,4 % pour Kimi K3. Il domine BioReason Coding (74,9 % contre 71,0 % et 70,3 %) et NextBase (39,4 %), mais reste derrière les modèles de pointe sur les variants complexes (BioReason Non-SNV : 85,1 % contre 91,7 % et 94,8 %) et sur FrontierVEP (70,4 % contre 74,9 % et 76,2 %). Son point faible est GenomeQA sur les sites d'épissage, à 29,8 %. Il conserve aussi ses capacités générales, avec 79,3 % de précision stricte sur IFEval.
L'enjeu est d'abord pratique : les laboratoires peuvent analyser des séquences sensibles sur leurs propres GPU, sans les envoyer à une API fermée, avec un modèle compact capable de rivaliser avec des systèmes propriétaires sur plusieurs tâches. Il faut toutefois lire les chiffres avec prudence, car tous les scores sont publiés par Hugging Face elle-même. Carbon-X a été évalué avec le raisonnement désactivé, tandis que les concurrents l'étaient à leur effort maximal. Les refus de répondre faussent aussi les comparaisons : sur NextBase, Opus 5.5 passe de 17,7 % à 1,1 % quand l'effort de raisonnement monte, et Gemini 4 Argon chute de 58 % à 38 % sur FrontierVEP.
Ce travail prolonge les tentatives de fusion entre modèles génomiques et modèles de langage, comme BioReason, qui reposaient sur un encodeur ADN distinct. Hugging Face montre ici qu'un tokenizer étendu et une adaptation d'un LLM généraliste suffisent. L'équipe souligne que le taux d'apprentissage a été le réglage le plus délicat : trop élevé, le modèle apprenait l'ADN mais oubliait l'anglais ; un taux plus bas, un modèle de 14 milliards de paramètres et un entraînement long ont levé ce compromis. Appliquer directement le renforcement à Qwen3-14B n'a jamais dépassé le hasard de 50 % sur FrontierVEP, ce qui justifie la préparation en amont. La suite dépendra de validations indépendantes et de l'adoption par la communauté biomédicale.
Le TIGEM de l'Université de Naples Federico II est partenaire du projet, et les laboratoires européens peuvent analyser des séquences génomiques sensibles en local sous licence Apache 2.0, ce qui facilite la conformité au RGPD.