Aller au contenu principal
LLMs · Actu ·

Bytedance estime que la plupart des phases d'entraînement de l'IA sont inutiles et le démontre avec un modèle ouvert compétitif

Bytedance, la maison mère de TikTok, et plusieurs universités américaines viennent de présenter Axion 1.0, un agent d'intelligence artificielle capable de rivaliser avec les meilleurs modèles commerciaux d'OpenAI et d'Anthropic sur plusieurs benchmarks. Sa particularité tient à son entraînement, qui ne comprend que trois phases, là où les pipelines actuels en enchaînent souvent davantage. Les chercheurs expliquent ces résultats par un travail minutieux de sélection et de curation des données d'entraînement, plutôt que par une multiplication des étapes. Le modèle, les données et le code sont accessibles librement.

1 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →

Cette démonstration remet en cause l'idée selon laquelle la performance passerait nécessairement par des chaînes d'entraînement toujours plus longues et plus coûteuses. Si la qualité des données compte davantage que le nombre de phases, des équipes disposant de moyens limités peuvent espérer atteindre un niveau proche des laboratoires de pointe, avec des cycles de développement plus courts et une facture de calcul réduite. La publication complète des données et du code permet aussi à la communauté de vérifier ces affirmations, de reproduire la méthode et de l'adapter à d'autres usages.

Ce travail s'inscrit dans une course où les agents capables d'exécuter des tâches complexes de façon autonome sont devenus un terrain d'affrontement central entre grands acteurs américains et chinois. Bytedance, qui investit massivement dans l'IA, cherche à y affirmer sa présence, tandis que le recours à des partenaires universitaires américains illustre la circulation persistante des recherches malgré les tensions géopolitiques. La suite dépendra de la capacité d'autres laboratoires à confirmer ces résultats et à appliquer la même approche centrée sur les données à des modèles de plus grande taille.

Impact France / UEChamp produit par Le Fil IA

Les équipes européennes aux moyens limités peuvent s'appuyer sur le modèle, les données et le code ouverts pour réduire leurs coûts d'entraînement.

À lire ensuite

01ByteDance entraîne un modèle d'IA massif pour rivaliser avec AnthropicArs Technica AILLMs 02Meta AI lance Muse Spark 1.3, un modèle de code à base d'agents plus économe en appels d'outils et en tokens que 1.2MarkTechPostLLMs 03Nemotron Labs : comment les modèles ouverts donnent aux entreprises et aux États une IA fiable, maîtrisable et personnalisableNVIDIA AI BlogLLMs 
Dossier · OpenAISuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.