Aller au contenu principal
Qu'est-ce que la dérive de tokenisation et comment y remédier ?
LLMsMarkTechPost · 2 min de lecture

Qu'est-ce que la dérive de tokenisation et comment y remédier ?

Source originale ↗·

Un modèle de langage peut produire des résultats parfaits à un instant donné, puis se dégrader sans que rien n'ait changé dans les données ou le code. La cause, souvent invisible, se trouve dans la tokenisation : avant tout traitement, un modèle convertit le texte en identifiants numériques appelés tokens, et de minuscules variations de formatage, un espace en début de mot, un saut de ligne, une ponctuation différente, peuvent générer des séquences de tokens entièrement distinctes. Ce phénomène porte un nom : la dérive de tokenisation, ou tokenization drift. Une démonstration concrète avec le tokeniseur GPT-2 (le même schéma Byte-Pair Encoding utilisé par GPT-4, LLaMA et Mistral) l'illustre parfaitement : aucune des sept paires de mots testés, "classify" avec ou sans espace initial, ne produit le même identifiant de token. Mieux encore, " classify" avec espace est encodé en un seul token (36509), tandis que "classify" sans espace devient deux tokens distincts (4871 et 1958). Le modèle ne voit pas seulement un identifiant différent : il reçoit une séquence de longueur différente, ce qui modifie le calcul de l'attention sur l'ensemble du contexte suivant.

L'impact dépasse la simple curiosité technique. Lors du fine-tuning par instructions, les modèles apprennent non seulement des tâches, mais aussi la structure dans laquelle ces tâches leur sont présentées : séparateurs spécifiques, préfixes, motifs de formatage. Quand un prompt s'écarte de ces schémas appris, le modèle ne se retrouve plus dans sa distribution familière. Le résultat n'est pas une erreur franche mais quelque chose de plus insidieux : un modèle qui fait de son mieux sur des entrées qu'il n'a jamais été optimisé à traiter. Pour les équipes en production, cela signifie des régressions inexpliquées, des comportements non reproductibles entre environnements, et des bugs difficiles à diagnostiquer car aucun composant visible n'a changé.

La solution proposée passe par une boucle légère d'optimisation des prompts : mesurer la dérive entre formats alternatifs via une métrique de distance dans l'espace des tokens, puis sélectionner le format qui maintient les entrées dans la distribution la plus stable. Cette approche s'appuie sur des outils accessibles, NumPy, scikit-learn pour une réduction PCA, seaborn pour la visualisation, et ne nécessite aucun ré-entraînement du modèle. Le sujet s'inscrit dans une réflexion plus large sur la fragilité des systèmes LLM face à des variations superficielles : la robustesse d'un pipeline d'IA ne dépend pas seulement de la qualité du modèle ou des données, mais aussi de la cohérence avec laquelle les entrées sont formatées à chaque étape, de la conception du prompt jusqu'au déploiement en production.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Ce que c'est de travailler avec Mythos
1One Useful Thing 

Ce que c'est de travailler avec Mythos

Claude 5 Fable, le premier modèle de la classe Mythos d'Anthropic à être rendu public, a fait l'objet d'un test approfondi par un chercheur ayant bénéficié d'un accès anticipé. Contrairement à la plupart des discussions qui se sont concentrées sur les implications pour la cybersécurité, ce test a couvert un spectre beaucoup plus large de cas d'usage. Les résultats sont frappants : Fable surpasse systématiquement tous les autres modèles publics testés jusqu'ici, sur des tâches aussi variées que la rédaction académique, la création littéraire ou le développement logiciel. Le modèle est capable de travailler de manière autonome jusqu'à une douzaine d'heures sur des spécifications complexes de plusieurs pages. À titre d'illustration, il a produit, à partir d'un seul prompt, un article de sciences sociales qualifié de "le plus sophistiqué jamais vu par une IA", ainsi qu'un poème épique de dix pages dont chaque mot commence par la lettre "s". Il a également développé plusieurs jeux vidéo complets à partir de descriptions vagues, en générant tous les éléments graphiques uniquement par le calcul mathématique, sans aucune image externe. Ce bond qualitatif n'est pas qu'une question de performances sur des benchmarks. Ce qui change fondamentalement, c'est la nature de l'interaction entre l'humain et l'outil : il suffit de formuler une intention pour qu'elle se matérialise. Le cas d'une carte isochrone illustre parfaitement ce saut. Ces cartes, inventées en 1881 pour visualiser les temps de trajet depuis Londres, n'avaient jamais pu être correctement générées par un modèle d'IA en raison de leur complexité : elles nécessitent de croiser des milliers de données de trajets (avion, train, voiture, marche) avec une multitude de micro-décisions. Fable a non seulement accompli cette tâche, mais en lançant lui-même plusieurs sous-agents (dont des instances de Claude Sonnet) pour collecter les données, il a récupéré plus de 2 200 vols spécifiques ainsi que les horaires de trains réels, produisant une carte fonctionnelle et esthétiquement soignée dans le style de la carte originale de 1881. Cette capacité à orchestrer d'autres IA de manière autonome marque une rupture avec les modèles précédents et soulève des questions plus larges. Anthropic positionne la classe Mythos comme une nouvelle génération de modèles "agents", capables de piloter des projets longs et complexes sans supervision constante. Le fait que Fable soit bridé sur les thématiques de cybersécurité suggère qu'Anthropic anticipe des risques d'usage malveillant à un niveau inédit. Pour les professionnels, chercheurs et développeurs, ce modèle représente moins un assistant amélioré qu'un collaborateur autonome capable de planifier, chercher, déléguer et livrer. La question n'est plus de savoir si l'IA peut faire le travail, mais de comprendre ce que cela change à la manière dont on travaille.

UELes développeurs et chercheurs français et européens disposent d'un nouveau modèle agentique capable de piloter des projets complexes de manière autonome sur plusieurs heures, ce qui pourrait transformer les pratiques de travail dans les secteurs tech, académique et créatif en Europe.

LLMsOpinion
1 source
Combien de tokens me reste-t-il ? La question que Claude n’arrivera peut-être jamais à résoudre
2Numerama 

Combien de tokens me reste-t-il ? La question que Claude n’arrivera peut-être jamais à résoudre

Anthropic fait face depuis plusieurs semaines à des tensions croissantes autour de la gestion des quotas de tokens de Claude, son assistant IA. Les limites d'utilisation, qui déterminent combien de messages un utilisateur peut envoyer avant d'être temporairement bloqué, sont devenues imprévisibles : certains abonnés payants se retrouvent bridés sans avertissement clair, incapables de savoir combien de capacité il leur reste. L'entreprise américaine a reconnu le problème et procède à des ajustements à chaud, sans pour autant fournir de calendrier précis pour une solution pérenne. Le problème touche en priorité les utilisateurs professionnels et les développeurs qui intègrent Claude dans leurs flux de travail quotidiens. Pour eux, une limite opaque n'est pas un simple désagrément : c'est une rupture de service qui bloque des projets, force des migrations vers des alternatives et érode la confiance dans la plateforme. L'impossibilité de mesurer sa consommation en temps réel empêche toute planification, ce qui tranche avec les standards attendus d'un outil B2B. Cette situation illustre la tension structurelle à laquelle Anthropic est confrontée : le succès fulgurant de Claude dépasse la capacité d'infrastructure de l'entreprise à absorber la demande sans frictions. Anthropic, qui a levé plusieurs milliards de dollars ces dernières années, investit massivement dans ses capacités de calcul, mais la montée en charge reste un défi en temps réel. Dans un secteur où OpenAI, Google et Meta se disputent les mêmes utilisateurs, chaque friction devient un argument commercial pour la concurrence.

UELes abonnés et développeurs européens intégrant Claude dans leurs flux de travail sont directement affectés par ces limitations opaques, sans visibilité sur leur consommation ni calendrier de résolution annoncé.

LLMsOpinion
1 source
Grok 4.5 est tellement moins cher que Fable 5 et GPT 5.5 que les écarts de benchmarks comptent peu
3The Decoder 

Grok 4.5 est tellement moins cher que Fable 5 et GPT 5.5 que les écarts de benchmarks comptent peu

xAI a dévoilé Grok 4.5, sa nouvelle génération de modèle entraînée sur des dizaines de milliers de GPU Nvidia GB300. Sur les benchmarks de codage, le modèle reste derrière Fable 5 et GPT-5.5 en termes de résultats bruts, mais il se distingue par son efficacité : il nécessite 4,2 fois moins de tokens qu'Opus 4.8 pour traiter une même tâche. Côté tarification, xAI affiche un prix de 2 dollars par million de tokens en entrée, très inférieur à celui de ses concurrents directs. La disponibilité du modèle en Europe est annoncée pour la mi-juillet. Cette différence de coût pourrait peser plus lourd que les écarts de performance mesurés sur les benchmarks. Pour les développeurs et les entreprises qui déploient des agents de codage à grande échelle, la facture liée aux tokens consommés peut rapidement dépasser l'importance du score obtenu sur un test isolé. Un modèle moins performant mais nettement moins gourmand en tokens et moins cher à l'usage peut donc s'avérer plus rentable en production, notamment pour des tâches répétitives ou du traitement en volume. Cela redistribue les cartes dans un marché où la course aux benchmarks ne garantit plus à elle seule l'adoption commerciale. Cette sortie s'inscrit dans la compétition intense que se livrent les grands laboratoires d'IA sur le terrain du codage, considéré comme l'un des usages les plus lucratifs des modèles de langage. xAI mise sur une infrastructure Nvidia GB300 dernier cri pour entraîner Grok 4.5, tout en cherchant à se démarquer par le rapport coût-efficacité plutôt que par la seule performance brute face à des rivaux comme Anthropic et OpenAI. L'arrivée prévue en Europe mi-juillet permettra de tester en conditions réelles si cette stratégie tarifaire agressive suffit à convaincre les entreprises européennes, dans un contexte où la question du coût d'exploitation des modèles devient centrale pour la rentabilité des produits basés sur l'IA générative.

UELa disponibilité annoncée de Grok 4.5 en Europe mi-juillet permettra aux entreprises françaises et européennes de tester ce modèle pour leurs usages de codage à grande échelle.

💬 Deux dollars le million de tokens et 4,2 fois moins de tokens consommés qu'Opus 4.8 pour la même tâche, ça pèse plus lourd que trois points d'écart sur un benchmark de code. En prod, sur des agents qui tournent en continu, c'est la facture qui tranche, pas le classement : le coût par tâche est en train de redistribuer les cartes du marché des modèles de langage. Reste à voir si xAI tient la promesse une fois le modèle dispo en Europe, mi-juillet.

LLMsOpinion
1 source
Kimi K3, nouveau modele : ce qu'il revele vraiment de la course a l'IA entre Etats-Unis et Chine
4The Information AI 

Kimi K3, nouveau modele : ce qu'il revele vraiment de la course a l'IA entre Etats-Unis et Chine

Jeudi, la startup pékinoise Moonshot AI a dévoilé Kimi K3, un nouveau modèle d'intelligence artificielle open source qui relance le débat sur l'écart réel entre les laboratoires chinois et américains. Avec 2 800 milliards de paramètres, Kimi K3 devient le plus grand modèle open source au monde. Ses performances ont particulièrement marqué les esprits sur le classement de codage d'Arena, où il devance à la fois GPT-5.6 d'OpenAI et Claude Fable 5, le modèle le plus puissant d'Anthropic. Interrogé sur TITV, l'émission de The Information, Anastasios Angelopoulos, cofondateur et directeur général d'Arena, a qualifié cette sortie de tournant : selon lui, c'est la première fois que les résultats contredisent aussi clairement l'idée que les laboratoires chinois progressent uniquement en distillant les modèles américains, c'est à dire en s'entraînant à partir de leurs sorties. Cette annonce a une portée qui dépasse le simple classement technique. Si les résultats de Kimi K3 se confirment dans des évaluations indépendantes, ils suggèrent que des équipes chinoises comme Moonshot développent désormais une expertise propre en conception et entraînement de grands modèles, plutôt que de se contenter de copier les avancées occidentales. Pour l'industrie, cela change la donne stratégique : les entreprises et développeurs du monde entier disposent d'une alternative open source extrêmement performante, gratuite à utiliser et à modifier, ce qui pourrait accélérer l'adoption de modèles chinois dans des produits commerciaux hors de Chine, tout en intensifiant la pression concurrentielle sur OpenAI et Anthropic. Le sujet s'inscrit dans une rivalité technologique plus large entre les États-Unis et la Chine, où l'IA est devenue un terrain d'affrontement stratégique autant qu'économique. Depuis l'irruption de DeepSeek début 2025, plusieurs laboratoires chinois, dont Moonshot, ont multiplié les sorties de modèles open source performants et peu coûteux à entraîner, remettant en question l'avance supposée des géants américains. La question de la distillation, c'est à dire de l'utilisation de sorties de modèles concurrents pour entraîner les siens, reste un point de friction juridique et éthique majeur. La sortie de Kimi K3 devrait relancer les discussions sur les restrictions à l'export de puces, les investissements en recherche fondamentale et la capacité des laboratoires chinois à innover de façon autonome.

UELes entreprises européennes disposent d'une alternative open source performante, ce qui pourrait accélérer leur adoption de modèles chinois hors des solutions américaines dominantes.

LLMsOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic