Combien de tokens me reste-t-il ? La question que…

Claude Opus 4.7 : Le nouveau monstre d’Anthropic arrive (peut-être) cette semaine !

44

1Le Big Data

Claude Opus 4.7 : Le nouveau monstre d’Anthropic arrive (peut-être) cette semaine !

Anthropic s'apprêterait à lancer Claude Opus 4.7, la prochaine itération de son modèle phare, potentiellement dès cette semaine. L'information provient de The Information, qui rapporte que l'identifiant "Claude Opus 4.7" a déjà été repéré dans les références internes de l'API d'Anthropic, un signal qui précède généralement de peu une annonce officielle. Un utilisateur du réseau X, sous le pseudonyme BridgeMind, a également alimenté les spéculations en relevant que Claude Opus 4.5 avait été publié 73 jours avant Opus 4.6, sorti le 5 février 2026. Au 14 avril, 68 jours s'étaient déjà écoulés depuis cette dernière version, plaçant la prochaine sortie dans la fenêtre habituelle de déploiement. Le code source de Claude Code ayant par ailleurs déjà mentionné Opus 4.7, les indices convergent, sans qu'Anthropic ait pour autant confirmé quoi que ce soit officiellement. Si les rumeurs s'avèrent fondées, Claude Opus 4.7 apporterait des améliorations substantielles sur plusieurs fronts critiques : le raisonnement en plusieurs étapes, la gestion de tâches longues et complexes, et surtout la coordination entre agents d'IA. Anthropic travaillerait sur un concept d'"équipe d'agents", où plusieurs modèles collaborent sur un même problème comme le ferait un groupe de travail humain. Cette architecture permettrait à des systèmes autonomes de fonctionner pendant de longues périodes avec une intervention humaine minimale, une capacité très attendue par les entreprises qui intègrent l'IA dans leurs workflows. En parallèle, The Information évoque également un assistant tout-en-un capable de gérer des tâches complètes comme la création de sites web ou de présentations, en intégrant rédaction, design et mise en place technique dans un processus unifié. Ce lancement s'inscrit dans une course effrénée entre les grands laboratoires d'IA. OpenAI, Google et Anthropic accélèrent tous leurs cycles de publication, les intervalles entre versions majeures se réduisant à quelques semaines. Anthropic, fondée en 2021 par d'anciens cadres d'OpenAI dont Dario et Daniela Amodei, positionne Claude comme une alternative axée sur la sécurité et la fiabilité. Avec Opus 4.7, la société chercherait à consolider son avance sur le segment des agents autonomes et des tâches longue durée, un marché entreprise à fort potentiel. Les suites dépendront de la réaction des concurrents : OpenAI prépare ses propres modèles o3 et GPT-5, tandis que Google continue de faire évoluer Gemini Ultra. La semaine à venir pourrait donc marquer une nouvelle étape dans la compétition mondiale pour les modèles de langage de pointe.

LLMsOpinion

1 source

Qu'est-ce que la dérive de tokenisation et comment y remédier ?

40

2MarkTechPost

Qu'est-ce que la dérive de tokenisation et comment y remédier ?

Un modèle de langage peut produire des résultats parfaits à un instant donné, puis se dégrader sans que rien n'ait changé dans les données ou le code. La cause, souvent invisible, se trouve dans la tokenisation : avant tout traitement, un modèle convertit le texte en identifiants numériques appelés tokens, et de minuscules variations de formatage, un espace en début de mot, un saut de ligne, une ponctuation différente, peuvent générer des séquences de tokens entièrement distinctes. Ce phénomène porte un nom : la dérive de tokenisation, ou tokenization drift. Une démonstration concrète avec le tokeniseur GPT-2 (le même schéma Byte-Pair Encoding utilisé par GPT-4, LLaMA et Mistral) l'illustre parfaitement : aucune des sept paires de mots testés, "classify" avec ou sans espace initial, ne produit le même identifiant de token. Mieux encore, " classify" avec espace est encodé en un seul token (36509), tandis que "classify" sans espace devient deux tokens distincts (4871 et 1958). Le modèle ne voit pas seulement un identifiant différent : il reçoit une séquence de longueur différente, ce qui modifie le calcul de l'attention sur l'ensemble du contexte suivant. L'impact dépasse la simple curiosité technique. Lors du fine-tuning par instructions, les modèles apprennent non seulement des tâches, mais aussi la structure dans laquelle ces tâches leur sont présentées : séparateurs spécifiques, préfixes, motifs de formatage. Quand un prompt s'écarte de ces schémas appris, le modèle ne se retrouve plus dans sa distribution familière. Le résultat n'est pas une erreur franche mais quelque chose de plus insidieux : un modèle qui fait de son mieux sur des entrées qu'il n'a jamais été optimisé à traiter. Pour les équipes en production, cela signifie des régressions inexpliquées, des comportements non reproductibles entre environnements, et des bugs difficiles à diagnostiquer car aucun composant visible n'a changé. La solution proposée passe par une boucle légère d'optimisation des prompts : mesurer la dérive entre formats alternatifs via une métrique de distance dans l'espace des tokens, puis sélectionner le format qui maintient les entrées dans la distribution la plus stable. Cette approche s'appuie sur des outils accessibles, NumPy, scikit-learn pour une réduction PCA, seaborn pour la visualisation, et ne nécessite aucun ré-entraînement du modèle. Le sujet s'inscrit dans une réflexion plus large sur la fragilité des systèmes LLM face à des variations superficielles : la robustesse d'un pipeline d'IA ne dépend pas seulement de la qualité du modèle ou des données, mais aussi de la cohérence avec laquelle les entrées sont formatées à chaque étape, de la conception du prompt jusqu'au déploiement en production.

LLMsTuto

1 source

Mémoire infinie, rêves nocturnes, Master Claude, frustration et Tamagotchi : ce que cache le code fuité de Claude Code

44

3Numerama

Mémoire infinie, rêves nocturnes, Master Claude, frustration et Tamagotchi : ce que cache le code fuité de Claude Code

Anthropic a involontairement rendu public le code source de Claude Code, son assistant de développement intégré aux environnements de programmation, exposant ainsi des projets internes qui n'étaient pas destinés à être vus. Des internautes ont rapidement exploré les fichiers accessibles et mis au jour plusieurs fonctionnalités en développement, dont certaines révèlent une vision ambitieuse — et surprenante — de ce que pourrait devenir l'outil. Parmi les découvertes les plus marquantes figurent un concept de « mémoire infinie » permettant à Claude de se souvenir de l'intégralité des échanges passés avec un utilisateur, un mécanisme de « rêves nocturnes » où le modèle consoliderait ses apprentissages pendant les périodes d'inactivité, ainsi qu'un système hiérarchique baptisé « Master Claude ». Plus inattendu encore : une référence à un concept de Tamagotchi, suggérant qu'Anthropic expérimente des formes d'attachement ou de continuité émotionnelle entre l'IA et ses utilisateurs. Le code mentionnerait également des indicateurs liés à la « frustration » de l'agent. Cette fuite survient dans un contexte de compétition acharnée entre les grands laboratoires d'IA — OpenAI, Google, Meta et Anthropic se disputant le marché des assistants pour développeurs. Exposer accidentellement sa feuille de route interne représente un revers stratégique non négligeable pour Anthropic, qui a depuis retiré les fichiers concernés. L'incident soulève aussi des questions sur la direction prise par les assistants IA : vers des agents dotés de persistance mémorielle, de cycles d'apprentissage continus et de dimensions quasi-affectives, brouillant davantage la frontière entre outil et entité autonome.

UELes fonctionnalités révélées — notamment la mémoire infinie et les cycles d'apprentissage nocturnes — pourraient soulever des questions de conformité RGPD en Europe si elles venaient à être déployées.

LLMsOpinion

1 source

37

4The Decoder

Les LLM excellent en code et en maths mais peinent sur les questions triviales, et ce n'est pas contradictoire

Les grands modèles de langage (LLM) affichent des performances remarquables sur les tâches structurées : ils peuvent remanier des bases de code entières en quelques heures, résoudre des problèmes mathématiques complexes et obtenir des scores proches de l'humain sur les benchmarks académiques les plus exigeants. Pourtant, ces mêmes modèles trébuchent régulièrement sur des questions anodines du quotidien, des situations qui ne requièrent aucune expertise technique mais simplement du bon sens et une compréhension souple du langage naturel informel. Ce paradoxe apparent n'en est pas un : il révèle une limite structurelle des architectures actuelles. Les LLM excellent dans les domaines où les données d'entraînement sont abondantes, formatées et codifiées, comme le code source ou les démonstrations mathématiques. En revanche, le langage courant est ambigu, chargé de sous-entendus culturels et de contexte implicite, des dimensions que les modèles reproduisent statistiquement sans les comprendre véritablement. Le fossé entre performance sur benchmark et utilité réelle dans la vie quotidienne reste donc considérable. Ce constat alimente un débat central dans la recherche en IA : les capacités impressionnantes des LLM sur des tâches spécialisées sont-elles le signe d'une intelligence générale émergente, ou simplement le reflet d'une mémorisation sophistiquée de patterns ? Pour les équipes qui développent des assistants grand public chez OpenAI, Google ou Anthropic, combler cet écart entre compétence technique et intelligence conversationnelle ordinaire constitue l'un des défis prioritaires des prochaines années.

LLMsPaper

1 source

Combien de tokens me reste-t-il ? La question que Claude n’arrivera peut-être jamais à résoudre

À lire aussi

Claude Opus 4.7 : Le nouveau monstre d’Anthropic arrive (peut-être) cette semaine !

Qu'est-ce que la dérive de tokenisation et comment y remédier ?

Mémoire infinie, rêves nocturnes, Master Claude, frustration et Tamagotchi : ce que cache le code fuité de Claude Code

Les LLM excellent en code et en maths mais peinent sur les questions triviales, et ce n'est pas contradictoire