Aller au contenu principal
LLMsImport AI · 3 min de lecture

L'apprentissage amer de la robotique, des IA achèvent des tâches de programmation d'une semaine et le piratage accidentel d'OpenAI

Source originale ↗·
L'apprentissage amer de la robotique, des IA achèvent des tâches de programmation d'une semaine et le piratage accidentel d'OpenAI
▶ Voir sur YouTube

Voici l'article traduit et résumé selon les consignes.

Epoch AI et METR ont publié MirrorCode, un nouveau benchmark destiné à mesurer la capacité des systèmes d'IA à accomplir des tâches de programmation de très longue durée. Annoncé une première fois en avril dans Import AI #453, il vient d'être enrichi de tests supplémentaires. Le résultat le plus marquant concerne Claude Opus 4.7, qui a résolu une tâche en quatorze heures pour 251 dollars de coût d'inférence, alors que METR et Epoch estiment qu'un humain aurait mis entre deux et dix-sept semaines pour le même travail. Le principe du test consiste à faire réimplémenter intégralement un programme informatique à partir du seul accès en ligne de commande, sans code source ni accès web, ce qui oblige le modèle à concevoir toute l'architecture plutôt qu'à simplement traduire le code existant. Parmi les programmes cibles figurent pkl, le langage de configuration développé par Apple (61 000 lignes de code), gotree, un outil de manipulation d'arbres phylogénétiques (16 000 lignes), et qsvselect, un sélecteur de colonnes CSV (87 000 lignes). Sur les vingt-cinq programmes testés, dix-sept ont obtenu au moins une exécution parfaite et quatre autres ont dépassé 99 % de réussite. Opus 4.7 et GPT-5.5 ont tous deux réussi à reproduire gotree dans plusieurs langages de programmation pour un coût de 100 à 400 dollars, et Opus 4.7 est également parvenu à reconstruire pkl. Huit programmes n'ont toutefois jamais atteint le seuil de 100 %, dont ruff, un linter et formateur Python qui s'est révélé le plus difficile, ainsi que giacsubset, un package mathématique, et mailauth, une bibliothèque d'authentification d'e-mails. La version publiée comprend le dispositif de test et vingt-deux des vingt-cinq programmes cibles, soit 132 instances de tâches réparties sur six langages.

L'enjeu dépasse la simple performance en programmation. Ce que montre surtout MirrorCode, c'est la capacité des modèles à s'orienter de façon autonome dans un environnement totalement inconnu : par la seule observation des entrées et sorties d'un logiciel étranger, une IA parvient à en reconstruire une implémentation complète et fonctionnelle. Cette faculté d'apprentissage par interaction pure, sans accès au code ni à la documentation, suggère que des agents suffisamment avancés pourraient un jour reproduire et internaliser les capacités de systèmes tiers simplement en interagissant avec eux, une piste qui intéresse autant les chercheurs en sécurité que les entreprises évaluant les risques et les opportunités liés à l'autonomie croissante des agents de codage. La progression est par ailleurs rapide : les modèles d'il y a un an plafonnaient autour de 30 % de réussite et se limitaient à des programmes simples comme un utilitaire de calendrier, contre des réimplémentations de dizaines de milliers de lignes aujourd'hui.

Ce numéro d'Import AI, le 466e, associe cette annonce à une autre actualité marquante autour de la "leçon amère" appliquée à la robotique : Anthropic a démontré qu'un modèle généraliste pouvait accomplir des tâches robotiques réelles vingt fois plus vite que le précédent record humain, confirmant l'idée que la montée en puissance de modèles généraux profite aussi aux systèmes physiques sans ingénierie robotique spécifique. Epoch AI et METR, organisations spécialisées dans l'évaluation et la prévision des capacités de l'IA, enrichissent ainsi leur panel de benchmarks pour suivre la trajectoire des agents sur des tâches économiquement pertinentes. Le code et les vingt-deux programmes cibles de MirrorCode étant publiés en accès libre, le benchmark devrait rapidement devenir une référence pour évaluer les futurs modèles, avec les cas les plus résistants, ruff, giac_subset et mailauth, comme prochains jalons à franchir.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

OpenAI lance GPT-5.6 (Sol, Terra, Luna), une famille de trois modèles avec appel d'outils programmatique dans l'API Responses
1MarkTechPost 

OpenAI lance GPT-5.6 (Sol, Terra, Luna), une famille de trois modèles avec appel d'outils programmatique dans l'API Responses

OpenAI a fait passer sa famille GPT-5.6 en disponibilité générale après une période de test limitée, avec trois modèles distincts plutôt qu'un seul. Sol est le modèle phare, Terra la version équilibrée pour un usage quotidien, et Luna la variante la plus économique. Les prix par million de tokens s'échelonnent de 1 dollar en entrée et 6 dollars en sortie pour Luna, à 2,50 et 15 dollars pour Terra, jusqu'à 5 et 30 dollars pour Sol. L'accès varie selon les plateformes : dans ChatGPT, les abonnés Plus, Pro, Business et Enterprise obtiennent Sol en effort moyen ou supérieur, les comptes Pro et Enterprise pouvant aussi choisir une version Sol Pro. Sur Codex et ChatGPT Work, les utilisateurs gratuits accèdent à Terra tandis que les payants choisissent librement entre les trois modèles. Les trois tiers sont également disponibles via l'API, qui introduit une fonctionnalité baptisée Programmatic Tool Calling permettant au modèle d'exécuter du code JavaScript qu'il a lui-même écrit, dans un environnement V8 isolé sans accès réseau. La mise en cache des prompts évolue aussi, avec une durée de vie minimale de 30 minutes, une facturation des écritures en cache à 1,25 fois le tarif standard, et une remise de 90% conservée pour les lectures. Sur le plan des performances, Sol s'impose avec un score de 80 sur l'indice de codage agentique d'Artificial Analysis, soit 2,8 points de plus que Claude Fable 5, tout en consommant moins de la moitié des tokens de sortie et du temps nécessaires. En activant un mode appelé ultra, qui fait tourner quatre agents en parallèle, Sol grimpe à 91,9% sur Terminal-Bench 2.1, contre 88,8% en configuration standard. Le modèle atteint aussi 92,2% sur BrowseComp et dépasse Claude Opus 4.8 sur OSWorld 2.0 avec 85% de tokens en moins. Ces gains concrets touchent directement les développeurs et les équipes qui automatisent des tâches complexes via des agents, en réduisant coûts et temps d'exécution. Mais Sol accuse un retard net sur SWE-Bench Pro, où il plafonne à 64,6% contre 80,3% pour Claude Mythos 5, un écart de quinze points sur un benchmark de codage très suivi. Claude Fable 5 garde aussi l'avantage sur l'indice d'intelligence générale d'Artificial Analysis et sur l'usage d'outils via Toolathlon. Cette sortie s'inscrit dans une compétition serrée entre OpenAI, Anthropic et Google autour des agents autonomes capables de mener des tâches professionnelles longues et complexes, mesurées notamment par le test Agents' Last Exam couvrant 55 métiers, où Sol revendique un score de 53,6, largement devant Fable 5. La stratégie de tarification par paliers et la diversification des surfaces d'accès traduisent une volonté de capter aussi bien les usages grand public que les déploiements d'agents en entreprise, un terrain où la bataille des benchmarks continue de s'intensifier.

LLMsActu
1 source
Le sens d'un titre : une startup propose une solution au problème de la pensée unique de l'IA
2MIT Technology Review 

Le sens d'un titre : une startup propose une solution au problème de la pensée unique de l'IA

La startup australienne Springboards a mis au point un modèle de langage baptisé Flint, conçu pour sortir les intelligences artificielles conversationnelles de leur tendance à toujours produire les mêmes réponses. Le constat de départ est simple à vérifier: demandez à Claude, ChatGPT ou Gemini de citer un nombre au hasard entre 1 et 10, et la réponse sera presque systématiquement 7. Ce phénomène, documenté par Will Douglas Heaven dans la newsletter The Download du MIT Technology Review, illustre un problème plus large de "pensée de groupe" chez les grands modèles de langage actuels, qui convergent vers des réponses prévisibles et peu créatives dès qu'on leur pose une question ouverte. Flint a été entraîné spécifiquement pour élargir l'éventail de ses réponses face à des questions du type "où partir en vacances en Europe", en évitant de se replier systématiquement sur les suggestions les plus consensuelles ou les plus statistiquement fréquentes dans ses données d'entraînement. Cette uniformité des réponses n'est pas gênante pour des tâches comme la programmation ou la recherche factuelle, où la précision et la cohérence priment. Elle devient en revanche un vrai handicap pour tout usage créatif: remue-méninges, planification de voyage, génération d'idées ou exploration d'options originales. Un assistant qui reproduit toujours les mêmes schémas de réponse limite de fait sa valeur pour les utilisateurs qui cherchent justement à sortir des sentiers battus. En misant sur la diversité des réponses plutôt que sur leur seule exactitude, Springboards vise un usage encore peu exploité commercialement: celui des chatbots comme outils d'idéation plutôt que de simple recherche d'information, un segment où la personnalisation et la surprise comptent autant que la fiabilité. Ce travail s'inscrit dans un paysage de l'IA générative en pleine effervescence, où les grands acteurs américains et chinois se disputent la suprématie technologique et financière. Le même jour, la newsletter rapportait qu'OpenAI aurait proposé de céder une participation de 5% à l'administration Trump, un geste qui pourrait s'étendre à d'autres géants comme Anthropic, Google ou Meta selon Bloomberg. Parallèlement, le modèle chinois GLM-5.2 gagne du terrain auprès de clients occidentaux grâce à des coûts réduits, tandis que Meta explore de nouvelles sources de revenus en louant sa puissance de calcul et ses modèles hébergés. Dans ce contexte de concentration autour de quelques mastodontes, l'approche de Springboards rappelle qu'il existe encore de la place pour des acteurs plus modestes cherchant à résoudre des limites techniques précises, comme ce manque criant de diversité dans les réponses des IA conversationnelles les plus utilisées au monde.

💬 Demande à trois chatbots différents un chiffre au hasard entre 1 et 10, tu auras 7 à chaque fois, ça dit tout : nos IA ne pensent pas, elles moyennent. Springboards s'attaque à un angle mort que les géants n'ont aucun intérêt à corriger, OpenAI et Google optimisent pour rassurer, pas pour surprendre. Bonne nouvelle pour l'idéation, mais faut voir si Flint tient face à un vrai brainstorm : la diversité des réponses va devenir un critère de choix aussi important que la fiabilité.

LLMsOpinion
1 source
RAG (Retrieval-Augmented Generation) : une approche pour optimiser l’usage de l’IA
3Le Big Data 

RAG (Retrieval-Augmented Generation) : une approche pour optimiser l’usage de l’IA

La Retrieval-Augmented Generation, ou RAG, est une architecture technique qui associe un modèle de langage à une base documentaire externe, permettant à l'intelligence artificielle de consulter des informations précises avant de formuler une réponse. Concrètement, le processus se déroule en trois temps : les documents de l'entreprise sont d'abord découpés en fragments, puis convertis en représentations mathématiques appelées embeddings, qui transforment le sens d'une phrase en coordonnées numériques. Lorsqu'un utilisateur pose une question, sa requête est elle aussi encodée de cette façon, puis comparée aux vecteurs stockés pour identifier les passages les plus pertinents. Ces extraits sont ensuite injectés dans le prompt envoyé au modèle, qui rédige sa réponse à partir d'un contexte documenté et vérifiable. Contrairement à une recherche par mots-clés classique, le système reconnaît deux phrases sémantiquement proches même si elles n'ont pas de termes en commun. L'intérêt pour les entreprises est considérable. Les modèles de langage traditionnels fonctionnent uniquement à partir de leur corpus d'entraînement : toute information absente ou modifiée depuis génère inévitablement des erreurs, ce que les praticiens appellent les "hallucinations". Le RAG court-circuite ce problème en dotant l'IA d'une mémoire externe dynamique, mise à jour en temps réel. Un service client peut ainsi déployer un assistant conversationnel capable de consulter les procédures internes à jour avant chaque réponse, sans que les données quittent le périmètre de l'organisation. Pour des secteurs manipulant des documents sensibles, comme le juridique, la conformité ou l'ingénierie, cette architecture représente la différence entre un outil expérimental et un outil déployable en production. Le RAG s'est imposé comme l'une des réponses les plus pragmatiques aux limites structurelles des LLM depuis que ces modèles ont commencé à être déployés en entreprise à grande échelle. Les géants du cloud, d'AWS à Microsoft Azure en passant par Google Cloud, proposent désormais des services RAG managés, tandis qu'une constellation de startups comme Pinecone, Weaviate ou Qdrant se sont spécialisées dans les bases vectorielles qui en constituent le socle technique. La question qui reste ouverte est celle de la mise à l'échelle : indexer des dizaines de milliers de documents internes, maintenir la cohérence des embeddings lors des mises à jour, et gérer la latence de récupération sont des défis d'ingénierie non triviaux. Les prochaines évolutions du RAG s'orientent vers des architectures hybrides combinant recherche vectorielle et recherche structurée, ainsi que vers des systèmes capables de raisonner sur plusieurs documents simultanément plutôt que de simplement les concaténer.

LLMsTuto
1 source
OpenAI lance GPT-Rosalind, son premier modèle d'IA pour les sciences du vivant, conçu pour accélérer la découverte de médicaments et la génomique
4MarkTechPost 

OpenAI lance GPT-Rosalind, son premier modèle d'IA pour les sciences du vivant, conçu pour accélérer la découverte de médicaments et la génomique

OpenAI a lancé GPT-Rosalind, son premier modèle d'intelligence artificielle spécialisé dans les sciences du vivant, conçu pour accélérer la recherche en biologie, en génomique et en découverte de médicaments. Contrairement aux modèles généralistes comme GPT-5, GPT-Rosalind est fine-tuné sur les exigences analytiques propres à la recherche biologique : synthèse de littérature scientifique, conception de protocoles expérimentaux, prédiction de comportements de séquences ARN, et planification d'hypothèses. Le modèle est accessible via ChatGPT, Codex et l'API d'OpenAI, mais uniquement dans le cadre d'un programme d'accès contrôlé réservé aux entreprises qualifiées aux États-Unis. OpenAI lance simultanément un plugin Life Sciences pour Codex, connectant les modèles à plus de 50 outils scientifiques et bases de données biologiques. Sur le benchmark BixBench, conçu pour évaluer des tâches réelles de bioinformatique, GPT-Rosalind atteint un taux de réussite de 0,751. Sur LABBench2, il surpasse GPT-5.4 sur six des onze tâches testées, avec des gains particulièrement nets sur CloningQA, qui évalue la conception de réactifs pour des protocoles de clonage moléculaire. Le potentiel concret de ce modèle est illustré par une évaluation menée en partenariat avec Dyno Therapeutics sur des séquences ARN inédites, jamais intégrées à aucun corpus d'entraînement public. Dans cet environnement Codex, les meilleures soumissions du modèle se sont classées au-dessus du 95e percentile des experts humains pour les tâches de prédiction, et au 84e percentile pour la génération de séquences. Ce résultat est particulièrement significatif car il exclut tout effet de mémorisation et démontre une capacité de raisonnement réelle sur des données biologiques nouvelles. Pour l'industrie pharmaceutique, où le développement d'un médicament prend en moyenne dix à quinze ans et coûte des milliards de dollars, des outils capables de compresser les phases analytiques les plus lourdes représentent un levier économique et scientifique considérable. Ce lancement s'inscrit dans une course que se livrent les grands laboratoires d'IA pour s'imposer dans les sciences de la vie, un secteur qui attire des investissements massifs et où les enjeux réglementaires sont élevés. Google DeepMind a déjà marqué ce terrain avec AlphaFold pour la prédiction de structures protéiques, tandis que des startups comme Insilico Medicine ou Recursion Pharmaceuticals misent sur l'IA pour repenser entièrement le pipeline de découverte de médicaments. OpenAI positionne GPT-Rosalind non pas comme un remplaçant des chercheurs, mais comme un assistant capable de prendre en charge les étapes les plus chronophages du processus scientifique. L'accès restreint au lancement, avec des garde-fous techniques pour signaler les activités potentiellement dangereuses, reflète la prudence qu'impose ce domaine sensible, où une erreur de modèle pourrait avoir des conséquences directes sur des protocoles de laboratoire ou des décisions cliniques.

UEL'accès étant limité aux entreprises américaines qualifiées au lancement, l'impact immédiat sur les biotechs et laboratoires pharmaceutiques européens est indirect, mais ce type de modèle spécialisé pourrait redéfinir les standards de R&D dans un secteur encadré par la réglementation européenne sur les médicaments et les dispositifs médicaux.

LLMsActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic