Aller au contenu principal
Ces startups en quête de la prochaine avancée majeure des LLM
RechercheMIT Technology Review · 2 min de lecture

Ces startups en quête de la prochaine avancée majeure des LLM

Source originale ↗·

Une nouvelle génération de startups s'attaque aux limites des transformeurs, l'architecture qui sous-tend la quasi-totalité des grands modèles de langage actuels. Ce mécanisme a été décrit pour la première fois en 2017 par des chercheurs de Google dans l'article fondateur "Attention Is All You Need". Neuf ans plus tard, selon Justin Dangel, cofondateur et PDG de la startup Subquadratic, "l'ensemble de l'industrie de l'IA repose sur les transformeurs" qui ont "changé le monde". Mais leur mécanisme central, l'attention dense, qui compare chaque mot d'un texte à tous les autres pour en capturer le sens, devient très coûteux à mesure que les documents s'allongent : un texte de 10 000 mots peut nécessiter environ 50 millions de multiplications. Cette explosion des calculs explique en grande partie la consommation énergétique massive des modèles actuels. OpenAI prévoit ainsi de dépenser 50 milliards de dollars en puissance de calcul cette année, selon son président Greg Brockman, et l'Agence internationale de l'énergie anticipe un doublement de la consommation électrique des centres de données d'ici 2030.

Cette limite technique a des conséquences concrètes pour toute l'industrie. Les modèles les plus récents, notamment les modèles dits "de raisonnement" qui rédigent des notes intermédiaires (une "chaîne de pensée") avant de répondre, ou les agents qui doivent ingérer d'immenses quantités de données comme des bibliothèques de documents entières ou des bases de code, ont besoin de fenêtres de contexte toujours plus larges. Or les transformeurs, en traitant le texte mot par mot, peinent justement à conserver en mémoire de très grands volumes d'informations. Ce qui faisait la force du transformeur, sa capacité à analyser finement chaque relation entre les mots, devient donc un frein à la progression des modèles vers des tâches plus complexes, plus rapides et moins coûteuses à exécuter.

Face à ce constat, plusieurs jeunes entreprises, dont Subquadratic, cherchent à repenser les fondations de l'IA générative plutôt que de se contenter de correctifs temporaires. Une des pistes explorées consiste à remplacer l'attention dense par une attention dite "sparse" (éparse), qui ne calcule les relations que pour certaines paires de mots plutôt que pour l'ensemble d'un texte, réduisant ainsi drastiquement la charge de calcul. Cette approche n'est pas nouvelle en soi, plusieurs chercheurs ayant déjà proposé des variantes d'attention éparse par le passé sans obtenir de résultats aussi convaincants que l'attention dense classique. Ces startups, moins exposées que les géants déjà installés du secteur, misent sur le fait qu'elles ont peu à perdre et beaucoup à gagner si l'une de leurs innovations parvient à surpasser l'architecture dominante actuelle.

Impact France/UE

Aucune entreprise francaise ou europeenne n'est citee, mais la hausse de la consommation energetique des data centers evoquee concerne aussi les infrastructures europeennes.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

L'IA aide les scientifiques à concevoir la prochaine génération de médicaments
1MIT Technology Review 

L'IA aide les scientifiques à concevoir la prochaine génération de médicaments

AstraZeneca généralise l'intelligence artificielle à l'ensemble de son processus de conception de médicaments biologiques, ces thérapies fabriquées à partir de protéines modifiées plutôt que par synthèse chimique, utilisées pour traiter la plupart des maladies aiguës et chroniques majeures. Puja Sapra, vice-présidente senior et responsable de l'ingénierie biologique en R&D et de la découverte de cibles en oncologie chez AstraZeneca, explique que chaque étape du travail scientifique, de la conception à l'analyse en passant par la fabrication et les tests, est désormais assistée par le calcul informatique. Le laboratoire suit une boucle dite « construire, mesurer, apprendre » : des algorithmes génèrent ou classent des molécules candidates par ordre de probabilité de succès, ce qui permet aux chercheurs de concentrer leurs ressources de laboratoire uniquement sur les candidats les mieux notés. Selon une estimation du cabinet McKinsey, l'IA générative combinée à d'autres outils computationnels pourrait réduire les délais de découverte de médicaments de jusqu'à 50 %. Cette approche change concrètement la donne pour l'industrie pharmaceutique, où le développement d'un nouveau médicament prend habituellement plusieurs années et représente un investissement considérable, avec un taux d'échec très élevé parmi les candidats explorés. En réduisant les cycles d'essai-erreur et en resserrant la boucle de rétroaction entre conception et test en laboratoire, l'IA permet à AstraZeneca de s'attaquer à des cibles thérapeutiques longtemps jugées inatteignables, ce que Sapra résume par la formule « rendre médicamentable ce qui ne l'était pas ». Au-delà du gain de temps, ces outils ouvrent la voie à une nouvelle génération de biomédicaments capables de viser simultanément plusieurs cibles biologiques ou de délivrer un traitement de façon précise vers des cellules spécifiques, alors que les biologiques traditionnels ne visaient généralement qu'une seule voie pathologique à la fois. Pour les patients, cela représente un potentiel thérapeutique significatif dans des maladies jusque-là difficiles à traiter. Cette transformation s'appuie sur ce que Sapra appelle un véritable « fossé de données » : la qualité de tout modèle d'IA dépend directement de la richesse des données biologiques utilisées pour l'entraîner. Chaque expérience en laboratoire, qu'elle réussisse ou échoue, génère un signal exploitable. AstraZeneca dit avoir constitué un portefeuille de données propriétaires et multimodales couvrant plusieurs aires thérapeutiques et types de médicaments, incluant structures moléculaires, mesures de liaison, profils de sécurité et résultats de fabrication, afin d'affiner des modèles d'IA de pointe avec des jeux d'entraînement plus riches et représentatifs. L'entreprise a également investi dans des technologies de criblage approfondi pour produire, en volume, les données nécessaires à la validation continue de ses modèles, une stratégie qui s'inscrit dans la course plus large de l'industrie pharmaceutique vers ce que certains décrivent comme un moteur de découverte scientifique autonome.

UEAstraZeneca, groupe pharmaceutique anglo-suédois disposant d'importantes activités de R&D en Europe, illustre une tendance qui pourrait renforcer la compétitivité de l'industrie pharmaceutique européenne dans la course mondiale à l'IA appliquée à la découverte de médicaments.

RechercheActu
1 source
OpenAI promeut son prochain modèle Astra avec la résolution de 10 problèmes de maths
2Next INpact 

OpenAI promeut son prochain modèle Astra avec la résolution de 10 problèmes de maths

OpenAI a dévoilé début août le nom de code utilisé en interne pour son prochain modèle phare, Astra, pas encore disponible au public, en affirmant qu'il a permis de résoudre dix problèmes de mathématiques. L'entreprise de Sam Altman présente ces résultats dans un billet de blog accompagné d'un PDF détaillant chaque démonstration, mais publié uniquement sur ses propres serveurs plutôt que sur une plateforme de preprint comme arXiv, où les chercheurs partagent habituellement leurs travaux. OpenAI ne mentionne le nom d'aucun mathématicien ayant supervisé ces recherches. L'entreprise précise que le coût total en jetons nécessaires pour retrouver les solutions reviendrait à environ 2 000 dollars aux tarifs de l'API Sol, une somme qui ne prend en compte que la reproduction finale des démonstrations, sans les nombreux essais-erreurs qu'il a fallu réaliser au préalable pour affiner les prompts. Cette annonce ravive un débat déjà vif sur la place de l'IA générative en mathématiques et sur l'attribution des découvertes. Une partie de la communauté mathématique a signé la Leiden Declaration on Artificial Intelligence and Mathematics, qui liste cinq menaces : la multiplication d'arguments plausibles mais peu fiables voire faux, l'absence de citations correctes ou la violation de droits d'auteur, la mise en avant de résultats seulement quand l'IA a été utilisée, la diffusion de résultats sans véritables publications, et la perte d'autonomie de la discipline face aux entreprises qui développent ces IA. Le mathématicien David Madore résumait dès juin sur son blog que les entreprises d'IA utilisent les mathématiques comme un benchmark en apparence objectif pour démontrer leur supériorité, notamment dans le contexte de l'introduction en bourse d'OpenAI, l'objectif réel n'étant pas de faire avancer la science mais de vendre leurs produits. Dans son billet, OpenAI tente de ménager cette communauté en reconnaissant que l'émergence de systèmes capables de contribuer à la recherche mathématique soulève des questions qu'une entreprise technologique ne peut trancher seule, tout en renvoyant la balle aux mathématiciens sur la question de l'attribution : selon elle, créditer un humain pour une démonstration entièrement générée par une IA donnerait une image faussée aussi bien de la contribution du système que du véritable travail intellectuel humain. La question de la paternité des résultats se pose avec d'autant plus d'acuité que l'IA accélère la mise en ligne des démonstrations : Scientific American rapportait récemment que deux équipes avaient publié, à moins de quatre heures d'intervalle sur arXiv, des articles résolvant le même problème de cryptographie quantique.

💬 Dix problèmes résolus, un PDF maison, zéro nom de mathématicien dessus, pas une ligne sur arXiv, j'y vois surtout un argumentaire pour l'introduction en bourse, pas une percée scientifique. Le coût à 2000 dollars, ça fait un chiffre qui claque, mais il cache tout le tâtonnement qu'il a fallu avant d'y arriver, crois-moi, la vraie facture est plus salée. Selon Le Fil IA, tant qu'OpenAI publiera ses résultats maths sur ses propres serveurs plutôt que là où la communauté scientifique vérifie vraiment, ce sera du marketing déguisé en recherche, pas l'inverse.

RechercheOpinion
1 source
OpenAI repousse les limites du raisonnement automatisé avec ce qu'il appelle une avancée majeure en mathématiques
3The Decoder 

OpenAI repousse les limites du raisonnement automatisé avec ce qu'il appelle une avancée majeure en mathématiques

Un modèle de raisonnement d'OpenAI vient de réfuter une conjecture du mathématicien Paul Erdős portant sur la géométrie des distances unitaires, restée ouverte depuis 1946. Pour y parvenir, le modèle a mobilisé des outils issus de la théorie algébrique des nombres, une approche que les spécialistes du domaine n'avaient jamais envisagée dans ce contexte. La médaille Fields Tim Gowers, l'une des plus grandes autorités mondiales en mathématiques, a qualifié le résultat de "jalon dans les mathématiques de l'IA", et la communauté scientifique est désormais en train d'en analyser les détails techniques. L'impact va bien au-delà d'un simple exercice de calcul. En invalidant une conjecture vieille de 80 ans par un chemin conceptuellement inattendu, l'IA démontre une capacité à explorer des espaces de solutions que les chercheurs humains auraient peu de chances d'emprunter spontanément. Tim Gowers lui-même avertit : "Nous sommes probablement entrés dans une ère où il deviendra très difficile pour les humains de rivaliser avec l'IA dans la résolution de problèmes mathématiques." Ce n'est plus une promesse, c'est un constat d'un pair reconnu. Les conjectures d'Erdős forment l'un des corpus de problèmes ouverts les plus célèbres des mathématiques modernes, et beaucoup résistent depuis des décennies. OpenAI s'inscrit dans une course engagée avec Google DeepMind et d'autres, qui cherchent tous à démontrer que leurs modèles peuvent produire de véritables avancées scientifiques, et pas seulement assister les chercheurs. Cette démonstration pourrait accélérer l'intégration de l'IA dans les laboratoires de mathématiques pures, et relancer le débat sur ce que signifie "comprendre" en mathématiques.

UELes chercheurs en mathématiques des universités françaises et européennes pourraient être amenés à reconsidérer le rôle de l'IA comme outil de découverte scientifique dans leurs laboratoires de recherche fondamentale.

💬 Ce n'est pas qu'il a résolu un problème d'Erdős vieux de 80 ans qui m'intéresse, c'est le chemin emprunté. Passer par la théorie algébrique des nombres là où personne ne regardait, c'est exactement le genre de détour qu'un chercheur humain n'aurait pas pris (trop risqué, trop loin des habitudes du domaine). Quand Gowers, médaille Fields, dit qu'on entre dans une ère difficile pour les humains en maths, c'est pas de la provoc, c'est un constat.

RecherchePaper
1 source
Cette startup veut changer la façon dont les mathématiciens font des maths
4MIT Technology Review 

Cette startup veut changer la façon dont les mathématiciens font des maths

Axiom Math, une startup basée à Palo Alto en Californie, a lancé un outil gratuit baptisé Axplorer, conçu pour aider les mathématiciens à découvrir des patterns mathématiques susceptibles de débloquer des problèmes restés sans solution depuis des décennies. L'outil est une refonte de PatternBoost, développé en 2024 par François Charton, aujourd'hui chercheur chez Axiom, lorsqu'il travaillait encore chez Meta. Là où PatternBoost nécessitait un supercalculateur, Axplorer tourne sur un simple Mac Pro. L'an dernier, PatternBoost avait permis de résoudre un problème réputé difficile en théorie des graphes, le problème des quatre-cycles de Turán, un défi qui consiste à maximiser le nombre de connexions entre des points sans former de boucles à quatre nœuds. Axiom Math a également utilisé un autre de ses outils, AxiomProver, pour résoudre quatre problèmes mathématiques majeurs en 2025. La démarche d'Axiom s'inscrit dans un mouvement plus large : rendre accessibles des outils d'IA puissants à l'ensemble de la communauté mathématique, et non plus seulement aux équipes disposant de clusters GPU. C'est précisément ce que souligne la fondatrice et PDG de la startup, Carina Hong : les mathématiques ne se résument pas à trouver des solutions à des problèmes existants, elles sont avant tout exploratoires. Charton, lui, est sceptique face aux récents succès des grands modèles de langage comme GPT-5 sur des problèmes ouverts, notamment ceux laissés par le mathématicien Paul Erdős. Selon lui, ces victoires concernent des problèmes peu étudiés, pas les grands défis sur lesquels les meilleurs esprits ont travaillé pendant des années. Axplorer adopte une approche différente : l'utilisateur soumet un exemple, l'outil en génère d'autres similaires, l'utilisateur sélectionne les plus prometteurs, et le cycle recommence, une logique proche de celle d'AlphaEvolve de Google DeepMind, mais accessible à tous. Les avancées en mathématiques ont des répercussions profondes sur l'informatique, l'IA de nouvelle génération et la sécurité internet. Cette initiative s'inscrit dans le cadre du programme expMath (Exponentiating Mathematics) lancé par la DARPA, l'agence de recherche avancée du Pentagone, pour encourager l'adoption des outils d'IA dans la recherche mathématique fondamentale.

UEL'outil gratuit Axplorer est accessible à toute la communauté mathématique européenne, et son co-créateur François Charton est un chercheur français.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic