OpenAI désignée comme leader émergent dans l'IA générative

Entraînés sur des tokens, calibrés sur des concepts : l'émergence de la calibration sémantique dans les LLMs

Les grands modèles de langage (LLMs) seraient capables d'évaluer leur propre niveau de confiance sur le sens de leurs réponses, et non plus seulement sur le prochain token prédit. Une nouvelle étude révèle que les modèles de base, sans entraînement spécifique à cet effet, font preuve d'une calibration sémantique remarquable sur des tâches de questions-réponses en domaine ouvert. Cette découverte est importante car elle remet en question un défaut supposé structurel des LLMs : leur incapacité à quantifier leur incertitude de manière fiable. Un modèle bien calibré sémantiquement peut reconnaître quand il "ne sait pas vraiment", une propriété critique pour des applications à fort enjeu comme la médecine, le droit ou la recherche d'information, où des hallucinations confiantes sont particulièrement dangereuses. Les chercheurs ont utilisé une approche d'échantillonnage pour mesurer la calibration : en générant plusieurs réponses à la même question et en comparant leur cohérence sémantique, ils obtiennent un proxy de la confiance du modèle. Le résultat central est que les modèles de base, avant tout fine-tuning ou alignement RLHF, sont déjà calibrés à ce niveau conceptuel, ce qui suggère que cette propriété émerge de la pré-entraînement sur de vastes corpus textuels. L'article apporte également une contribution théorique expliquant le mécanisme sous-jacent à cette émergence. Ces travaux ouvrent la voie à de nouvelles méthodes d'estimation de l'incertitude sans coût d'entraînement supplémentaire, et pourraient influencer la façon dont les praticiens évaluent et déploient les LLMs dans des contextes exigeant fiabilité et transparence.

Comment l'IA améliore la santé cardiaque dans l'Australie rurale

Une nouvelle initiative de Google IA vise à améliorer les résultats en matière de santé cardiaque pour les populations vivant dans les communautés rurales et reculées d'Australie.

Le Pentagone désigne Anthropic comme un risque pour la chaîne d'approvisionnement

Le Pentagone a officiellement désigné Anthropic comme un risque dans la chaîne d'approvisionnement, en faisant ainsi la première entreprise américaine à recevoir cette étiquette. Simultanément, le Département de la Défense utilise toujours les technologies d'IA d'Anthropic en Iran.

L’IA générative bouscule la recherche en mathématiques

42 est toujours la réponse, de toute façon. En mai dernier, OpenAI a annoncé qu'un de ses modèles internes avait résolu l'un des problèmes d'Erdős, celui des distances unitaires, numéroté 90. Ce n'était pas une première tentative : dès novembre, l'entreprise affirmait déjà que GPT-5 avait trouvé des solutions à dix problèmes posés par le mathématicien Paul Erdős, des résultats que le média Next qualifie de largement gonflés. Cette fois, le 20 mai, neuf mathématiciens et mathématiciennes ont mis en ligne sur la plateforme arXiv leurs remarques sur la démonstration produite par OpenAI, validant au passage sa réalité. David Madore, maître de conférences en mathématiques à Télécom ParisTech, confirme sans détour : « C'est indiscutable que des problèmes d'Erdős ont été résolus par des IA génératives. » Il précise toutefois que les premières annonces étaient exagérées, certaines IA ayant simplement retrouvé des résultats déjà présents dans la littérature scientifique. Cette percée soulève des questions concrètes sur la nature réelle des progrès accomplis et sur ce qu'elle change pour la recherche en mathématiques. Thomas Bloom, mathématicien à l'université de Manchester, souligne que la preuve initiale de l'IA, bien que valide, a été considérablement améliorée par les chercheurs humains d'OpenAI et par de nombreux autres mathématiciens ayant contribué à l'article. Melanie Matchett Wood, professeure à Harvard, va plus loin en avançant que si l'expertise humaine mobilisée pour vérifier et affiner la solution avait été employée en amont pour chercher un contre-exemple à la conjecture, les mathématiciens auraient probablement pu la résoudre eux-mêmes. Ces nuances comptent : elles rappellent que la résolution de ces problèmes reste un travail collaboratif entre machine et humains, et non une démonstration d'autonomie totale de l'IA. Le contexte de cette controverse tient à la stratégie de communication des entreprises d'IA générative, qui cherchent depuis plusieurs mois à convaincre que leurs modèles atteignent le niveau d'un chercheur professionnel. David Madore relativise la portée de l'exploit en rappelant que les problèmes d'Erdős, bien que non triviaux, reposent généralement sur des outils et des définitions peu sophistiqués comparés à d'autres pans des mathématiques. Il note aussi qu'OpenAI a utilisé un modèle interne aux caractéristiques non divulguées, sans préciser le temps de calcul nécessaire à la résolution, ce qui limite la possibilité d'évaluer objectivement la performance. Le mathématicien reconnaît malgré tout qu'un problème important a été résolu de façon essentiellement autonome par l'IA, tout en insistant sur le fait que ce succès reste isolé parmi de nombreux autres problèmes soumis aux modèles sans résultat probant, et qu'il ne s'agit en rien du « Saint Graal des mathématiques ».

💬 Un problème d'Erdős tombé, c'est réel, Madore le confirme sans détour. Mais regarde qui a fait le travail : la preuve de l'IA, les mathématiciens l'ont largement retapée après coup, et une chercheuse d'Harvard estime que si cette énergie humaine avait été mise en amont, ils l'auraient sans doute trouvée seuls. Ce qui se confirme surtout, une fois de plus, c'est que les annonces des boîtes d'IA sortent gonflées et que seule la vérification par les pairs, des mois plus tard, dit ce qui tient vraiment debout.