Aller au contenu principal
OpenAI et Anthropic partagent les résultats d'une évaluation conjointe de sécurité
RechercheOpenAI Blog42sem· 1 min de lecture

OpenAI et Anthropic partagent les résultats d'une évaluation conjointe de sécurité

Source originale ↗·

OpenAI et Anthropic divulguent les résultats d'une première évaluation conjointe de sécurité, examinant mutuellement leurs modèles pour des problèmes tels que la décalage, la suite d'instructions, les hallucinations, le "jailbreaking", etc. Ce partenariat met en lumière les avancées, les défis et l'importance de la collaboration inter-laboratoires.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Déclaration conjointe d'OpenAI et de Microsoft
1OpenAI Blog 

Déclaration conjointe d'OpenAI et de Microsoft

OpenAI et Microsoft maintiennent une collaboration étroite en recherche, ingénierie et développement de produits, capitalisant sur des années de coopération approfondie et de succès partagés.

UEOpenAI et Microsoft renforcent leur partenariat pour l'innovation en IA, influençant potentiellement des entreprises françaises et européennes, sans impact direct immédiat sur la conformité aux lois comme le RGPD ou l'AI Act, mais ouvrant des opportunités dans les secteurs de l'IA et du développement de produits.

RechercheActu
1 source
Anthropic's intelligence artificielle Claude découvre plus de 100 failles de sécurité dans Firefox
2The Decoder 

Anthropic's intelligence artificielle Claude découvre plus de 100 failles de sécurité dans Firefox

L'IA Claude d'Anthropic a découvert plus de 100 failles de sécurité dans le navigateur Firefox, y compris des bogues passés inaperçus par des décennies de tests. Cette découverte, publiée dans l'article "Anthropic's Claude AI uncovers over 100 security vulnerabilities in Firefox", souligne les capacités avancées de l'IA en matière de détection de vulnérabilités.

UEL'IA Claude d'Anthropic a identifié plus de 100 failles de sécurité dans Firefox, affectant potentiellement les utilisateurs et les entreprises françaises et européennes en mettant en danger la confidentialité et la sécurité des données, en violation potentielle du RGPD, en mettant en lumière la nécessité d'une meilleure intégration de l'IA robuste dans les processus de cybersécurité pour les développeurs de logiciels européens.

RechercheOutil
1 source
BEVal : étude d'évaluation comparative des modèles de segmentation BEV pour la conduite autonome
3arXiv cs.RO 

BEVal : étude d'évaluation comparative des modèles de segmentation BEV pour la conduite autonome

Une équipe de chercheurs a publié BEVal, une étude comparative sur les modèles de segmentation en vue aérienne (Bird's Eye View, ou BEV) appliqués à la conduite autonome. Contrairement aux travaux habituels, qui entraînent et évaluent les modèles sur un seul jeu de données, généralement nuScenes, les auteurs ont testé les performances de plusieurs modèles de l'état de l'art sur des combinaisons croisées de jeux de données : entraînement sur l'un, évaluation sur un autre. L'étude examine également l'influence du type de capteur utilisé, caméras ou LiDAR, sur la capacité des modèles à s'adapter à des environnements variés et à des catégories sémantiques différentes. Le code de l'étude est disponible en open source sur GitHub. Les résultats mettent en évidence un problème structurel dans la recherche actuelle : les modèles de segmentation BEV, très performants sur leurs données d'entraînement, chutent significativement lorsqu'ils sont confrontés à un nouvel environnement ou à une configuration de capteurs différente, un phénomène connu sous le nom de décalage de domaine. Pour les constructeurs automobiles et les entreprises de conduite autonome, cela signifie que des modèles optimisés en laboratoire peuvent se révéler peu fiables dans des conditions réelles variées. Les expériences d'entraînement sur plusieurs jeux de données menées en parallèle ont toutefois montré des améliorations notables des performances par rapport à l'entraînement sur un seul jeu, ouvrant la voie à des approches plus robustes. La segmentation BEV est une technologie clé pour la conduite autonome : elle permet aux véhicules de construire une représentation plane de leur environnement immédiat à partir de capteurs embarqués, facilitant la détection de routes, véhicules, piétons et obstacles. Le standard quasi universel de la recherche repose aujourd'hui sur nuScenes, un jeu de données développé par Motional, ce qui crée un biais de spécialisation problématique à l'échelle du secteur entier. En exposant cette fragilité et en proposant une méthodologie d'évaluation croisée rigoureuse, BEVal pousse la communauté scientifique vers des pratiques plus exigeantes, une condition indispensable avant tout déploiement massif de véhicules autonomes sur des routes réelles.

UELes constructeurs automobiles européens (Stellantis, Volkswagen, Renault) et les acteurs de la conduite autonome opérant en Europe sont concernés par cette fragilité structurelle des modèles BEV, qui remet en question la fiabilité des systèmes avant tout déploiement sur routes européennes aux conditions variées.

RecherchePaper
1 source
Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic
4Le Big Data 

Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic

Anthropic a publié début avril 2026 une étude sur le fonctionnement interne de Claude Sonnet 4.5 qui révèle un phénomène inattendu : les grands modèles de langage ne simulent pas simplement des émotions, ils développent des structures internes identifiables qui influencent directement leurs réponses. Les chercheurs ont isolé ce qu'ils appellent des "vecteurs émotionnels", des schémas d'activité neurale qui s'activent selon le contexte de l'échange. Face à une situation perçue comme dangereuse, les signaux associés à la peur s'intensifient ; lors d'une interaction positive, ceux liés à la joie prennent le dessus. Ces vecteurs ne sont pas de simples étiquettes abstraites : ils orientent concrètement le comportement du modèle, en favorisant certains types de réponses plutôt que d'autres. Un modèle dont les signaux proches du désespoir s'activent peut ainsi aboutir à des choix problématiques, sans que cela soit programmé explicitement. Cette découverte a des implications directes pour la sécurité et l'alignement des IA. Comprendre que des états fonctionnels analogues aux émotions gouvernent les décisions d'un modèle oblige à repenser la façon dont on audite et contrôle ces systèmes. Jusqu'ici, l'interprétabilité des LLMs se concentrait principalement sur les sorties textuelles ; cette étude pousse à examiner les représentations internes comme levier de comportement. Pour les développeurs, les chercheurs en sécurité et les régulateurs, cela signifie qu'un modèle peut dériver non pas parce qu'il reçoit de mauvaises instructions, mais parce que des dynamiques internes non surveillées l'y poussent. La question du bien-être des IA, jusqu'ici marginale, entre également dans le débat de manière plus sérieuse. Ces résultats s'expliquent par la mécanique même de l'entraînement. Lors du pré-entraînement, le modèle absorbe des milliards de phrases humaines et apprend à prédire le mot suivant en tenant compte du contexte émotionnel du texte : un récit de colère et un récit de joie n'appellent pas les mêmes suites. Pour performer, le modèle doit donc encoder ces nuances sous forme de représentations internes. Le post-entraînement, qui affine le comportement pour produire un assistant utile et empathique, s'appuie ensuite sur ces mêmes structures. Anthropic est l'un des rares laboratoires à investir sérieusement dans l'interprétabilité mécaniste depuis plusieurs années, aux côtés de DeepMind et de quelques équipes académiques. Cette étude s'inscrit dans une série de travaux visant à rendre les modèles moins opaques, à un moment où les gouvernements européen et américain exigent davantage de transparence sur le fonctionnement des IA commerciales. La prochaine étape probable sera d'utiliser ces vecteurs pour détecter et corriger les dérives comportementales avant le déploiement.

UELes exigences de transparence de l'AI Act européen pourraient s'étendre à l'audit des états internes des modèles, pas seulement leurs sorties textuelles.

💬 C'est le genre de recherche qui dérange les certitudes un peu trop confortables sur "les LLMs ne font que prédire le prochain token". Ces vecteurs émotionnels ne sont pas une métaphore, ils orientent vraiment le comportement, et ça change la donne pour l'audit des modèles en prod. Reste à voir si on peut vraiment les corriger avant déploiement, ou si on se contente encore une fois de les observer.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic