Aller au contenu principal
Garder vos données en sécurité lorsqu'un agent AI clique sur un lien
LLMsOpenAI Blog18sem

Garder vos données en sécurité lorsqu'un agent AI clique sur un lien

Résumé IASource uniqueImpact UE
Source originale ↗·

OpenAI a mis en place des mesures de sécurité intégrées pour protéger les données des utilisateurs lorsqu'un agent IA clique sur un lien, empêchant ainsi l'exfiltration de données via les URLs et l'injection de prompts. Ces protocoles limitent les risques de fuites d'informations sensibles et de manipulation des systèmes par des attaques ciblées.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Présentation de la Mode Lockdown et des étiquettes de Risque Élevé dans ChatGPT
1OpenAI Blog 

Présentation de la Mode Lockdown et des étiquettes de Risque Élevé dans ChatGPT

OpenAI présente le mode Lockdown et les étiquettes « Risque élevé » dans ChatGPT pour renforcer la défense contre les injections de prompts et l'exfiltration de données via l'IA. Ces fonctionnalités visent à aider les organisations à mieux identifier et atténuer les menaces liées à l'utilisation malveillante du modèle.

LLMsOutil
1 source
Anthropic restreint l'accès à Mythos, son nouveau modèle d'IA en cybersécurité
2Ars Technica AI 

Anthropic restreint l'accès à Mythos, son nouveau modèle d'IA en cybersécurité

Anthropic a officiellement lancé Claude Mythos Preview, un modèle d'intelligence artificielle spécialisé dans la cybersécurité, en le réservant à un cercle restreint d'organisations triées sur le volet. Parmi les premiers accès figurent des géants technologiques comme Amazon, Apple et Microsoft, ainsi que des acteurs de la sécurité informatique tels que Broadcom, Cisco et CrowdStrike. La start-up de San Francisco a annoncé ce mardi être également en discussions avec le gouvernement américain concernant un éventuel déploiement dans le secteur public. Ce lancement contrôlé signale qu'Anthropic joue désormais dans la cour des outils offensifs et défensifs de cybersécurité, un marché stratégique et sensible. En limitant l'accès à des organisations vérifiées, la société cherche à éviter que le modèle ne soit détourné à des fins malveillantes, une préoccupation centrale pour les IA capables d'analyser des vulnérabilités ou d'automatiser des attaques. Le partenariat avec des entreprises comme CrowdStrike suggère une orientation vers la détection de menaces et la réponse aux incidents. Ce lancement intervient dans un contexte embarrassant pour Anthropic : des descriptions détaillées du modèle Mythos et d'autres documents internes avaient été découverts le mois dernier dans un cache de données publiquement accessible, révélant l'existence du projet avant toute annonce officielle. Cette fuite avait forcé la main de l'entreprise. Plus largement, la course aux modèles spécialisés en cybersécurité s'intensifie, avec Microsoft, Google et des startups comme Protect AI qui développent également leurs propres solutions, faisant de ce segment l'un des plus disputés de l'IA appliquée.

LLMsActu
1 source
Anthropic confirme que le modèle divulgué représente un saut qualitatif en raisonnement, après une fuite de données
3The Decoder 

Anthropic confirme que le modèle divulgué représente un saut qualitatif en raisonnement, après une fuite de données

Anthropic a involontairement révélé l'existence de son modèle d'intelligence artificielle le plus puissant à ce jour à la suite d'une faille de sécurité basique. La fuite de données a exposé un modèle que la société n'avait pas encore annoncé officiellement, et qu'Anthropic a depuis confirmé représenter un « changement d'étape » significatif dans les capacités de raisonnement par rapport à ses versions précédentes. L'incident s'est produit alors que la startup californienne préparait discrètement ce qui s'annonce comme sa prochaine grande sortie publique. La confirmation par Anthropic que ce modèle constitue une avancée majeure en matière de raisonnement donne un aperçu de la direction que prend la course aux grands modèles de langage. Pour les développeurs et les entreprises qui s'appuient sur les API d'Anthropic, cela signifie qu'une nouvelle génération de capacités — vraisemblablement plus performantes sur les tâches complexes et multi-étapes — est imminente. La fuite force également Anthropic à communiquer plus tôt que prévu sur sa feuille de route technique. Cet épisode s'inscrit dans un contexte de compétition intense entre Anthropic et OpenAI, qui prépare simultanément ses propres modèles de nouvelle génération. Les deux sociétés semblent engagées dans une course pour démontrer leur supériorité technique avant d'éventuelles introductions en bourse ou levées de fonds majeures. Pour Anthropic, fondée en 2021 par d'anciens cadres d'OpenAI et valorisée à plusieurs dizaines de milliards de dollars, chaque annonce produit constitue un signal fort pour investisseurs et partenaires commerciaux.

UELes développeurs et entreprises européennes utilisant l'API Claude d'Anthropic bénéficieront prochainement de capacités de raisonnement améliorées, sans impact réglementaire ou institutionnel direct pour la France ou l'UE.

💬 En tant que développeur, je constate à quel point chaque nouveau modèle représente un bond qualitatif majeur. La facilité avec laquelle les nouveaux modèles identifient les limites de leurs prédécesseurs est stupéfiante — et témoigne d'une accélération qui ne montre aucun signe de ralentissement. L'amélioration récursive complète est-elle vraiment si loin ?

LLMsActu
1 source
Améliorez la précision des appels d'outils de vos agents avec SFT et DPO sur Amazon SageMaker AI
4AWS ML Blog 

Améliorez la précision des appels d'outils de vos agents avec SFT et DPO sur Amazon SageMaker AI

Amazon Web Services publie un guide technique détaillant comment améliorer la précision des appels d'outils dans les agents IA, en combinant deux techniques d'entraînement, le Supervised Fine-Tuning (SFT) et le Direct Preference Optimization (DPO), sur sa plateforme Amazon SageMaker AI. L'exemple concret porte sur Qwen3 1.7B, un petit modèle de langage, entraîné via des jobs SageMaker AI, un service entièrement géré prenant en charge les configurations multi-GPU et multi-nœuds à la demande. L'objectif est d'apprendre à un modèle à sélectionner le bon outil, dans le bon format, sans briser la chaîne d'actions d'un workflow automatisé. Quand un agent IA appelle le mauvais outil ou formate incorrectement ses paramètres, les conséquences sont directes : délais de traitement allongés, taux d'erreurs en hausse, coûts de support accrus et expérience utilisateur dégradée. Pour les organisations qui font passer leurs applications agentiques du pilote à la production, fiabiliser cette couche d'interaction avec les outils externes est devenu un prérequis non négociable. Le SFT permet d'enseigner au modèle le vocabulaire et les contraintes propres à chaque outil via des exemples explicites. Le DPO, lui, raffine ce comportement en intégrant des préférences directement dans la boucle d'entraînement, sous la forme de paires "réponse préférée / réponse rejetée", sans avoir besoin de fonctions de récompense ni de modèles de récompense distincts, ce qui réduit significativement les ressources et le temps d'entraînement par rapport au reinforcement learning classique. Le DPO s'appuie sur des travaux publiés en 2023 (arXiv:2305.18290) et s'intègre notamment via la bibliothèque HuggingFace TRL, qui prend en entrée des triplets prompt / réponse choisie / réponse rejetée. SageMaker AI ajoute une couche d'infrastructure managée : les clusters haute performance se lancent à la demande, s'arrêtent automatiquement en fin de job, et les métriques d'entraînement remontent vers MLflow intégré à SageMaker pour analyse ultérieure. Cette approche en deux temps, SFT pour la connaissance des outils, DPO pour l'alignement fin sur les comportements souhaités, trace une voie praticable pour les équipes qui veulent construire des agents robustes sans gérer elles-mêmes l'infrastructure d'entraînement. À mesure que les modèles plus petits gagnent en précision grâce à ces techniques, la frontière entre un LLM généraliste et un agent spécialisé fiable en production continue de se réduire.

LLMsTuto
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour