Aller au contenu principal
Comprendre les injections de prompts : un défi de sécurité aux frontières
RechercheOpenAI Blog26sem

Comprendre les injections de prompts : un défi de sécurité aux frontières

Résumé IASource uniqueImpact UE
Source originale ↗·

Les injections de prompts constituent un défi de sécurité majeur pour les systèmes d'IA. OpenAI travaille à avancer dans la recherche, la formation des modèles et la mise en place de mesures de protection pour les utilisateurs.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Comprendre les réseaux neuronaux à travers des circuits sparse
1OpenAI Blog 

Comprendre les réseaux neuronaux à travers des circuits sparse

OpenAI étudie l'interprétabilité mécanistique pour comprendre comment les réseaux neuronaux raisonnent. Une nouvelle approche basée sur des circuits épars pourrait rendre les systèmes d'IA plus transparents et favoriser un comportement plus sûr et fiable.

RecherchePaper
1 source
Présentation de l'Éducation pour les Nations
2OpenAI Blog 

Présentation de l'Éducation pour les Nations

Initiative OpenAI: Edu for Countries aide les gouvernements à utiliser l'IA pour moderniser les systèmes éducatifs et préparer les futurs travailleurs. Fact-clés: - OpenAI lance Edu for Countries pour soutenir les gouvernements dans l'intégration de l'IA dans l'éducation. - Objectif: moderniser les systèmes éducatifs et former des travailleurs prêts pour l'avenir.

RechercheOutil
1 source
3The Decoder 

OpenAI transforme la compression de modèle en chasse aux talents avec son défi « Parameter Golf » à 16 Mo

OpenAI lance le défi "Parameter Golf" : créer le meilleur modèle de langage possible en seulement 16 Mo. La compétition vise à repousser les limites de la compression de modèles, tout en servant de vivier pour recruter des talents parmi les chercheurs participants.

RechercheActu
1 source
Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base
4VentureBeat AI 

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base

Des chercheurs de plusieurs universités ont publié Memento-Skills, un nouveau cadre technique qui permet à des agents IA d'améliorer leurs propres compétences de manière autonome, sans modifier ni réentraîner le modèle de langage sous-jacent. Contrairement aux approches classiques qui figent les capacités d'un agent après son déploiement, Memento-Skills fonctionne comme une mémoire externe évolutive : le système stocke des compétences sous forme de fichiers markdown structurés, chacun composé de trois éléments, une spécification déclarative, des instructions pour guider le raisonnement du modèle, et du code exécutable. Lorsqu'il rencontre une nouvelle tâche, l'agent interroge un routeur spécialisé pour récupérer la compétence la plus pertinente sur le plan comportemental, l'exécute, puis met à jour sa base de connaissances en fonction du résultat obtenu. Ce mécanisme, baptisé "Read-Write Reflective Learning", traite chaque exécution comme une itération active de politique plutôt qu'un simple journal de bord passif. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, adapter un agent à son environnement implique soit de fine-tuner les poids du modèle, une opération coûteuse en données et en temps, soit de concevoir manuellement de nouvelles compétences, ce qui exige un effort opérationnel permanent. Memento-Skills contourne ces deux obstacles. Le système corrige également un défaut majeur des architectures RAG classiques : la récupération par similarité sémantique. Un agent standard pourrait retrouver un script de "réinitialisation de mot de passe" pour résoudre une requête de "traitement de remboursement", simplement parce que les deux documents partagent du vocabulaire d'entreprise. Le routeur de Memento-Skills sélectionne au contraire la compétence la plus utile sur le plan comportemental, indépendamment de la proximité lexicale. Ce travail s'inscrit dans une réflexion plus large sur les limites des grands modèles de langage une fois déployés : leurs paramètres sont figés, et ils ne peuvent pas intégrer de nouvelles connaissances sans réentraînement. Plusieurs approches tentent d'y remédier, mémoire contextuelle, fine-tuning continu, bibliothèques de compétences manuelles, mais aucune ne combinait jusqu'ici apprentissage autonome, récupération comportementale et mise à jour réflexive en un seul système cohérent. Jun Wang, co-auteur du papier, positionne Memento-Skills comme un complément aux outils existants comme OpenClaw ou Claude Code. Si les résultats se confirment à plus grande échelle, ce type de cadre pourrait redéfinir la manière dont les agents IA évoluent en environnement réel, en déplaçant la charge d'adaptation des ingénieurs vers le système lui-même.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour