Databricks et l’Open Secure AI Alliance : la suite open source pour automatiser le red teaming de l’IA
Databricks a officialisé son adhésion à l'Open Secure AI Alliance en tant que membre fondateur, aux côtés de NVIDIA et de plus de 75 autres acteurs du secteur technologique. Cette initiative vise à mutualiser en open source des cadres de recherche, des modèles et des outils d'inspection dédiés à la sécurité de l'intelligence artificielle. Databricks y apporte plusieurs briques concrètes. BlackIce, une solution conteneurisée déjà téléchargée plus de 6 000 fois, regroupe 14 outils d'évaluation de sécurité en un seul environnement clé en main, permettant de simuler des injections de prompt, des fuites de données ou des compromissions de chaîne d'approvisionnement sans configuration manuelle complexe. En parallèle, l'entreprise publie la version 3.0 de son Databricks AI Security Framework (DASF 3.0) sous licence CC BY-SA 4.0, un référentiel qui recense 97 risques techniques répartis sur 13 composants et les relie à 73 mesures de protection, en s'alignant sur les standards existants comme MITRE ATLAS et l'OWASP Top 10 pour les LLM. Databricks introduit également Omnigent, sous licence Apache 2.0, un méta-harnais capable de piloter plus de 13 frameworks d'agents différents et de faire respecter des politiques d'exécution comme le suivi de sessions ou le plafonnement des coûts.
Résumé et traduction réalisés par Le Fil IA à partir de Le Big Data. Lire l'article original →
Cette annonce répond à un problème très concret : l'essor des agents IA autonomes multiplie les surfaces d'attaque que les outils de sécurité traditionnels ne savent pas détecter, qu'il s'agisse de manipulation d'objectifs, d'empoisonnement de mémoire ou de failles dans le protocole Model Context Protocol. Pour les équipes DevSecOps, l'enjeu est de taille, car auditer un agent avant sa mise en production exigeait jusqu'ici de combiner manuellement une dizaine d'outils hétérogènes, ce qui allongeait les délais et les coûts de validation. En rendant BlackIce et DASF 3.0 librement accessibles et interopérables avec les standards du marché, Databricks et ses partenaires cherchent à réduire ce temps d'audit et à donner aux entreprises une taxonomie commune des risques propres à l'IA agentique, plutôt que de laisser chaque organisation réinventer ses propres critères de sécurité.
Cette initiative s'inscrit dans un mouvement plus large où la sécurisation de l'IA ne peut plus se limiter à la protection des poids des modèles, mais doit couvrir toute la pile d'exécution, de l'audit préalable à la supervision en production. Databricks complète ainsi son dispositif avec le Databricks AI Governance Framework (DAGF) et Unity Catalog, sa solution de catalogue de données et de modèles désormais confiée à la Linux Foundation, afin d'assurer une traçabilité de bout en bout. L'intégration native d'Omnigent avec NVIDIA OpenShell illustre par ailleurs la volonté de lier contrôle applicatif et contrôle au niveau du système hôte, une convergence que d'autres membres de l'alliance devraient probablement approfondir dans les mois à venir.
Les entreprises europeennes pourront utiliser gratuitement ces outils open source pour auditer la securite de leurs agents IA, mais aucun acteur francais n'est implique dans cette alliance.