Aller au contenu principal
OutilsMarkTechPost3h

LiteLLM Agent Platform : une infrastructure Kubernetes auto-hébergée pour sandboxes d'agents isolés et gestion de sessions en production

Résumé IASource uniqueImpact UE
Source originale ↗·

BerriAI, la société à l'origine de la passerelle LiteLLM AI Gateway, vient de publier en open source une nouvelle infrastructure appelée LiteLLM Agent Platform, conçue pour déployer des agents d'intelligence artificielle en production à grande échelle. La plateforme est principalement écrite en TypeScript (92,8 %), s'appuie sur un tableau de bord Next.js tournant sur le port 3000, et utilise PostgreSQL comme base de données persistante. Elle repose sur Kubernetes via le CRD (Custom Resource Definition) kubernetes-sigs/agent-sandbox pour gérer des environnements d'exécution isolés, et supporte le développement local grâce à kind (Kubernetes in Docker), qui simule un cluster complet sans infrastructure cloud. Le démarrage local ne requiert que deux commandes : bin/kind-up.sh pour provisionner le cluster, puis docker compose up pour lancer les services.

Le problème central que résout cette plateforme est celui de la persistance d'état et de l'isolation dans les déploiements multi-équipes. Un agent IA est par nature stateful : il conserve l'historique de session, les résultats d'appels d'outils et le raisonnement intermédiaire entre chaque échange. Si le conteneur qui l'héberge plante ou est remplacé lors d'un déploiement, tout cet état disparaît. En parallèle, des équipes différentes ont besoin d'environnements distincts, avec des secrets, des outils et des périmètres d'accès spécifiques, ce qui interdit de tout regrouper dans un seul conteneur partagé. LiteLLM Agent Platform répond à ces deux contraintes : elle garantit la continuité de session à travers les redémarrages de pods, et fournit des sandboxes isolés par équipe et par contexte. La gestion des variables d'environnement illustre cette philosophie : toute variable préfixée CONTAINERENV dans le fichier .env est injectée dans chaque sandbox en supprimant le préfixe, permettant de transmettre des secrets comme GITHUB_TOKEN sans modifier les images de conteneur.

Cette sortie s'inscrit dans une tendance plus large de l'industrie à professionnaliser l'infrastructure agentique, jusqu'ici souvent gérée de manière artisanale. BerriAI maintient également un dépôt séparé, litellm-agent-runtime, décrit comme un runtime générique pour agents de code tournant dans des machines virtuelles provisionnées à la volée par le proxy LiteLLM. La plateforme intègre aussi un système de harnais sous harnesses/opencode, permettant de faire tourner des agents comme Claude Code ou OpenAI Codex dans des sandboxes isolés, avec un proxy Vault pour la gestion des credentials. L'enjeu est de permettre aux entreprises de passer d'expérimentations locales à des déploiements robustes en production, sans avoir à construire elles-mêmes cette couche d'infrastructure. La disponibilité en open source abaisse la barrière d'entrée et pourrait accélérer l'adoption de workflows agentiques dans des contextes professionnels exigeants.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les agents IA ratent toutes les discussions de votre équipe. SageOX propose une infrastructure de contexte pour agents autonomes
1VentureBeat AI 

Les agents IA ratent toutes les discussions de votre équipe. SageOX propose une infrastructure de contexte pour agents autonomes

SageOX, une startup de Seattle fondée par des vétérans ayant construit l'infrastructure originale d'AWS EC2 et EBS, est sortie du mode furtif en annonçant un tour de financement de 15 millions de dollars mené par Canaan, avec la participation d'A.Capital, Pioneer Square Labs et Founders' Co-op. L'entreprise, dirigée par Ajit Banerjee, ancien ingénieur chez Hugging Face, Meta, Amazon et Apple, commercialise ce qu'elle appelle une "infrastructure de contexte agentique" : un système conçu pour garder les agents IA aussi informés que les employés humains sur les décisions, discussions et objectifs d'une équipe. La suite produit repose sur deux composants principaux : l'Ox Dot, un petit appareil physique placé dans les espaces partagés qui enregistre réunions et séances de travail d'une simple pression, et l'Ox CLI, un outil en ligne de commande open source sous licence MIT qui permet aux assistants de codage comme Claude Code ou Codex d'interroger la mémoire collective de l'équipe avant d'écrire du code. Le problème que SageOX cherche à résoudre est celui du "drift" des agents, c'est-à-dire leur tendance à s'écarter des intentions réelles de l'équipe parce qu'ils démarrent chaque tâche sans historique ni contexte. Si une équipe décide en réunion d'utiliser un schéma d'authentification précis, l'agent de codage l'ignorera complètement, sauf si quelqu'un le lui précise explicitement dans chaque prompt. L'Ox Dot capture audio, transcrit et identifie les intervenants, puis distille ces échanges en une mémoire d'équipe accessible aux humains et aux agents. Sa fonctionnalité "Auto Rewind" permet même de capturer rétrospectivement une conversation informelle qui s'est tenue sans enregistrement, évitant la perte de décisions prises lors d'échanges spontanés. La commande ox agent prime intègre ensuite cet historique directement dans le contexte de travail des agents. Le problème de l'"ingénierie du contexte" est l'un des défis majeurs non résolus de l'ère agentique. À mesure que les grands fournisseurs de modèles comme OpenAI, Anthropic ou Google descendent dans la chaîne de valeur en proposant leurs propres agents métier, la question de comment équiper ces agents d'un contexte riche et fidèle à la réalité d'une organisation reste entière. SageOX parie que la réponse n'est pas dans le prompt engineering ou la documentation statique, mais dans une couche d'infrastructure dédiée qui capte le contexte là où il se forme naturellement : conversations, tableaux blancs, standups. Ryan Snodgrass, CTO et ancien d'Amazon, pousse même plus loin en remettant en question les principes classiques de gestion de code source, estimant que les historiques "propres" de commits sont souvent contre-productifs pour les agents. La startup s'attaque ainsi à un marché encore peu balisé, à l'intersection de la collaboration d'équipe et de l'orchestration agentique.

OutilsOutil
1 source
2VentureBeat AI 

Salesforce lance Headless 360 pour transformer sa plateforme en infrastructure pour agents autonomes

Salesforce a dévoilé mercredi, lors de sa conférence annuelle TDX à San Francisco, la transformation architecturale la plus ambitieuse de ses 27 ans d'histoire. L'initiative baptisée "Headless 360" expose l'intégralité des fonctionnalités de la plateforme sous forme d'API, d'outils MCP (Model Context Protocol) ou de commandes CLI, permettant à des agents IA d'opérer le système complet sans jamais ouvrir un navigateur. Plus de 100 nouveaux outils et compétences sont disponibles immédiatement pour les développeurs, dont plus de 60 outils MCP et 30 compétences préconfigurées donnant aux agents de codage comme Claude Code, Cursor, Codex ou Windsurf un accès direct et complet à l'ensemble d'une organisation Salesforce, données, workflows et logique métier inclus. L'environnement natif Agentforce Vibes 2.0 intègre désormais un "open agent harness" compatible avec le SDK agent d'Anthropic et celui d'OpenAI, avec support multi-modèles incluant Claude Sonnet et GPT-5. Une nouveauté technique notable : le support natif de React sur la plateforme, permettant aux développeurs de construire des interfaces front-end sans passer par le framework propriétaire Lightning de Salesforce. Cette annonce répond à une question existentielle qui pèse sur tout le secteur des logiciels d'entreprise : dans un monde où les agents IA savent raisonner, planifier et exécuter des tâches, une interface graphique a-t-elle encore une raison d'être ? Salesforce tranche clairement par la négative. La décision a été prise il y a deux ans et demi de reconstruire la plateforme pour les agents, en exposant les capacités plutôt qu'en les enfouissant derrière une interface. Pour Jayesh Govindarjan, vice-président exécutif et l'un des architectes de l'initiative, l'enjeu central est le cycle de vie complet du développement agentique : construire un agent n'est que la première étape, et les entreprises clientes font face à des défis concrets de déploiement, de gestion et d'intégration que Headless 360 entend résoudre à grande échelle. Salesforce lance cette offensive dans l'un des contextes les plus turbulents de l'histoire des logiciels SaaS. L'ETF iShares Expanded Tech-Software Sector a chuté d'environ 28 % depuis son pic de septembre 2025, alimenté par la crainte que les grands modèles de langage d'Anthropic, OpenAI et d'autres rendent les modèles économiques SaaS traditionnels obsolètes. En transformant sa plateforme en infrastructure programmable pour agents, Salesforce tente de se repositionner non plus comme un CRM avec une interface, mais comme un système d'exploitation pour l'entreprise agentique. La deuxième couche de l'initiative, l'"Agentforce Experience Layer", sépare ce qu'un agent fait de la façon dont il s'affiche, rendant des composants interactifs nativement sur Slack, mobile et autres surfaces, signe que le groupe mise sur une ubiquité d'exécution bien au-delà du navigateur.

UELes grandes entreprises françaises et européennes utilisant Salesforce devront revoir leur architecture IT et leurs stratégies d'automatisation face à ce basculement vers un modèle agent-first sans interface graphique traditionnelle.

OutilsOpinion
1 source
Les agents IA ont besoin d'une infrastructure d'interaction
3AI News 

Les agents IA ont besoin d'une infrastructure d'interaction

Band, une startup fondée à Tel Aviv et San Francisco, est sortie de sa phase stealth avec un tour de table de 17 millions de dollars pour résoudre un problème fondamental de l'IA en entreprise : l'absence d'infrastructure dédiée à la coordination entre agents autonomes. Dirigée par le CEO Arick Goomanovsky et le CTO Vlad Luzin, la société part du constat que les réseaux d'entreprise hébergent désormais des dizaines d'agents IA capables de raisonner et d'agir de manière indépendante, qu'il s'agisse de gérer des pipelines d'ingénierie, de traiter des tickets de support client ou de surveiller la sécurité informatique. Mais quand ces agents doivent collaborer, partager du contexte ou opérer ensemble dans des environnements cloud hétérogènes, les intégrations se fragilisent et les opérateurs humains se retrouvent à jouer les intermédiaires manuels entre des systèmes déconnectés. Le problème n'est pas anodin sur le plan financier. Sans couche de gouvernance centralisée, les workflows multi-agents génèrent des coûts incontrôlés : chaque échange entre agents déclenche des appels API vers des grands modèles de langage coûteux, et une simple erreur de routage ou une boucle entre deux agents peut engloutir des budgets cloud en quelques heures. Band entend imposer des disjoncteurs financiers stricts, capables d'interrompre automatiquement les interactions qui dépassent des seuils prédéfinis en tokens ou en calcul. L'enjeu dépasse le coût technique : une négociation non surveillée entre un agent d'achat interne et un modèle fournisseur externe pourrait déclencher des centaines de cycles d'inférence pour une transaction sans réelle valeur commerciale. Le timing de Band s'explique par trois évolutions simultanées du marché. Les agents IA ne sont plus des expérimentations : ils opèrent en production dans des grandes entreprises, souvent développés par des équipes différentes, sur des frameworks distincts, hébergés chez des cloud providers concurrents. Cette fragmentation est structurelle et durable. Par ailleurs, des standards émergent, comme le Model Context Protocol (MCP) pour l'accès aux outils externes, ou les initiatives A2A pour standardiser les communications inter-agents. Mais ces protocoles définissent le langage commun, pas l'environnement opérationnel : ils ne gèrent ni le routage, ni la reprise sur erreur, ni les frontières d'autorisation, ni la supervision humaine. Band compare sa position à celle des API gateways face aux microservices dans les années 2010 : quand les systèmes distribués prolifèrent, ajouter de la logique métier ne suffit plus, il faut une infrastructure d'interaction dédiée pour maintenir fiabilité et contrôle à l'échelle.

OutilsOutil
1 source
Anthropic lance une infrastructure gérée pour agents IA autonomes
4The Decoder 

Anthropic lance une infrastructure gérée pour agents IA autonomes

Anthropic a lancé "Claude Managed Agents", une infrastructure hébergée permettant aux développeurs de construire et déployer des agents IA autonomes directement sur les serveurs de l'entreprise. Ce service géré prend en charge l'exécution des agents, la gestion des sessions, la mémoire persistante et l'orchestration des tâches longues, sans que les équipes techniques n'aient à gérer elles-mêmes l'infrastructure sous-jacente. Notion et Rakuten font partie des premiers partenaires à avoir adopté la plateforme, intégrant ces agents dans leurs produits pour automatiser des flux de travail complexes. L'enjeu est significatif : jusqu'ici, déployer des agents IA fiables en production exigeait une ingénierie considérable pour gérer les états, les interruptions, les erreurs et la durée de vie des sessions. En proposant cette couche d'infrastructure clé en main, Anthropic abaisse la barrière d'entrée pour les entreprises qui veulent aller au-delà des simples chatbots vers des systèmes capables d'agir de façon autonome sur des tâches multi-étapes, comme la recherche, la rédaction ou l'automatisation de processus métiers. Ce lancement s'inscrit dans une course accélérée entre les grands acteurs de l'IA pour capter le marché des agents. OpenAI a déployé ses propres capacités agentiques via l'API Assistants et les outils de l'opérateur, tandis que Google mise sur Vertex AI Agent Builder. Anthropic, fort d'un financement de plusieurs milliards de dollars notamment d'Amazon et Google, positionne cette offre managée comme un argument commercial direct face aux entreprises qui hésitent à construire leur propre stack agentique.

UELes entreprises européennes peuvent bénéficier de cette infrastructure gérée pour déployer des agents IA sans développer leur propre stack technique, mais aucun acteur ou régulateur européen n'est directement impliqué.

💬 Ce qui bloquait tout le monde jusqu'ici, c'était pas l'agent, c'était la plomberie derrière : états, sessions, interruptions, tâches qui durent des heures. Anthropic prend ça en charge, et j'y vois surtout une arme commerciale directe pour aller chercher les boîtes qui voulaient dépasser le chatbot sans construire leur propre stack. Ça va accélérer fort, et OpenAI va répondre vite.

OutilsOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour