LiteLLM Agent Platform : une infrastructure Kubernetes auto-hébergée pour sandboxes d'agents isolés et gestion de sessions en production
BerriAI, la société à l'origine de la passerelle LiteLLM AI Gateway, vient de publier en open source une nouvelle infrastructure appelée LiteLLM Agent Platform, conçue pour déployer des agents d'intelligence artificielle en production à grande échelle. La plateforme est principalement écrite en TypeScript (92,8 %), s'appuie sur un tableau de bord Next.js tournant sur le port 3000, et utilise PostgreSQL comme base de données persistante. Elle repose sur Kubernetes via le CRD (Custom Resource Definition) kubernetes-sigs/agent-sandbox pour gérer des environnements d'exécution isolés, et supporte le développement local grâce à kind (Kubernetes in Docker), qui simule un cluster complet sans infrastructure cloud. Le démarrage local ne requiert que deux commandes : bin/kind-up.sh pour provisionner le cluster, puis docker compose up pour lancer les services.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le problème central que résout cette plateforme est celui de la persistance d'état et de l'isolation dans les déploiements multi-équipes. Un agent IA est par nature stateful : il conserve l'historique de session, les résultats d'appels d'outils et le raisonnement intermédiaire entre chaque échange. Si le conteneur qui l'héberge plante ou est remplacé lors d'un déploiement, tout cet état disparaît. En parallèle, des équipes différentes ont besoin d'environnements distincts, avec des secrets, des outils et des périmètres d'accès spécifiques, ce qui interdit de tout regrouper dans un seul conteneur partagé. LiteLLM Agent Platform répond à ces deux contraintes : elle garantit la continuité de session à travers les redémarrages de pods, et fournit des sandboxes isolés par équipe et par contexte. La gestion des variables d'environnement illustre cette philosophie : toute variable préfixée CONTAINERENV dans le fichier .env est injectée dans chaque sandbox en supprimant le préfixe, permettant de transmettre des secrets comme GITHUB_TOKEN sans modifier les images de conteneur.
Cette sortie s'inscrit dans une tendance plus large de l'industrie à professionnaliser l'infrastructure agentique, jusqu'ici souvent gérée de manière artisanale. BerriAI maintient également un dépôt séparé, litellm-agent-runtime, décrit comme un runtime générique pour agents de code tournant dans des machines virtuelles provisionnées à la volée par le proxy LiteLLM. La plateforme intègre aussi un système de harnais sous harnesses/opencode, permettant de faire tourner des agents comme Claude Code ou OpenAI Codex dans des sandboxes isolés, avec un proxy Vault pour la gestion des credentials. L'enjeu est de permettre aux entreprises de passer d'expérimentations locales à des déploiements robustes en production, sans avoir à construire elles-mêmes cette couche d'infrastructure. La disponibilité en open source abaisse la barrière d'entrée et pourrait accélérer l'adoption de workflows agentiques dans des contextes professionnels exigeants.
Pas d'impact direct sur la France/UE
Le vrai problème en prod agentique, c'est pas le modèle, c'est que ton agent perd tout son contexte dès que le pod redémarre. BerriAI a construit exactement la couche qui manquait, avec isolation par équipe, persistance de session et un démarrage local en deux commandes. Bon, ça reste du Kubernetes sous le capot, donc faut pas se raconter d'histoires sur la complexité opérationnelle.