Aller au contenu principal
Databricks affirme avoir résolu le problème des pipelines de données qui freinait les agents IA depuis des décennies
InfrastructureVentureBeat AI · 2 min de lecture

Databricks affirme avoir résolu le problème des pipelines de données qui freinait les agents IA depuis des décennies

Source originale ↗·

Lors du Data + AI Summit de mardi, Databricks a annoncé deux nouveaux produits conçus pour résoudre un problème vieux de plusieurs décennies dans le domaine des données : la coexistence des bases de données transactionnelles et analytiques. La première annonce, Lakehouse//RT, promet une latence de requête en quelques millisecondes directement sur les tables Delta et Iceberg gouvernées, supprimant la couche de service temps réel distincte que les entreprises maintenaient en parallèle de leurs lakehouses. La seconde, LTAP (Lake Transactional/Analytical Processing), stocke les données transactionnelles natives de Postgres directement en format Delta et Iceberg dès l'écriture, éliminant ainsi les pipelines ETL qui reliaient depuis des décennies les systèmes opérationnels et analytiques. Reynold Xin, cofondateur de Databricks, a qualifié cette simplification de "saint Graal pour les agents" lors d'un entretien avec VentureBeat.

L'enjeu est structurel pour les systèmes d'IA agentiques : un agent qui raisonne en continu et agit sur des données en direct ne peut pas se permettre de traverser des pipelines de transformation avant d'accéder à l'information dont il a besoin. LTAP répond à ce défi en unissant les données au niveau de la couche de stockage, là où des approches comme l'HTAP (Hybrid Transactional/Analytical Processing, popularisé par Gartner en 2014) avaient tenté une convergence au niveau des moteurs de requête. La clé technique réside dans la conversion ligne-colonne effectuée en amont, dans la couche de cache entre les instances Postgres et le stockage objet : cette compression réduit les données d'un facteur supérieur à dix, rendant viable un accès OLTP sur un stockage objet qui présente normalement des latences de l'ordre de la seconde.

Databricks n'est pas le premier à tenter cette unification. Des acteurs comme SingleStore (anciennement MemSQL), SAP HANA ou Oracle MySQL HeatWave ont commercialisé des solutions HTAP sans jamais véritablement s'imposer comme standard. Xin considère d'ailleurs l'HTAP comme "un échec de l'industrie plutôt qu'un succès". Lakebase, le service PostgreSQL serverless de Databricks mis en disponibilité générale en février, constitue la fondation de cette nouvelle architecture. Avec la montée en puissance du "vibe coding" et des applications générées par IA, la complexité de l'infrastructure de données devient un goulot d'étranglement critique pour les agents qui doivent raisonner analytiquement en temps réel. La promesse de Databricks est simple : un seul exemplaire de la donnée, accessible simultanément par Postgres pour le transactionnel et par Spark pour l'analytique, sans copie, sans gouvernance fragmentée, sans pipeline intermédiaire.

Impact France/UE

Les entreprises européennes déployant des agents IA sur des architectures lakehouse pourraient bénéficier directement de l'élimination des pipelines ETL et d'une latence réduite pour l'accès aux données transactionnelles en temps réel.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Databricks et Nvidia préparent ensemble l’avenir de l’IA agentique
1Le Big Data 

Databricks et Nvidia préparent ensemble l’avenir de l’IA agentique

Databricks et Nvidia ont annoncé lors du Data + AI Summit un renforcement significatif de leur partenariat, centré sur le déploiement industriel de l'IA agentique en entreprise. Les deux groupes intègrent désormais plus profondément leurs infrastructures matérielles et logicielles, avec un accès serverless aux GPU Nvidia A10 et H100 directement dans la plateforme Databricks via un environnement baptisé AI Runtime (AIR). Les GPU Hopper, couplés au réseau Quantum InfiniBand, prennent en charge les entraînements distribués à grande échelle, tandis que la compatibilité avec l'architecture Blackwell prépare l'accès aux prochaines générations de puissance de calcul. Databricks a également annoncé la prise en charge des GPU Nvidia dans son édition gratuite, ainsi que le support prochain des conteneurs NGC et des environnements CUDA personnalisés, permettant aux équipes d'exécuter leurs stacks spécialisées sans multiplier les couches d'infrastructure externes. Ce tournant est stratégique pour les entreprises qui ne se contentent plus d'expérimenter l'IA générative : elles cherchent à industrialiser des agents capables de raisonner, d'agir et d'interagir avec leurs données métier dans des environnements sécurisés et gouvernés. L'accès GPU dans l'édition gratuite de Databricks abaisse concrètement la barrière d'entrée pour les startups, développeurs indépendants et équipes de recherche à budgets limités, ce qui pourrait accélérer significativement l'adoption de l'IA avancée hors des grandes entreprises. La réduction de la complexité opérationnelle, en rapprochant entraînement et déploiement des données gouvernées, répond à l'un des freins majeurs identifiés dans les projets d'IA en production. Le partenariat entre Databricks et Nvidia s'inscrit dans une mutation plus profonde des architectures d'IA. Les grands modèles de langage ont jusqu'ici concentré l'attention sur les GPU pour l'inférence, mais les agents autonomes de nouvelle génération exigent bien davantage : exécution d'appels d'outils, interrogation de bases de données, coordination de plusieurs étapes de raisonnement en temps réel, interaction avec des systèmes métiers hétérogènes. C'est dans ce contexte que Nvidia met en avant Vera, son futur processeur conçu pour ces charges de travail agentiques hybrides, combinant CPU et GPU dans une même puce. Databricks, valorisé 62 milliards de dollars lors de sa dernière levée de fonds en 2024, positionne ainsi sa plateforme comme la couche d'orchestration centrale pour les entreprises qui construisent la prochaine vague d'IA, au moment où la concurrence avec Snowflake, Google et Microsoft s'intensifie sur ce segment précis du marché.

UELes entreprises européennes utilisant Databricks pour leurs projets d'IA peuvent désormais accéder directement aux GPU Nvidia au sein de la plateforme sans couches d'infrastructure supplémentaires, réduisant la complexité opérationnelle de l'industrialisation de l'IA agentique.

InfrastructureOpinion
1 source
Un POC tolère un pipeline de données fragile, l'IA en production non
2VentureBeat AI 

Un POC tolère un pipeline de données fragile, l'IA en production non

Lorsqu'une entreprise fait passer un projet d'IA d'une phase pilote à un déploiement en production, c'est souvent l'infrastructure réseau qui craque en premier. Les architectures point à point, dans lesquelles un client S3 se connecte directement au stockage S3, tiennent la route dans des conditions de démonstration contrôlées, mais s'effondrent dès que le trafic devient soutenu et concurrent. Paul Pindell, architecte solutions principal chez F5, l'explique sans détour : si un seul nœud de stockage tombe, l'ensemble du trafic vers le cluster se dégrade, et dans certains cas le cluster entier peut cesser de fonctionner. Les effets en cascade sont immédiats : les pipelines d'inférence se bloquent, les systèmes de RAG (récupération augmentée de génération) perdent l'accès à des données actualisées, et les GPU restent inutilisés pendant que les délais s'accumulent. Ces pannes ont un coût business concret. Quand un pipeline d'inférence se fige, c'est un engagement de niveau de service qui est violé et une expérience client qui se dégrade. Quand un système RAG ne reçoit plus ses données à temps, le modèle génère des réponses imprécises, obsolètes ou hallucinées, exposant l'entreprise à des risques opérationnels, réglementaires et réputationnels. Parallèlement, les GPU sous-utilisés font grimper les coûts d'infrastructure sans produire de valeur. Tanu Mutreja, directrice senior produit chez F5, résume l'enjeu pour les dirigeants : la vraie question n'est pas de savoir si l'on a des GPU suffisants, mais si l'infrastructure bout-en-bout est capable de délivrer des expériences IA fiables, sécurisées et gouvernées à des coûts unitaires viables. Face à ce problème, F5 défend l'idée que la livraison des données doit devenir une couche d'infrastructure à part entière, au même titre que la livraison d'applications l'a été pour les requêtes web. Cette couche repose sur trois propriétés : l'observabilité en temps réel des latences, débits et états des flux ; la programmabilité, qui permet de piloter dynamiquement le routage, d'optimiser le trafic et d'automatiser le basculement en cas de défaillance ; et une conception résiliente aux pannes, pensée dès le départ pour l'environnement de production plutôt qu'adaptée après coup. Hunter Smit, responsable marketing produit chez F5, souligne que les organisations qui réussissent à opérationnaliser l'IA sont celles qui construisent leur infrastructure pour absorber les défaillances réelles, et non les conditions idéales d'un pilote. Avec la montée en puissance des architectures agentiques et des systèmes RAG à grande échelle, ce débat sur le chemin des données entre stockage et calcul est appelé à s'intensifier.

InfrastructureActu
1 source
L'eau : pas un problème de centres de données, mais un problème d'IA
3The Information AI 

L'eau : pas un problème de centres de données, mais un problème d'IA

La consommation d'eau liée à l'intelligence artificielle est bien plus importante qu'on ne le pense, mais elle ne se concentre pas là où le débat public se focalise. Selon un rapport publié en janvier 2026 par la société de technologie de l'eau Xylem et le cabinet Global Water Intelligence, les usines de fabrication de semi-conducteurs et les centrales électriques qui les alimentent consomment beaucoup plus d'eau que les centres de données eux-mêmes. En 2025, le secteur IA retire 6 260 milliards de litres d'eau par an, un chiffre qui devrait plus que doubler d'ici 2050. Par comparaison, le premier site de Microsoft dans son complexe Fairwater au Wisconsin, l'un des plus grands campus de data centers au monde, ne consomme que l'équivalent de quatre piscines olympiques par an, soit la moitié de la consommation annuelle d'un lave-auto, et 0,1 % de ce que le fabricant Foxconn aurait été autorisé à prélever sur le même terrain, selon Brad Smith, président de Microsoft. Cette efficacité s'explique par l'adoption de systèmes de refroidissement en circuit fermé qui réduisent la consommation d'eau douce de 50 à 70 % par rapport aux anciens équipements. Ce déplacement du problème vers l'amont de la chaîne d'approvisionnement a des conséquences concrètes pour les territoires et les écosystèmes. Aujourd'hui, 40 % des centres de données mondiaux et 29 % des usines de puces électroniques sont implantés dans des zones souffrant d'un stress hydrique élevé ou extrême. Le refroidissement à l'électricité, qui remplace l'évaporation dans les nouveaux data centers, transfère en réalité la pression vers le réseau électrique : les centrales utilisent elles-mêmes de grandes quantités d'eau, et la consommation électrique des infrastructures IA par mètre carré atteint déjà dix fois celle du cloud traditionnel. Avec les futurs racks Nvidia à un mégawatt, cet écart pourrait grimper à cent fois la norme d'avant l'IA. Le numérique représente certes seulement 3,7 % des 168 800 milliards de litres consommés chaque année par l'industrie mondiale, mais c'est le secteur où la croissance est la plus rapide. Le tableau n'est pas uniformément alarmant. Les centrales électriques restituent plus de 90 % de l'eau utilisée pour leur refroidissement, même si elle nécessite parfois un traitement. La transition vers les énergies renouvelables, moins gourmandes en eau que le charbon ou le gaz, pourrait réduire significativement l'intensité hydrique de la production électrique dans les prochaines décennies. Les industriels investissent aussi dans la réutilisation des eaux usées : la société Ecolab a aidé une usine américaine de semi-conducteurs à économiser près de 42 millions de litres grâce à des processus optimisés. Le vrai enjeu n'est donc pas de condamner les data centers, mais d'imposer une transparence et des normes sur l'ensemble de la chaîne IA, des fonderies de puces en Asie aux centrales à gaz d'Amérique du Nord.

UELes centres de données et usines de puces européens sont exposés aux mêmes tensions hydriques, et l'UE pourrait être amenée à étendre ses obligations de transparence environnementale à l'ensemble de la chaîne d'approvisionnement IA, des fonderies aux centrales électriques.

InfrastructureOpinion
1 source
Du data lake à l'analyse compatible IA : nouvelle source de données avec S3 Tables dans Amazon QuickSight
4AWS ML Blog 

Du data lake à l'analyse compatible IA : nouvelle source de données avec S3 Tables dans Amazon QuickSight

Amazon a annoncé l'intégration des S3 Tables au format Apache Iceberg comme nouvelle source de données dans Amazon QuickSight, son service d'analyse et de business intelligence piloté par l'IA. Cette mise à jour permet aux entreprises de requêter directement des tables Iceberg stockées dans un S3 table bucket, sans passer par des couches intermédiaires comme un entrepôt de données ou un système OLAP. QuickSight supporte désormais deux modes d'interrogation pour ces tables : Direct Query, qui offre un accès en quasi-temps réel aux données, et SPICE (Super-fast, Parallel, In-memory Calculation Engine), son moteur de calcul en mémoire haute performance. Pour illustrer le cas d'usage, Amazon cite l'exemple d'AnyCompany Corp., une institution financière mondiale qui ingère des transactions en temps réel via Amazon Kinesis Data Streams et Amazon Data Firehose vers un S3 table bucket, permettant une détection de fraude et un suivi des taux d'approbation quasi instantanés depuis des sources hétérogènes : terminaux de paiement, applications mobiles, objets connectés et passerelles en ligne. Cet ajout représente une avancée concrète pour les équipes data et analytique des grandes entreprises. Jusqu'ici, analyser des données à grande échelle stockées dans un data lake nécessitait généralement de les déplacer vers un entrepôt de données ou un système OLAP, ce qui introduisait de la latence, des coûts supplémentaires et une complexité opérationnelle importante. En permettant de requêter directement le data lake depuis QuickSight, Amazon élimine ces pipelines de transformation coûteux. Les utilisateurs métiers peuvent ainsi explorer des jeux de données massifs, interagir en langage naturel et obtenir des visualisations à jour sans dépendre de processus batch ni nécessiter d'expertise en machine learning. La scalabilité constitue un autre avantage clé : les requêtes portent sur des volumes importants stockés dans S3 sans contrainte de taille ni besoin de réplication préalable. Cette annonce s'inscrit dans la montée en puissance des architectures de données modernes autour des formats de table ouverts comme Apache Iceberg, conçus pour offrir de meilleures performances, une gouvernance simplifiée et des coûts réduits par rapport aux entrepôts traditionnels. Amazon, Microsoft et Google se livrent une concurrence intense sur le segment de l'analytique cloud, chacun cherchant à rendre ses services d'analyse plus accessibles et plus proches des données sources. En intégrant les S3 Tables à QuickSight, AWS renforce son positionnement autour du concept de "source unique de vérité" dans le data lake, tout en réduisant la dépendance aux solutions tierces comme Snowflake ou Databricks. La prochaine étape logique pourrait être une intégration plus poussée des capacités d'IA générative de QuickSight avec ces nouvelles sources, afin d'automatiser davantage la détection d'anomalies et la génération d'insights à la volée.

InfrastructureActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic