Aller au contenu principal
OutilsMarkTechPost2h

TinyFish lance BigSet : un système multi-agents open source qui construit des jeux de données structurés à partir de descriptions en langage naturel

Résumé IASource uniqueImpact UE
Source originale ↗·

TinyFish vient de publier BigSet, un système multi-agents open source sous licence AGPL-3.0, conçu pour automatiser la construction de jeux de données structurés à partir du web en langage naturel. Le principe est simple : l'utilisateur décrit en une phrase les données qu'il souhaite obtenir, par exemple "les entreprises YC actuellement en train de recruter des ingénieurs, avec leur stade de financement, leur localisation et le nombre de postes ouverts", et BigSet se charge d'inférer le schéma, de collecter les données sur le web, de dédupliquer les résultats et d'exporter le tout en CSV ou XLSX. Le code source complet est disponible sur GitHub. La génération d'un dataset prend entre 2 et 5 minutes, le temps que les agents effectuent de vraies recherches web. Une fonctionnalité de rafraîchissement automatique permet de maintenir les données à jour selon une cadence paramétrable : 30 minutes, 6 heures, 12 heures, quotidienne ou hebdomadaire.

L'architecture repose sur un pipeline en cinq étapes clairement séparées. Claude Sonnet 4.6, accessible via OpenRouter, intervient en premier pour inférer le schéma : noms de colonnes, types de données, clés primaires et sources potentielles, avant tout accès web. Un agent orchestrateur basé sur Qwen (qwen/qwen3.7-max, via OpenRouter) identifie ensuite les entités correspondant à la description. Des sous-agents sont alors déployés en parallèle, chacun responsable d'une seule ligne du tableau final, avec un budget plafonné à 6 appels d'outils. Chaque agent utilise TinyFish Fetch pour récupérer le contenu des pages, extrait les champs pertinents, puis insère la ligne avec une attribution de source traçable. La déduplication par clé primaire est appliquée avant l'export final. La stack technique s'appuie sur Next.js 16, React 19, Fastify, TypeScript, Convex pour la base de données, et Mastra pour l'orchestration des workflows IA.

BigSet s'attaque à un problème persistant dans le travail avec les données web : la fragmentation du pipeline entre identification des sources, scraping, conception du schéma, déduplication et planification des mises à jour. Ces étapes restent manuelles et chronophages, que l'on construise un dataset ou cent. En abstrayant l'ensemble de cette chaîne derrière une description en langage naturel, TinyFish cible directement les analystes, journalistes de données, équipes produit et chercheurs qui ont besoin de tableaux structurés sans vouloir maintenir une infrastructure de scraping. Le système est auto-hébergé via Docker, ce qui répond aussi aux préoccupations de confidentialité des données. TinyFish, qui développe par ailleurs ses propres outils de recherche et de fetch web, positionne BigSet comme une couche d'abstraction entre un besoin en données et une table exploitable, dans un écosystème où les agents IA commencent à remplacer les pipelines ETL traditionnels.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

OpenAI lance Privacy Filter, un modèle open source de suppression des données personnelles dans les jeux de données d'entreprise
1VentureBeat AI 

OpenAI lance Privacy Filter, un modèle open source de suppression des données personnelles dans les jeux de données d'entreprise

OpenAI a publié Privacy Filter, un modèle open source spécialisé dans la détection et la suppression des informations personnelles identifiables (PII) avant qu'elles n'atteignent un serveur distant. Disponible sur Hugging Face sous licence Apache 2.0, cet outil repose sur 1,5 milliard de paramètres mais n'en active que 50 millions à chaque traitement, grâce à une architecture Sparse Mixture-of-Experts qui réduit considérablement la charge de calcul. Contrairement aux grands modèles de langage classiques qui lisent un texte de gauche à droite, Privacy Filter est un classificateur bidirectionnel de tokens : il analyse chaque phrase dans les deux sens simultanément, ce qui lui permet de mieux distinguer, par exemple, si le prénom "Alice" désigne une personne privée ou un personnage littéraire public. Le modèle gère une fenêtre de contexte de 128 000 tokens, suffisante pour traiter un document juridique entier en une seule passe, et s'appuie sur un décodeur de Viterbi contraint avec un schéma de balisage BIOES pour garantir la cohérence des entités redactées. Il détecte huit catégories de données sensibles : noms de personnes, coordonnées, identifiants numériques, URLs, numéros de compte, dates et identifiants secrets comme les clés API. L'enjeu concret est considérable pour les entreprises soumises au RGPD ou à la réglementation HIPAA dans le secteur de la santé. En déployant Privacy Filter directement sur leurs serveurs internes ou dans leur cloud privé, elles peuvent anonymiser les données localement avant de les envoyer vers un modèle plus puissant comme GPT-5 ou gpt-oss-120b, sans jamais exposer d'informations sensibles à l'extérieur. Ce modèle résout un problème structurel de l'adoption de l'IA en entreprise : le risque que des données confidentielles, médicales ou financières se retrouvent intégrées dans des pipelines d'inférence ou de fine-tuning hébergés dans le cloud. La possibilité de faire tourner le modèle sur un laptop standard ou directement dans un navigateur web abaisse encore davantage la barrière d'entrée. Cette publication s'inscrit dans un retour marqué d'OpenAI vers l'open source, après des années centrées sur des modèles propriétaires accessibles uniquement via ChatGPT et l'API. Début 2025, l'entreprise avait déjà lancé la famille gpt-oss, des modèles à poids ouverts orientés raisonnement, puis ouvert plusieurs outils d'orchestration agentique. Privacy Filter est un dérivé direct de cette famille gpt-oss, réentraîné pour la classification plutôt que la génération. Ce virage stratégique suggère qu'OpenAI cherche à consolider sa position dans l'écosystème développeur face à la concurrence de Meta (LLaMA), Mistral et Google, en proposant des briques d'infrastructure que les entreprises peuvent intégrer sans dépendance à ses services payants. La prochaine étape logique serait l'extension des catégories PII supportées et l'intégration native dans les frameworks agentiques déjà publiés.

UELes entreprises françaises et européennes soumises au RGPD peuvent déployer Privacy Filter en local pour anonymiser leurs données sensibles avant tout envoi vers un service cloud, réduisant directement leur risque de non-conformité réglementaire.

💬 C'est exactement le verrou qui bloquait l'adoption en entreprise depuis deux ans. Un modèle léger, déployable en local, qui filtre les données personnelles avant d'envoyer vers le cloud : sur le papier, c'est le genre de brique qu'on attendait. Et distribuer ça sous Apache 2.0, c'est malin : si ton pipeline s'appuie sur leurs outils gratuits, tu vas finir par appeler leurs modèles payants derrière.

OutilsOutil
1 source
Vercel Labs lance Zero, un langage système conçu pour que les agents IA puissent lire, corriger et livrer des programmes natifs
2MarkTechPost 

Vercel Labs lance Zero, un langage système conçu pour que les agents IA puissent lire, corriger et livrer des programmes natifs

Vercel Labs, la branche recherche de la société américaine spécialisée dans le déploiement web, a publié Zero, un langage de programmation système expérimental conçu pour que les agents d'intelligence artificielle puissent lire, corriger et compiler du code natif de manière autonome. Zero se positionne dans le même espace que C ou Rust : il compile vers des exécutables natifs, offre un contrôle explicite de la mémoire et cible les environnements bas niveau. La différence fondamentale réside dans la conception du compilateur et de la chaîne d'outils, pensés dès le départ pour être consommés par des agents IA plutôt que par des ingénieurs humains. Le problème central que Zero cherche à résoudre est la manière dont les agents interagissent avec les retours du compilateur. Dans un cycle de développement classique impliquant un agent de codage, celui-ci écrit du code, le compilateur émet une erreur sous forme de texte non structuré, et l'agent doit analyser ce texte pour comprendre ce qui a mal tourné. C'est fragile : les formats de messages changent, ils sont rédigés pour des lecteurs humains, et il n'existe aucun concept natif d'action de réparation. Zero répond à ce problème en émettant par défaut des diagnostics JSON structurés. Chaque diagnostic porte un code stable (par exemple NAM003), un message lisible par l'humain, une référence de ligne et un objet repair contenant un identifiant d'action typé. Les humains lisent le message ; les agents lisent le code et le repair. La chaîne d'outils est unifiée dans un seul binaire : zero check, zero run, zero build, zero fix, zero explain ou encore zero doctor sont tous des sous-commandes d'un même CLI. Deux d'entre elles sont particulièrement utiles dans une boucle de réparation automatisée : zero explain renvoie une explication détaillée d'un code de diagnostic donné, tandis que zero fix --plan --json produit un plan de correction structuré et lisible par machine. La commande zero skills fournit quant à elle des guides d'utilisation directement depuis le CLI, synchronisés avec la version du compilateur installé, évitant aux agents de scraper une documentation externe potentiellement obsolète. Le lancement de Zero s'inscrit dans une tendance plus large : alors que les agents de codage comme GitHub Copilot, Cursor ou Devin s'imposent dans les workflows de développement, l'outillage existant n'a pas été conçu pour eux. Vercel, dont la plateforme accueille des millions de projets web, se positionne ici en amont de la chaîne de valeur, au niveau du langage lui-même. Zero introduit également un système d'effets explicites dans les signatures de fonctions : une fonction ne peut accéder au système de fichiers, au réseau ou à la sortie standard que si elle reçoit un objet de capacité (World), vérifié à la compilation et non à l'exécution. Cette approche rend le comportement du code plus prévisible pour des agents qui doivent raisonner sur ses effets de bord sans l'exécuter. Zero reste pour l'instant expérimental, mais il signale une direction claire : concevoir les langages de programmation pour un monde où les compilateurs parlent autant aux machines qu'aux humains.

💬 L'idée est simple et évidente en rétrospective : nos compilateurs crachent du texte pensé pour des yeux humains, et on s'étonne que les agents galèrent à parser les erreurs. Zero corrige ça à la source, avec des diagnostics JSON structurés, des codes stables par type d'erreur, et une commande `zero fix --plan` qui donne à l'agent un plan de réparation lisible par machine plutôt qu'un blob de prose. Reste à voir si ça passe le cap du labo, mais la direction est la bonne.

OutilsOutil
1 source
Concevoir un système multi-agents CAMEL de production : planification, outils, cohérence et affinement critique
3MarkTechPost 

Concevoir un système multi-agents CAMEL de production : planification, outils, cohérence et affinement critique

Un tutoriel publié récemment détaille comment concevoir un système multi-agents de niveau production à l'aide du framework CAMEL, une bibliothèque Python open source dédiée à l'orchestration d'agents LLM. Le pipeline décrit met en scène cinq agents spécialisés aux rôles clairement délimités : un planificateur, un chercheur, un rédacteur, un critique et un rééditeur. L'ensemble repose sur GPT-4o d'OpenAI (via l'API), la validation de schémas avec Pydantic 2.7, et l'affichage structuré via Rich 13.7. Concrètement, le système génère des synthèses techniques documentées de façon autonome, en combinant recherche web en temps réel, échantillonnage par auto-cohérence et raffinement itératif piloté par critique interne. Ce type d'architecture multi-agents représente une évolution significative par rapport aux approches LLM classiques en pipeline simple. En distribuant les responsabilités entre agents distincts, chacun doté de contraintes de sortie précises (schémas JSON validés par Pydantic), le système réduit les hallucinations et améliore la cohérence des résultats. L'ajout d'un agent critique qui évalue la production de l'agent rédacteur, puis déclenche un agent rééditeur si le score est insuffisant, introduit une boucle de contrôle qualité autonome : le système s'auto-corrige sans intervention humaine. Pour les équipes produit ou data qui cherchent à industrialiser des workflows de génération de contenu ou d'analyse, cette approche offre un cadre reproductible, modulaire et extensible. CAMEL (Communicative Agents for "Mind" Exploration of Large Language Model Society) est un framework open source initié en 2023, qui a gagné en maturité avec des versions stables permettant l'intégration native d'outils web, de modèles multi-plateformes et de mécanismes de validation structurée. Le tutoriel s'inscrit dans un mouvement plus large d'industrialisation des agents LLM, où des acteurs comme LangChain, AutoGen de Microsoft ou CrewAI cherchent à standardiser la façon dont on compose des agents spécialisés. L'enjeu central est de passer du prototype expérimental au système fiable en production, ce qui exige précisément les mécanismes décrits ici : contrôle de schéma, gestion des erreurs, logique de retry et traçabilité des sorties. Les prochaines évolutions de ces frameworks devraient intégrer davantage de mémoire persistante entre agents et des mécanismes de délégation dynamique des tâches, rapprochant ces systèmes des premières formes d'automatisation cognitive véritablement autonome.

OutilsTuto
1 source
AutoAgent : la bibliothèque open source qui permet à une IA d'optimiser son propre système d'agents
4MarkTechPost 

AutoAgent : la bibliothèque open source qui permet à une IA d'optimiser son propre système d'agents

Kevin Gu, ingénieur chez thirdlayer.inc, a publié AutoAgent, une bibliothèque open source qui automatise l'optimisation des agents IA. En l'espace de 24 heures d'exécution autonome, le système a atteint la première place sur SpreadsheetBench avec un score de 96,5 %, et la meilleure performance GPT-5 sur TerminalBench avec 55,1 %. Le projet est disponible sur GitHub avec une architecture délibérément minimaliste : un fichier agent.py qui contient l'intégralité du harness sous test, un fichier program.md que l'humain édite pour donner la directive, et un journal d'expériences results.tsv maintenu automatiquement par le méta-agent pour tracer l'historique de chaque run. Le principe est simple mais radical : là où un ingénieur IA passe des journées à ajuster manuellement les prompts système, les définitions d'outils et la logique d'orchestration de son agent, AutoAgent confie cette boucle d'itération à un second agent, le méta-agent, qui lit la directive, inspecte agent.py, exécute le benchmark, analyse les échecs, réécrit les parties pertinentes et recommence. L'humain ne touche jamais agent.py directement. Ce ratchet loop, proposer une modification, mesurer le score, conserver si meilleur, rejeter sinon, est directement inspiré du projet autoresearch d'Andrej Karpathy, qui applique la même logique à l'entraînement de modèles ML. AutoAgent transpose ce mécanisme au niveau du harness : le prompt système, les outils disponibles, le routage entre sous-agents et la stratégie d'orchestration. Concrètement, toute équipe qui développe des agents complexes pourrait déléguer la phase d'optimisation la plus fastidieuse à un processus nocturne entièrement automatisé, réduisant drastiquement le temps humain consacré au réglage fin. Cette publication s'inscrit dans une tendance plus large d'automatisation de l'ingénierie IA elle-même, souvent désignée sous le terme "méta-apprentissage" ou "self-improvement". Depuis que les LLMs ont démontré leur capacité à écrire et modifier du code de manière fiable, plusieurs laboratoires et chercheurs indépendants explorent des architectures où un modèle supervise l'amélioration d'un autre, ou de lui-même. AutoAgent se distingue par sa portée pratique immédiate : il ne requiert pas d'infrastructure exotique, s'appuie sur le format Harbor pour exprimer les benchmarks, et peut être adapté à n'importe quel domaine via les dossiers tasks/ et .agent/. Les résultats sur TerminalBench et SpreadsheetBench, deux benchmarks reconnus dans la communauté, donnent une crédibilité concrète à l'approche. La question ouverte reste celle du contrôle : lorsqu'un méta-agent réécrit librement la logique d'orchestration d'un système en production, les garanties de sécurité et de prévisibilité du comportement final deviennent un enjeu non trivial que la bibliothèque n'adresse pas encore explicitement.

💬 C'est exactement la boucle que tout dev d'agents rêve d'automatiser, et là quelqu'un l'a fait en un seul fichier. Le score sur SpreadsheetBench est bluffant, bon, reste à voir ce que ça donne sur des tâches moins balisées qu'un benchmark. La vraie question, c'est quand le méta-agent commence à réécrire l'orchestration en prod sans que tu comprennes pourquoi ça marche.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour