Préparer le contenu web pour Amazon Bedrock Knowledge Bases avec Crawl4AI
Amazon Web Services détaille comment préparer du contenu web pour Amazon Bedrock Knowledge Bases avec Crawl4AI, un crawler open source en Python. Dans une base de connaissances gérée, Bedrock prend en charge l'ingestion, le stockage, l'indexation et la récupération, sans qu'il faille provisionner une base vectorielle. L'embedding et le reranking reposent par défaut sur des modèles gérés par le service. Pour le contenu web, le point de départ reste le connecteur Amazon Bedrock Web Crawler. Il explore les URL de départ ou les sitemaps autorisés, dans les limites de périmètre et de débit fixées, respecte le fichier robots.txt et gère les pages chargées en JavaScript. Après un premier crawl complet, chaque synchronisation planifiée ne capture que les contenus ajoutés, modifiés ou supprimés. Pour les sources exigeant plus de contrôle, AWS propose une étape de préparation avec Crawl4AI. Elle écrit pour chaque page un fichier Markdown et un fichier de métadonnées dans Amazon S3, que la base ingère via sa source de données S3.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Cette voie répond à trois besoins. D'abord, une préparation structurée du Markdown : le générateur DefaultMarkdownGenerator, associé à un filtre d'élagage, réduit la navigation et le contenu répétitif tout en conservant titres, listes et tableaux. Comme cet élagage est heuristique, AWS recommande de vérifier des sorties représentatives de chaque site. Ensuite, une extraction ciblée et bornée : un sélecteur CSS optionnel limite la région de page extraite, et le parcours en largeur est contraint par l'origine, le chemin, l'hôte, la profondeur, le nombre de pages et des motifs d'URL. Enfin, des métadonnées personnalisées (URL source, horodatage du crawl, type de contenu, attributs maison) permettent de filtrer les résultats de recherche. Comme les bases gérées et celles gérées par le client acceptent toutes deux les sources S3, cette approche fonctionne avec les deux.
L'enjeu est la qualité des réponses d'une application RAG, qui dépend directement de la qualité des données ingérées. Retirer le bruit des pages et n'indexer que la zone utile améliore la pertinence de la récupération. Des métadonnées riches permettent aussi de restreindre les recherches à un périmètre précis. Les équipes qui exploitent des sites publics aux structures hétérogènes y gagnent un contrôle fin sans abandonner le service entièrement géré. Crawl4AI n'intervient qu'en amont : une fois les documents et leurs métadonnées déposés, Bedrock gère l'analyse, le découpage, l'embedding, l'indexation et la récupération.
Cette approche s'inscrit dans l'ingestion par lots de propriétés web connues, et non dans l'accès web en temps réel au moment de l'inférence, que couvre par exemple Web Grounding avec Amazon Nova. L'exemple d'architecture publié dans le dépôt aws-samples s'articule autour d'Amazon EventBridge, qui déclenche le traitement, et d'une tâche AWS Fargate qui, par défaut, tourne dans un sous-réseau public et atteint les sites via une passerelle internet. AWS précise que ces choix et paramètres par défaut constituent un point de départ, pas une exigence de Bedrock Knowledge Bases. L'article guide ensuite le lecteur pour choisir la voie d'ingestion adaptée, lancer l'ingestion dans une base gérée et valider la qualité de la récupération.
Pas d'impact direct sur la France/UE