Les robots d'exploration des agents IA doivent désormais demander l'autorisation : voici comment l'obtenir
Cloudflare a annoncé le 1er juillet un changement majeur dans sa gestion des robots d'intelligence artificielle qui prendra effet le 15 septembre. L'entreprise remplace son ancien interrupteur unique de blocage des bots IA par trois catégories distinctes. La catégorie Search regroupe les robots qui indexent une page pour répondre plus tard à des questions. La catégorie Agent couvre les systèmes automatisés agissant en temps réel pour un utilisateur, comme le robot de récupération de ChatGPT ou les agents qui naviguent seuls sur le web. La catégorie Training concerne les robots qui aspirent du contenu pour entraîner les modèles. Ces contrôles sont disponibles depuis le 1er juillet pour tous les clients, y compris ceux de l'offre gratuite. À partir du 15 septembre, les réglages par défaut changeront : les catégories Training et Agent seront bloquées sur les pages affichant des publicités, tandis que Search restera autorisée. Ces nouveaux défauts s'appliqueront automatiquement aux domaines qui rejoignent Cloudflare, aux nouveaux sites de clients existants et à l'ensemble des comptes gratuits déjà en place, sauf désactivation manuelle avant cette date.
Ce changement bouleverse le fonctionnement des agents IA d'entreprise, qui reposaient jusqu'ici sur l'hypothèse que le web ouvert restait accessible sans restriction. Un agent de recherche qui consulte la page tarifaire d'un concurrent, un outil de veille qui surveille les annonces d'un fournisseur, ou un service client automatisé qui récupère une fiche technique : aucune de ces actions ne nécessitait de licence jusqu'à présent. Or Cloudflare gère une part considérable du trafic web mondial, et ses blocages s'appliquent au niveau du réseau, contrairement à une simple recommandation robots.txt qu'un robot pouvait ignorer. Le risque pour une entreprise n'est pas juridique mais opérationnel : son agent IA se retrouvera avec un accès dégradé aux pages financées par la publicité, précisément celles où se trouvent l'actualité, les tests produits et les comparatifs de prix, ce qui peut se traduire par des réponses incomplètes ou construites sur des données partielles.
La complication la plus visible concerne Google, dont le robot Googlebot explore à la fois pour l'indexation et pour l'entraînement via un seul et même robot. Un site qui bloque la catégorie Training bloque donc aussi Googlebot, ce qui affecte sa visibilité dans les résultats de recherche. Le PDG de Cloudflare, Matthew Prince, a expliqué espérer que ces changements inciteront les robots à usages mixtes à séparer clairement recherche, usage agentique et entraînement. Un mécanisme de rémunération se met en parallèle en place : le programme Pay Per Crawl évolue vers un modèle Pay Per Use, avec des acteurs comme Ceramic.ai qui rémunèrent les éditeurs quand leur contenu apparaît dans des résultats de recherche IA, et You.com qui paie lorsqu'un agent accède à du contenu premium. Cloudflare affirme que plus de la moitié du trafic des robots IA consiste à re-explorer des pages inchangées, un gaspillage que ce nouveau système vise aussi à limiter. Pour les éditeurs sur l'offre gratuite, la bascule automatique au 15 septembre mérite une vérification préalable de leur compte.
Les sites et entreprises europeens utilisant Cloudflare devront verifier leurs parametres avant le 15 septembre pour eviter un blocage involontaire des robots IA sur leurs pages financees par la publicite.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.



