SafeChat : des systèmes de sécurité par IA à grande échelle sur une marketplace en temps réel
Bruna Pereira, ingénieure chez DoorDash, a présenté SafeChat, une plateforme de modération de contenu basée sur l'intelligence artificielle développée en interne par l'entreprise américaine de livraison. Lors de son intervention, elle détaille l'architecture retenue pour remplacer les pipelines reposant uniquement sur de grands modèles de langage, jugés trop coûteux à grande échelle. Le nouveau système repose sur une approche hybride en plusieurs étapes: des modèles internes rapides et légers filtrent d'abord les cas évidents, avant qu'un LLM n'intervienne pour un scoring multi-axes sur les décisions plus nuancées et ambiguës. L'ensemble s'appuie sur des workflows no-code intégrant des mécanismes de backtesting, permettant de tester et d'ajuster les règles de modération sans réécrire le pipeline à chaque itération. Le système est conçu pour être agnostique au type de contenu traité.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
Cette architecture permet à DoorDash de faire tourner un système de sécurité capable de traiter plusieurs millions de messages par jour, tout en réduisant le nombre d'incidents liés à la sécurité sur sa marketplace, qui met en relation clients, livreurs et commerçants en temps réel. L'enjeu est direct pour l'industrie: modérer du contenu généré par les utilisateurs à très grande échelle coûte cher lorsque chaque requête passe par un LLM, et la solution de DoorDash illustre une tendance plus large vers des architectures hybrides combinant rapidité et coût maîtrisé pour les cas simples, et puissance des LLM réservée aux décisions complexes.
Cette présentation s'inscrit dans un contexte où les plateformes de mise en relation en temps réel font face à une pression croissante pour garantir la sécurité de leurs échanges, entre utilisateurs et livreurs notamment, sans faire exploser leurs coûts d'infrastructure IA. Le retour d'expérience de DoorDash, acteur majeur de la livraison aux États-Unis, offre ainsi un cas concret pour d'autres entreprises confrontées au même arbitrage entre performance, coût et fiabilité de la modération automatisée.
Pas d'impact direct sur la France/UE
DoorDash vient de dire tout haut ce que pas mal d'équipes se disent en interne depuis un an : passer chaque message dans un LLM à l'échelle d'une marketplace, ça plombe la facture avant même de plomber la latence. Leur astuce, des petits modèles maison qui trient le gros du trafic et un LLM réservé aux cas ambigus, c'est moins sexy qu'un pipeline tout génératif mais ça tient en prod, avec plusieurs millions de messages par jour. Ce genre d'architecture à étages devient la norme pour qui modère à cette échelle, pas l'exception.