Rencontre l'ingénieur d'Anthropic chargé de garder son agent IA fiable
Gurmeet Saran est ingénieur à Anthropic, à San Francisco, où il occupe un poste de « member of technical staff ». Cet ingénieur, membre senior de l'IEEE, développe une infrastructure destinée à comprendre les mécanismes qui gouvernent le comportement de Claude et à vérifier que l'architecture sous-jacente produit des résultats fiables. Il décrit sa mission ainsi : s'assurer que les données sont exactes, structurées et dignes de confiance, et que les données privées le restent. Originaire de Calcutta, il a obtenu en 2004 une licence en électronique et télécommunications à l'université de Kalyani, puis, en 2010, un master en génie logiciel au Birla Institute of Technology and Science de Pilani. Sa carrière commence en 2007 chez Yahoo, à Bangalore, comme responsable technique de l'équipe data. Il y affronte un problème récurrent : plusieurs équipes calculaient la même métrique, comme le nombre d'utilisateurs actifs quotidiens d'un site, avec des logiques légèrement différentes, et obtenaient des chiffres contradictoires. Son équipe a bâti un dépôt central de métriques définies, une « source unique de vérité ». Saran a modélisé précisément quels événements comptaient et comment traiter les cas limites. Cela a débouché sur Yahoo! Digits, un outil interne d'analyse web utilisé pour tous les produits du groupe. En 2010, il rejoint Intuit à Mountain View, en Californie, comme ingénieur de rang « staff ». Il y contribue à l'infrastructure analytique qui unifie les données des produits de l'entreprise, dont TurboTax et le logiciel comptable QuickBooks.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de IEEE Spectrum AI. Lire l'article original →
L'enjeu dépasse le parcours individuel. Saran explique que sans confiance dans la logique d'un système, on ne peut formuler aucune affirmation fiable sur son comportement, ce qui a des conséquences directes sur la sécurité. Pour les grands modèles de langage, le défi est particulièrement aigu : selon lui, il existe de bons outils pour surveiller des bases de données ou des services web, mais pour les LLM, le secteur est encore en train de défricher le terrain. Rendre l'observation et la compréhension des modèles possibles pour les chercheurs est donc une condition préalable à toute garantie de sûreté. Il insiste aussi sur un principe tiré de son expérience : la confidentialité ne peut pas être une couche ajoutée après coup, elle doit être intégrée à l'architecture dès l'origine.
Ce travail s'inscrit dans la mission affichée d'Anthropic : faire de Claude un agent « réellement utile » aux personnes avec lesquelles il travaille comme à la société, tout en évitant les actions dangereuses, contraires à l'éthique ou trompeuses. Le fil conducteur de Saran est ancien. Enfant à Calcutta, il passait le plus de temps possible dans la salle informatique de son école, fasciné par une machine qui exécutait ses instructions à la lettre, sans ambiguïté. Chez Yahoo, la bataille des définitions de métriques lui a montré que des décisions de direction sur les ressources et les produits reposent sur des chiffres dont la provenance doit être claire. Son parcours chez Yahoo, Intuit puis Meta, centré sur la qualité des données, nourrit aujourd'hui son approche de l'observabilité des modèles d'IA, un domaine où les standards restent à construire.
Pas d'impact direct sur la France/UE