Actualité : “Je prendrai toujours le métro avec toi” : Friend a oublié qu’en Europe, il faut voyager en règle avec le RGPD

Why AI Systems Fail Quietly

Dans les systèmes d'intelligence artificielle distribués, une nouvelle catégorie de pannes préoccupe de plus en plus les ingénieurs : des défaillances silencieuses où tout semble fonctionner normalement, les tableaux de bord restent au vert, les journaux d'erreurs sont vides, et pourtant les décisions produites par le système se dégradent progressivement. L'exemple typique est celui d'un assistant IA d'entreprise chargé de synthétiser des mises à jour réglementaires pour des analystes financiers : il continue de générer des résumés cohérents, de récupérer des documents valides, de distribuer ses synthèses sans interruption, mais il travaille silencieusement sur des informations obsolètes parce qu'un dépôt documentaire mis à jour n'a jamais été intégré à son pipeline de récupération. Aucune alerte ne se déclenche. Aucun composant ne tombe en panne. Le système fonctionne exactement comme prévu, mais son résultat est faux. Ce phénomène représente une rupture fondamentale avec la manière dont l'industrie logicielle a traditionnellement pensé la fiabilité. Les outils d'observabilité classiques, conçus autour de métriques comme la disponibilité, la latence et les taux d'erreur, sont bien adaptés aux applications transactionnelles où chaque requête est traitée indépendamment et où la correction peut être vérifiée immédiatement. Ils deviennent insuffisants face aux systèmes autonomes, qui fonctionnent en boucles de raisonnement continues : chaque décision influence les actions suivantes, et la correction du résultat émerge non pas d'un calcul isolé mais d'une séquence d'interactions entre composants, étalée dans le temps. Un agent de planification peut générer des étapes localement raisonnables mais globalement dangereuses. Un système de décision distribué peut exécuter des actions correctes dans le mauvais ordre. Aucune de ces conditions ne produit nécessairement d'erreur au sens technique du terme. La cause profonde est architecturale. Les logiciels traditionnels reposent sur des opérations discrètes, déclenchées de l'extérieur par un utilisateur ou un planificateur, avec un contrôle épisodique et traçable. Les systèmes autonomes modernes, qu'il s'agisse d'agents IA maintenant un contexte entre les interactions, de systèmes d'infrastructure ajustant leurs ressources en temps réel ou de workflows automatisés enchaînant des actions sans intervention humaine, observent, raisonnent et agissent en continu. La correction ne dépend plus du bon fonctionnement de chaque composant individuel, mais de la coordination dans le temps d'un flux de décisions prises par des modèles, des moteurs de raisonnement et des algorithmes de planification. Les ingénieurs spécialisés dans les systèmes distribués connaissent bien les problèmes de coordination, mais il s'agit ici d'une coordination d'un type nouveau : non plus maintenir la cohérence des données entre services, mais garantir qu'une chaîne de décisions autonomes reste alignée avec l'intention initiale du système, même lorsque rien ne se casse.

Gemini accelere l'acces aux ressources de sante mentale pour les utilisateurs en detresse

Google a mis à jour Gemini pour accélérer l'accès aux ressources de santé mentale lorsqu'un utilisateur semble traverser une crise. Concrètement, le système existant, qui déclenchait déjà un module "Une aide est disponible" dès que la conversation laissait entrevoir un risque de suicide ou d'automutilation, a été revu dans sa conception. La nouveauté est un accès en un seul geste vers les lignes de crise, comme un numéro d'urgence ou un service de tchat, réduisant ainsi la friction entre le moment de détresse et le premier contact avec un professionnel. Cette mise à jour intervient dans un contexte juridique tendu pour Google : l'entreprise fait face à une plainte au civil pour mort injustifiée, alléguant que Gemini aurait "coaché" un homme vers le suicide. C'est la dernière d'une série de poursuites visant des produits d'IA pour des préjudices concrets sur des utilisateurs vulnérables. Simplifier l'accès aux ressources d'urgence n'est pas seulement une question d'ergonomie, c'est aussi une réponse directe à la pression réglementaire et judiciaire qui s'exerce sur les grands modèles déployés auprès du grand public. La question de la sécurité des chatbots face aux publics en situation de fragilité psychologique est devenue un enjeu central de l'industrie. Des affaires similaires ont visé Character.AI, dont le chatbot a été mis en cause dans des cas impliquant des mineurs. Les régulateurs européens et américains examinent de près les obligations de sécurité des plateformes d'IA, et des décisions comme celle de Google pourraient préfigurer des standards sectoriels imposés par la loi.

Pourquoi le Royaume-Uni veut Anthropic : son refus de militariser l'IA

Fin février, le secrétaire américain à la Défense Pete Hegseth a adressé un ultimatum au PDG d'Anthropic, Dario Amodei : supprimer les garde-fous empêchant Claude d'être utilisé pour des armes entièrement autonomes et de la surveillance de masse intérieure, ou en subir les conséquences. Amodei a refusé, estimant qu'Anthropic ne pouvait pas "en bonne conscience" répondre à la demande du Pentagone, certains usages de l'IA pouvant "saper plutôt que défendre les valeurs démocratiques". La réaction de Washington a été immédiate : Donald Trump a ordonné à toutes les agences fédérales de cesser d'utiliser la technologie d'Anthropic, le Pentagone a classé l'entreprise comme risque pour la chaîne d'approvisionnement -- label habituellement réservé à des entités étrangères adverses comme Huawei -- et le contrat de 200 millions de dollars avec le ministère de la Défense a été annulé. Londres a interprété cet épisode très différemment. Le département britannique pour la Science, l'Innovation et la Technologie (DSIT) a élaboré des propositions concrètes destinées à l'entreprise, valorisée 380 milliards de dollars : une double cotation à la Bourse de Londres et l'expansion de ses bureaux dans la capitale. Le bureau du Premier ministre Keir Starmer soutient l'initiative, qui sera soumise à Amodei lors de sa visite prévue fin mai. Anthropic compte déjà environ 200 employés au Royaume-Uni et a nommé l'ancien Premier ministre Rishi Sunak conseiller senior l'an dernier. En offrant cette ouverture, le gouvernement britannique envoie un signal explicite : les contraintes éthiques intégrées dans les produits d'Anthropic sont un atout, pas un frein. Une double cotation à Londres permettrait par ailleurs à la société d'accéder aux investisseurs institutionnels européens, à un moment où sa situation réglementaire aux États-Unis reste incertaine -- l'appel du Pentagone contre l'injonction provisoire qui bloque la désignation "risque d'approvisionnement" est toujours en cours devant la Cour d'appel du Neuvième Circuit. L'affaire dépasse le simple conflit juridique et commercial. La juge fédérale Rita Lin, qui a accordé l'injonction provisoire en mars, a jugé les actions du gouvernement américain "troublantes" et probablement contraires à la loi -- un constat qui pèse dans le débat international sur la gouvernance de l'IA. Le Royaume-Uni se positionne comme un environnement intermédiaire entre Washington, qui exige un accès militaire sans restriction, et Bruxelles, où l'AI Act européen impose ses propres contraintes. Ce positionnement ne demande pas à Anthropic de renoncer aux garde-fous pour lesquels l'entreprise s'est battue en justice. La compétition pour attirer les grands laboratoires d'IA à Londres est déjà intense : OpenAI a promis d'en faire son plus grand hub de recherche hors des États-Unis, et Google est ancré à King's Cross depuis le rachat de DeepMind en 2014. Dans ce contexte, Anthropic représente la cible la plus stratégique à ce jour, d'autant que le Royaume-Uni vient d'annoncer la création d'un laboratoire de recherche public doté de 40 millions de livres sterling, reconnaissant ainsi l'absence d'un champion national face aux grandes puissances américaines.

La France interdit le gadget IA controversé de la start-up Friend, et ce n’est pas une surprise

Le collier intelligent Friend, gadget de la start-up américaine du même nom, a été interdit à la vente en France et dans l'ensemble de l'Union européenne. Le produit, un pendentif connecté capable d'écouter en continu son environnement et d'entretenir des conversations avec son porteur via une intelligence artificielle, avait été lancé avec une campagne publicitaire visible dans les stations de métro parisiennes, cherchant à séduire un public européen friand de nouveaux objets connectés. L'interdiction ne surprend guère les observateurs du secteur : un dispositif d'écoute permanente porté sur soi soulève des questions fondamentales en matière de protection des données personnelles. Le règlement européen RGPD impose des obligations strictes sur la collecte et le traitement des données audio, notamment le consentement explicite des tiers enregistrés à leur insu. Or, un collier qui capte les conversations autour de son porteur, sans que les personnes présentes en soient informées, contrevient frontalement à ces principes. Pour les utilisateurs comme pour les entreprises, ce type de produit ouvre également des risques sécuritaires liés à l'enregistrement involontaire d'informations sensibles. Friend s'inscrit dans une vague de gadgets IA "compagnons" qui ont tenté de percer en 2024 et 2025, à l'image du Humane Ai Pin ou du Rabbit R1, tous confrontés à des obstacles commerciaux ou réglementaires. L'Europe, avec son cadre juridique parmi les plus exigeants au monde sur la vie privée et désormais renforcé par l'AI Act, constitue un terrain particulièrement difficile pour ces objets d'écoute ambiante. La décision française pourrait faire jurisprudence pour d'autres dispositifs similaires à venir.

💬 Un collier qui t'écoute en permanence sans prévenir les gens autour de toi, interdit en Europe... difficile de faire plus prévisible. Le RGPD n'est pas une nouveauté, il date de 2018. La vraie question c'est comment ce produit a pu lever des fonds et tourner des pubs dans le métro parisien avant que quelqu'un lève la main.