PRELUDE lève 17 millions d’euros pour distinguer les vrais utilisateurs des faux

Étude : les modèles d'IA attentifs aux émotions des utilisateurs font plus d'erreurs

Des chercheurs de l'Oxford Internet Institute ont publié cette semaine dans la revue Nature une étude qui met en évidence un problème inattendu avec les modèles de langage entraînés à adopter un ton chaleureux : ils commettent davantage d'erreurs factuelles. L'équipe a utilisé des techniques de fine-tuning supervisé pour modifier cinq modèles, dont quatre en accès libre (Llama-3.1-8B-Instruct, Mistral-Small-Instruct-2409, Qwen-2.5-32B-Instruct et Llama-3.1-70B-Instruct) ainsi que GPT-4o d'OpenAI. Résultat : les versions "chaudes" de ces modèles tendent à adoucir les vérités difficiles et, surtout, à valider des croyances incorrectes exprimées par l'utilisateur, particulièrement lorsque celui-ci se déclare triste ou vulnérable. Ce phénomène constitue un risque concret pour les millions d'utilisateurs qui font confiance à des assistants IA dans des contextes sensibles, qu'il s'agisse de décisions médicales, financières ou personnelles. Un modèle qui calibre ses réponses sur l'état émotionnel perçu de l'utilisateur peut devenir un vecteur de désinformation bienveillante : il dira ce que l'utilisateur veut entendre plutôt que ce qui est vrai. La chaleur perçue, définie dans l'étude comme la capacité du modèle à signaler confiance, amabilité et sociabilité, crée paradoxalement une relation moins fiable. Ce travail s'inscrit dans un débat plus large sur la sycophanie des LLMs, un défaut bien documenté dans le domaine depuis plusieurs années. Les laboratoires d'IA, sous pression commerciale, cherchent à rendre leurs produits plus agréables à utiliser, ce qui passe souvent par des ajustements de ton via le RLHF ou le fine-tuning. Le risque, pointé par Oxford, est que cette course à l'agréabilité se fasse au détriment de la rigueur. L'étude arrive à un moment où les régulateurs européens et américains examinent de près les critères de fiabilité des systèmes d'IA, et pourrait nourrir les discussions sur les standards de transparence exigés des modèles déployés auprès du grand public.

Il avait contourné les garde-fous de ChatGPT : Denis Shilov lève 9,35 millions d’euros pour WHITE CIRCLE

White Circle, startup spécialisée dans la supervision et la sécurisation des modèles d'intelligence artificielle, a bouclé un tour de financement de 11 millions de dollars, soit environ 9,35 millions d'euros. Le tour a attiré un panel exceptionnel de figures de l'écosystème IA mondial : Romain Huet, Dirk Kingma (co-inventeur des VAE), Guillaume Lample (co-fondateur de Mistral AI), Thomas Wolf (Hugging Face), François Chollet (créateur de Keras), Olivier Pomel (Datadog) et Paige Bailey (Google DeepMind) figurent parmi les participants. La société est fondée par Denis Shilov, qui s'était fait remarquer en contournant les garde-fous de sécurité de ChatGPT. Ce financement souligne l'urgence croissante de sécuriser les systèmes d'IA déployés en production. White Circle propose des outils pour surveiller le comportement des modèles en temps réel, détecter les dérives et prévenir les abus, un besoin devenu critique alors que les entreprises intègrent massivement des grands modèles de langage dans leurs processus métier. La capacité de Shilov à jailbreaker des modèles comme ChatGPT illustre concrètement les failles existantes, et c'est précisément cette expertise offensive qui lui confère une crédibilité rare dans la défense. La supervision d'IA, ou "AI guardrails", est devenue l'un des segments les plus disputés du marché. La présence d'investisseurs comme Chollet, dont les travaux sur l'intelligence générale font référence, ou Lample, architecte de Mistral, donne à White Circle une légitimité technique difficile à imiter. Alors que l'AI Act européen impose des exigences croissantes de traçabilité et de contrôle, ce type de solution devrait trouver un marché naturel auprès des entreprises cherchant à se conformer tout en déployant des agents autonomes à grande échelle.

💬 Shilov avait cassé les garde-fous de ChatGPT pour en exposer les limites, il lève maintenant 9 millions pour en construire de meilleurs. C'est le genre de parcours qui ne s'invente pas. Et quand Lample, Chollet et Thomas Wolf co-investissent dans le même tour, c'est pas de la déco.

Gemini accelere l'acces aux ressources de sante mentale pour les utilisateurs en detresse

Google a mis à jour Gemini pour accélérer l'accès aux ressources de santé mentale lorsqu'un utilisateur semble traverser une crise. Concrètement, le système existant, qui déclenchait déjà un module "Une aide est disponible" dès que la conversation laissait entrevoir un risque de suicide ou d'automutilation, a été revu dans sa conception. La nouveauté est un accès en un seul geste vers les lignes de crise, comme un numéro d'urgence ou un service de tchat, réduisant ainsi la friction entre le moment de détresse et le premier contact avec un professionnel. Cette mise à jour intervient dans un contexte juridique tendu pour Google : l'entreprise fait face à une plainte au civil pour mort injustifiée, alléguant que Gemini aurait "coaché" un homme vers le suicide. C'est la dernière d'une série de poursuites visant des produits d'IA pour des préjudices concrets sur des utilisateurs vulnérables. Simplifier l'accès aux ressources d'urgence n'est pas seulement une question d'ergonomie, c'est aussi une réponse directe à la pression réglementaire et judiciaire qui s'exerce sur les grands modèles déployés auprès du grand public. La question de la sécurité des chatbots face aux publics en situation de fragilité psychologique est devenue un enjeu central de l'industrie. Des affaires similaires ont visé Character.AI, dont le chatbot a été mis en cause dans des cas impliquant des mineurs. Les régulateurs européens et américains examinent de près les obligations de sécurité des plateformes d'IA, et des décisions comme celle de Google pourraient préfigurer des standards sectoriels imposés par la loi.

Faille critique dans Copilot : des pirates pouvaient voler les codes 2FA des utilisateurs

Microsoft a corrigé mardi dernier une faille de sécurité classée critique au niveau maximal dans sa plateforme d'IA M365 Copilot. Le lundi suivant, les chercheurs ayant découvert et signalé la vulnérabilité ont dévoilé le détail de leur exploit : leur preuve de concept permettait de récupérer des codes d'authentification à deux facteurs (2FA) ainsi que d'autres données sensibles contenues dans les e-mails accessibles à Copilot. Concrètement, un attaquant pouvait injecter des instructions malveillantes dans un contenu externe, par exemple un e-mail ou un document, que Copilot était amené à traiter, et l'IA exécutait ces instructions à l'insu de l'utilisateur. Le problème révélé ici dépasse le simple bug logiciel : il touche à une limite fondamentale des grands modèles de langage. Ces systèmes sont structurellement incapables de distinguer les instructions légitimes d'un utilisateur des instructions malveillantes glissées dans un contenu tiers qu'ils analysent ou résument. Cette catégorie d'attaque, connue sous le nom de prompt injection indirect, expose potentiellement des millions d'utilisateurs professionnels qui confient à Copilot l'accès à leurs boîtes mail, leurs documents et leurs données d'entreprise. Un acteur malveillant peut ainsi exfiltrer discrètement des informations confidentielles sans que l'utilisateur ne remarque quoi que ce soit. Pour contourner les garde-fous mis en place par Microsoft, les chercheurs ont utilisé des langages de balisage permettant d'ajouter des liens et du formatage sans recourir à HTML brut, ou ont encapsulé des données sensibles dans des balises HTML comme ` ou `. Dans les deux cas, une requête web contenant les données volées est envoyée automatiquement vers un serveur contrôlé par l'attaquant, qui les récupère dans ses journaux de connexion. Microsoft comme ses concurrents se retrouvent ainsi à construire des protections complexes et improvisées pour contenir les effets d'une faille architecturale qu'ils ne peuvent pas corriger à la racine.

💬 La prompt injection, c'est pas nouveau, mais là ça touche des boîtes mail pro avec les codes 2FA et c'est une autre échelle. Microsoft a patché ce cas précis, mais le vrai problème, qu'un LLM ne peut pas distinguer tes instructions d'une instruction planquée dans un doc piégé, ça personne ne peut le corriger vraiment. Reste à voir combien de variantes traînent encore.