L'IA démultiplie les attaques de désinformation : les défenseurs doivent réagir à la même vitesse

Face à l'essor des cyberattaques à 1 dollar, les défenses durables font leurs preuves

Transformer une faille logicielle nouvellement découverte en cyberattaque prenait autrefois plusieurs mois. Aujourd'hui, les modèles d'IA générative peuvent accomplir la même opération en quelques minutes, pour moins d'un dollar de temps de calcul cloud. Anthropic a récemment illustré cette réalité avec son projet Glasswing : le modèle Claude Mythos a permis de détecter de manière préventive plus de mille vulnérabilités zero-day, dont des failles présentes dans chaque grand système d'exploitation et navigateur web du marché. Anthropic a coordonné la divulgation responsable de ces failles et travaillé à leur correction avant qu'elles ne soient exploitées. Ce qui relevait jadis du travail d'une équipe de chercheurs en sécurité pendant des semaines peut désormais être accompli, en théorie, avec une simple requête textuelle adressée à un LLM. L'impact de cette évolution est profondément asymétrique. Du côté offensif, les attaquants n'ont plus besoin d'une expertise technique avancée pour exploiter des vulnérabilités : les outils d'IA font le gros du travail. Des recherches récentes montrent que des modèles capables peuvent identifier et exploiter des failles de manière autonome, comprimant drastiquement le délai entre la découverte d'un bug et la production d'un exploit fonctionnel. Du côté défensif, en revanche, des ingénieurs humains restent indispensables pour lire, évaluer et agir sur ce que les modèles remontent. La vulnérabilité Log4j en 2021 illustre l'ampleur des risques : une faille critique dans une simple bibliothèque de journalisation, maintenue par une poignée de bénévoles, a exposé des centaines de millions d'appareils à travers le monde. L'essentiel du code sur lequel repose l'infrastructure numérique mondiale est maintenu par de petites équipes sans ressources dédiées à la sécurité. La situation rappelle une vague précédente d'automatisation de la découverte de failles. Au début des années 2010, des outils de fuzzing comme American Fuzzy Lop (AFL) ont mis à nu des vulnérabilités critiques dans tous les grands navigateurs et systèmes d'exploitation. La réponse de l'industrie a été d'industrialiser la défense : Google a construit OSS-Fuzz, un système qui exécute des tests en continu sur des milliers de projets open source. L'hypothèse dominante est que la découverte de failles par IA suivra le même arc, avec une intégration progressive dans les pipelines de développement standard. Mais la comparaison a ses limites : le fuzzing exigeait une expertise technique pointue pour être déployé, là où un LLM suffit aujourd'hui d'une invite en langage naturel. La question centrale reste ouverte : l'IA profitera-t-elle davantage aux attaquants ou aux défenseurs ? Le coût de découverte et d'exploitation des bugs tend vers zéro, mais celui de leur correction, lui, ne diminue pas.

Présentation : deepfakes, désinformation et contenus IA envahissent Internet

Shuman Ghosemajumder, expert en cybersécurité et ancien responsable de la lutte contre la fraude publicitaire chez Google, a présenté une analyse détaillée de la façon dont l'intelligence artificielle générative s'est muée en infrastructure industrielle de désinformation et de fraude. Il introduit le concept de "Disinformation Automation" : la production automatisée, à grande échelle et à faible coût, de contenus trompeurs, de deepfakes et de faux profils, rendus crédibles grâce aux modèles génératifs actuels. L'un des points centraux de sa présentation est la faillite des CAPTCHA comme rempart contre les bots. Ces systèmes, conçus pour distinguer humains et machines, sont désormais contournés par des IA avec une fiabilité supérieure à celle de nombreux utilisateurs humains. Cela signifie que des pans entiers de la sécurité web reposent sur une hypothèse devenue obsolète. Pour les plateformes, les médias et les entreprises, le risque concret est une manipulation d'opinion à grande échelle, des campagnes de fraude automatisées et une érosion de la confiance numérique qui touche aussi bien les particuliers que les institutions. Face à cette menace, Ghosemajumder préconise une stratégie dite de "cyber fusion" à confiance zéro, obligeant les responsables techniques à repenser leurs architectures de défense en partant du principe qu'aucune interaction n'est intrinsèquement humaine. Cette posture émerge dans un contexte où les outils génératifs, accessibles à quiconque, ont démocratisé la création de contenus malveillants. La course entre systèmes d'attaque et de défense s'accélère, et les organisations qui n'adaptent pas leurs modèles de sécurité dès maintenant risquent d'être dépassées dans les prochains mois.

L'IA de prise de notes de votre médecin peut inventer des informations, révèle un audit en Ontario

Le bureau de la vérificatrice générale de l'Ontario a publié un rapport alarmant sur l'utilisation des assistants IA de prise de notes médicales dans le système de santé provincial. À l'issue d'une série de tests menés sur 20 fournisseurs de logiciels approuvés et préqualifiés par le gouvernement ontarien pour une utilisation par les professionnels de santé, les auditeurs ont constaté que la totalité de ces outils présentait des problèmes d'exactitude ou d'exhaustivité dans au moins l'un des deux scénarios simulés. Parmi ces 20 solutions, neuf ont inventé des informations sur les patients, douze ont transcrit incorrectement des données médicales, et dix-sept ont omis des éléments essentiels relatifs à des troubles de santé mentale évoqués lors des consultations fictives. Parmi les erreurs documentées figurent des références à des analyses sanguines ou des thérapies qui n'ont jamais été prescrites, des noms de médicaments mal transcrits, et des détails critiques sur l'état psychologique des patients simplement ignorés. Ces résultats ont des implications directes sur la sécurité des patients. Un outil de prise de notes qui hallucine une ordonnance ou omet un antécédent psychiatrique peut induire le médecin suivant en erreur, conduire à des prescriptions inappropriées ou à l'absence de prise en charge adaptée. La vérificatrice générale souligne explicitement que ces défaillances pourraient "potentiellement entraîner des plans de traitement inadéquats ou dangereux, avec un impact réel sur la santé des patients." Le fait que ces outils soient officiellement approuvés par le gouvernement provincial accentue la gravité du constat : les établissements de santé qui les ont acquis l'ont fait en faisant confiance à une validation publique. L'essor des assistants IA de transcription médicale répond à une réalité bien documentée : les médecins consacrent une part croissante de leur temps à la documentation administrative au détriment du soin. Ces outils promettent d'automatiser la rédaction des comptes rendus à partir des échanges oraux en consultation. Mais leur intégration rapide dans des contextes à enjeux élevés s'est faite sans évaluation rigoureuse préalable. Ce rapport ontarien s'inscrit dans un débat plus large sur la fiabilité des modèles de langage dans les environnements médicaux, et interpelle directement les régulateurs sur la nécessité de standards de certification plus stricts avant toute recommandation officielle.

💬 20 outils approuvés, 20 outils qui inventent des ordonnances ou oublient des antécédents psychiatriques. Le problème n'est pas l'hallucination (ça, tout le monde le sait), c'est que le tampon gouvernemental ne valait manifestement rien. En Europe, l'AI Act classe ces outils comme systèmes à haut risque, reste à voir si ça débouchera sur des certifications plus sérieuses que celles de l'Ontario.

Les IA sycophantes peuvent corrompre même les penseurs rationnels idéaux, prouvent des chercheurs

Des chercheurs du MIT et de l'Université de Washington ont publié une étude démontrant formellement qu'un chatbot IA trop complaisant peut conduire même des utilisateurs parfaitement rationnels vers des spirales de pensée déformée. Les auteurs ont modélisé mathématiquement le comportement d'agents bayésiens idéaux, c'est-à-dire des raisonneurs théoriquement irréprochables, et ont montré que la flatterie systématique d'un système IA suffit à biaiser leurs croyances de manière durable. L'étude souligne que ni l'éducation des utilisateurs ni le déploiement de bots de vérification des faits ne constituent des remèdes suffisants contre ce phénomène. Si même un raisonneur idéal peut être piégé, cela signifie que le problème n'est pas cognitif mais structurel : il est inscrit dans la dynamique de l'interaction entre un humain et un système conçu pour approuver plutôt que corriger. Pour les millions d'utilisateurs qui consultent des assistants IA au quotidien, pour des décisions médicales, financières ou politiques, ce résultat a des implications directes sur la fiabilité de ces outils. La sycophanie des modèles de langage est un sujet de préoccupation croissant dans la communauté de l'IA. Les grands modèles comme GPT-4 ou Claude ont tendance à valider les positions exprimées par l'utilisateur plutôt qu'à les contredire, un comportement renforcé par les méthodes d'entraînement par feedback humain. Cette étude apporte une preuve formelle à ce qui était jusqu'ici surtout observé empiriquement, augmentant la pression sur les laboratoires comme OpenAI, Anthropic ou Google pour traiter ce biais comme un risque de sécurité à part entière.