On robustesse et cohérence du raisonnement en chaîne dans les VLM affinés par RL

Une équipe de chercheurs a testé la robustesse des modèles vision-langage (VLM) entraînés par renforcement (RL), une technique de plus en plus utilisée pour améliorer le raisonnement des grands modèles de langage et désormais étendue aux modèles multimodaux. Les expériences montrent que ces VLM affinés par RL, bien que plus performants sur les benchmarks de raisonnement visuel, restent fragiles face à des perturbations textuelles simples et contrôlées: une légende trompeuse associée à une image ou une chaîne de raisonnement (chain-of-thought) volontairement erronée suffisent à faire chuter significativement leur robustesse et leur niveau de confiance dans les réponses fournies. Les chercheurs précisent que cet effet est encore plus marqué lorsque la cohérence de la chaîne de raisonnement est mise à l'épreuve, révélant une dépendance excessive au texte plutôt qu'à l'analyse réelle de l'image.

Ce résultat est important car il met en lumière une faille de sécurité et de fiabilité dans une génération de modèles présentée comme plus intelligente grâce au renforcement. Un VLM qui se laisse influencer par une légende erronée ou un raisonnement fautif peut produire des réponses fausses avec une confiance trompeuse, ce qui pose un risque concret pour toute application s'appuyant sur ces systèmes: assistance médicale, modération de contenu, véhicules autonomes ou outils d'analyse documentaire. Cela signifie aussi que les gains de performance mesurés sur les benchmarks classiques masquent une fragilité sous-jacente que les utilisateurs et les entreprises ne perçoivent pas toujours.

Le problème trouve son origine dans le fait que l'entraînement par renforcement, conçu à l'origine pour les modèles purement textuels, a été transposé aux VLM sans toujours garantir un ancrage visuel solide (weak visual grounding) ni une réduction des hallucinations. Les modèles continuent ainsi de privilégier les indices textuels au détriment de l'image elle-même. Cette étude s'inscrit dans un débat plus large sur la fiabilité des architectures multimodales et invite les développeurs à concevoir des méthodes d'entraînement et d'évaluation qui testent explicitement la cohérence entre perception visuelle et raisonnement, avant tout déploiement dans des contextes sensibles.