Motional et le MIT expliquent les décisions des voitures autonomes
Motional, l'entreprise de conduite autonome soutenue par Hyundai, et des chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT ont mis au point un système capable d'expliquer en temps réel les décisions prises par une voiture autonome. Les travaux, publiés dans la revue Nature, associent la PDG de Motional, Laura Major, à une équipe du MIT. Baptisé Concept-Wrapper Network (CW-Net), le système traduit les calculs internes du réseau de neurones de conduite en concepts compréhensibles par un humain, comme « véhicule à l'arrêt en approche » ou « proximité d'un cycliste », affichables sur un tableau de bord. Contrairement à des explications générées après coup sous forme de texte plausible mais pas toujours fidèle, CW-Net fonde directement la décision finale du véhicule sur ces concepts interprétables, ce que l'équipe qualifie de « causalement fidèle ». Le système a été testé sur un véhicule autonome équipé d'un opérateur de sécurité, sur piste privée puis sur route ouverte autour de Las Vegas, avec une version expérimentale du logiciel de planification de Motional.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AI News. Lire l'article original →
Cette approche s'attaque directement au problème de la « boîte noire » qui freine la confiance dans les véhicules autonomes : lorsqu'une voiture freine brusquement sans raison apparente, ni le conducteur ni les passagers ne peuvent aujourd'hui savoir pourquoi. Deux incidents relevés pendant les essais illustrent l'intérêt du dispositif. Dans le premier, le véhicule s'arrêtait systématiquement près d'un cône de signalisation ; après son retrait, la voiture s'est arrêtée quand même, et CW-Net a révélé que le système hallucinait la présence d'un véhicule arrêté, un biais retracé jusqu'aux données d'entraînement. Dans le second cas, le véhicule s'est arrêté pour un cycliste, mais CW-Net a montré que cette décision ne reposait pas réellement sur la détection du cycliste : le freinage provenait en fait d'un système de sécurité de secours, et non du planificateur expérimental fondé sur l'apprentissage profond.
Pour Laura Major, ces résultats illustrent les limites d'une approche tout-en-un fondée uniquement sur le deep learning, capable d'atteindre 80 à 95 % de fiabilité mais insuffisante pour retirer un conducteur du véhicule ou gagner la confiance des villes et des usagers. Explorée jusqu'ici surtout en simulation, l'intelligibilité des systèmes d'IA embarqués sort ainsi du laboratoire pour être confrontée à la route réelle. Motional reconnaît qu'ajouter des couches d'explicabilité comporte un coût potentiel en vitesse et en performance, un compromis que l'entreprise cherche à mesurer alors qu'elle affine son système en vue d'un déploiement plus large.
Pas d'impact direct sur la France/UE