Quand le désapprentissage est gratuit : exploiter les points à faible influence pour réduire les coûts de calcul
Une équipe de chercheurs remet en question un principe central des méthodes de désapprentissage automatique, ou "machine unlearning", ces techniques qui permettent de supprimer l'influence de données spécifiques dans un modèle d'intelligence artificielle déjà entraîné, sans devoir tout réentraîner depuis zéro. Dans leurs travaux intitulés "When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs", les auteurs observent que les approches actuelles traitent tous les points de l'ensemble à oublier, le "forget set", de la même manière, qu'ils aient ou non un réel poids dans les prédictions du modèle. Pour vérifier cette hypothèse, l'équipe a mené une analyse comparative des fonctions d'influence sur des tâches de traitement du langage et de vision par ordinateur, et a identifié des sous-ensembles de données d'entraînement dont l'impact sur les sorties du modèle s'avère négligeable.
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette découverte a une portée pratique directe pour les entreprises qui doivent se conformer aux exigences croissantes de protection des données, comme le droit à l'effacement prévu par le RGPD en Europe. Si une partie des données à supprimer n'influence quasiment pas le comportement du modèle, l'exclure du processus de désapprentissage permettrait d'économiser un temps de calcul et des ressources considérables, sans compromettre la conformité réglementaire ni la fidélité du modèle final.
Ce travail s'inscrit dans un contexte où les modèles de langage et de vision sont entraînés sur des volumes de données toujours plus massifs, rendant le réentraînement complet coûteux et peu pratique à chaque demande de suppression. En questionnant l'hypothèse d'un traitement uniforme du forget set, cette recherche ouvre la voie à des méthodes de désapprentissage plus ciblées et moins gourmandes en ressources, un enjeu appelé à prendre de l'ampleur à mesure que les régulations sur la vie privée se durcissent à l'échelle mondiale.
Cette recherche pourrait permettre aux entreprises europeennes de reduire les couts de mise en conformite avec le droit a l'effacement prevu par le RGPD.