Aller au contenu principal
Recherche · Paper ·

Vers une théorie de l'évaluabilité

Les modèles d'apprentissage automatique, en particulier les grands modèles de fondation, sont désormais évalués selon plusieurs axes : précision sur la tâche visée, mais aussi sécurité, calibration et équité. Une nouvelle étude intitulée « Toward a Theory of Evaluability » remet en cause l'hypothèse classique selon laquelle l'ensemble de test a été tenu à l'écart de l'entraînement, ce qui devient difficile à garantir pour les grands modèles. Les auteurs formalisent une notion d'évaluabilité sans cette hypothèse et se demandent s'il est possible d'évaluer un modèle opaque lorsque les échantillons de test ont pu servir à l'entraîner. Dans le cadre le plus naturel, où l'évaluateur observe uniquement les sorties du modèle sur le jeu de test, ils caractérisent entièrement la classe de distributions pour lesquelles une évaluation fiable est possible et établissent des bornes supérieures et inférieures serrées sur le nombre d'échantillons nécessaires. Leur conclusion : l'évaluation en boîte noire n'est réalisable que si la distribution est proche d'une distribution à petit support. Dans un second temps, les chercheurs autorisent l'évaluateur à interroger le modèle sur des entrées supplémentaires et établissent un lien avec les « self-correctors » étudiés dans le test de programmes. Ils montrent qu'un accès limité par requêtes accroît le pouvoir de l'évaluateur pour des distributions et des classes de concepts naturelles.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →

L'enjeu est considérable pour toute la chaîne de l'IA. Si les données de test peuvent avoir fuité dans les corpus d'entraînement, les scores publiés sur les benchmarks perdent une part de leur signification, y compris pour des propriétés sensibles comme la sécurité ou l'équité, sur lesquelles reposent des décisions de déploiement et de conformité réglementaire. Le résultat théorique est donc une mise en garde : pour la plupart des distributions riches, comme le langage ou les images, une simple observation des sorties ne suffit pas à certifier la qualité d'un modèle. En revanche, l'idée qu'un accès restreint, par exemple la possibilité de poser des questions supplémentaires, redonne des garanties ouvre une piste pratique pour les auditeurs, les régulateurs et les entreprises qui achètent des modèles qu'elles ne peuvent pas inspecter.

Ces travaux s'inscrivent dans un mouvement plus large de remise en question de l'évaluation des modèles de fondation. Dans le domaine de la parole, par exemple, les évaluations restent éclatées selon les tâches et les types de modèles, et une proposition récente de taxonomie unifiée, structurée autour de trois axes orthogonaux, cherche à déterminer quelle évaluation convient à quel modèle. Du côté des industriels, Apple a présenté lors de sa conférence WWDC 2024 Apple Intelligence, un système personnel intégré à iOS 18, iPadOS 18 et macOS Sequoia, reposant sur plusieurs modèles génératifs spécialisés, affinés pour rédiger et reformuler des textes, hiérarchiser et résumer des notifications, créer des images ludiques ou effectuer des actions dans les applications. Plus ces modèles se généralisent dans des produits grand public, plus la question de savoir comment les évaluer de façon crédible devient centrale, et les cadres théoriques comme celui-ci pourraient guider la conception des futurs protocoles d'audit.

Impact France / UEChamp produit par Le Fil IA

Les résultats pourraient guider la conception de protocoles d'audit et de conformité pour les régulateurs et entreprises européens, de façon indirecte.

À lire ensuite

01Métrique d'évaluation des agents pour les conversations multi-toursAWS ML BlogRecherche 02Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscienceVentureBeat AIRecherche 03Un nouveau benchmark pour évaluer les agents IA de santé destinés aux patientsAmazon ScienceRecherche 
Dossier · Apple IntelligenceSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.