Prior Labs lance TabPFN-3.5, un modèle tabulaire qui surpasse la solution gagnante d'Otto sur Kaggle avec ses réglages par défaut
Prior Labs a dévoilé TabPFN-3.5, la dernière version de son modèle de fondation pour données tabulaires, capable de faire des prédictions sur un tableau en une seule passe, sans entraînement ni réglage propre à chaque jeu de données. L'entreprise revendique la première place sur sept benchmarks tabulaires. Une démonstration distincte montre le modèle battre la solution gagnante d'un concours Kaggle célèbre datant de 2015, le Otto Group Product Classification Challenge, qui avait réuni 3 505 équipes pour un prix de 10 000 dollars et consistait à classer des produits dans neuf catégories à partir de 93 variables de comptage rendues anonymes, avec un score de log loss multi-classes où la valeur la plus basse gagne. La solution victorieuse de l'époque, signée Gilberto Titericz et Stanislav Semenov, deux grands maîtres Kaggle classés numéro un mondial, empilait 36 modèles construits sur des variables conçues à la main et atteignait 0,382. TabPFN-3.5 obtient 0,375 sur le classement privé, en utilisant les données brutes et les réglages par défaut, en environ une minute sur un GPU RTX PRO 6000, sans jamais avoir vu Otto ni aucun jeu de données Kaggle puisqu'il n'a été entraîné que sur des données synthétiques. Nick Erickson, cocréateur d'AutoGluon et chercheur chez Prior Labs, poursuivait ce score depuis des années : AutoGluon avait atteint le rang 23 en 2020, le rang 14 en 2023 avec la version 1.0, puis le rang 9 en août 2026 avec la version 1.6.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette performance illustre un basculement potentiel dans le travail sur les données tabulaires, qui reste la forme de données la plus répandue dans les entreprises malgré l'attention portée aux grands modèles de langage. Un modèle générique, sans réglage humain ni ingénierie de variables, égale ou dépasse désormais des années d'efforts manuels de spécialistes de très haut niveau, en une fraction du temps. Sur TabArena, un benchmark vivant de 51 jeux de données, la version TabPFN-3.5-Thinking atteint 1910 points Elo, la version de base 1866, contre 1823 pour TabFM+, et Prior Labs affirme que son modèle de base dépasse AutoGluon 1.6 en mode extrême de 130 points Elo en un cinquième du temps de calcul. Sur BeyondArena, qui couvre 142 jeux de données aux structures variées (groupées, temporelles, larges, riches en texte), TabPFN-3.5 devance l'ancien leader d'environ 150 points Elo, même si des réseaux de neurones ajustés et assemblés gardent l'avantage sur certains sous-ensembles spécifiques.
Sous le capot, le transformateur en contexte passe de 512 à 1024 dimensions, portant le nombre de paramètres à 220 millions contre 53 millions pour la version classification de TabPFN-3, avec un unique point de contrôle multitâche couvrant désormais classification et régression, de nouveaux encodages par transformées de Fourier et rangs ECDF, et un prétraitement simplifié. Le modèle gère jusqu'à un million de lignes et 20 000 variables. La famille comprend aussi TabPFN-3.5-Fast, une version allégée à 84 millions de paramètres jusqu'à six fois plus rapide, TabPFN-3.5-Plus réservée à l'API et aux clients entreprise avec traitement natif du texte, et TabPFN-3.5-Thinking, qui mobilise davantage de calcul à l'inférence sans recourir à des modèles de langage. Les poids ouverts restent utilisables librement pour la recherche, l'évaluation et Kaggle, mais tout usage en production nécessite l'API ou une licence commerciale de Prior Labs, signe que l'entreprise cherche à monétiser une avancée qui pourrait redéfinir les standards de l'apprentissage automatique appliqué aux données structurées.
Prior Labs est une startup allemande issue de l'Université de Fribourg, illustrant le dynamisme de la recherche européenne en IA appliquee aux données tabulaires.