Photon-1 d'Induction Labs simule des bureaux, joue aux dames et modélise la physique du billard à partir d'un seul entraînement
Induction Labs a publié la semaine dernière Photon-1, un modèle d'IA capable de comprendre et de contrôler un ordinateur après avoir simplement observé des vidéos d'écran, sans jamais recevoir d'étiquettes indiquant quelle action correspond à quelle image. Ce transformeur de type mixture-of-experts (MoE) totalise 106 milliards de paramètres, dont 5 milliards actifs à chaque inférence, et a été entraîné sur l'équivalent de 18 années de vidéos de démonstration informatique, soit 575 millions d'images extraites d'un corpus initial de 2 milliards de vidéos publiques, filtré jusqu'à environ 2 millions d'enregistrements d'écrans. L'entraînement complet, mené en une seule époque sur 552 milliards de tokens avec un contexte de 32 000 tokens, a nécessité environ 30 000 heures de calcul sur GPU H200, soit 4,4×10²² opérations en virgule flottante, avec une utilisation soutenue de 40 % de la capacité matérielle grâce à des noyaux personnalisés développés en PyTorch. Sur un benchmark interne d'utilisation d'ordinateur, Induction Labs affirme que Photon-1 surpasse Gemini 3.1 Flash-Lite tout en consommant nettement moins de calcul à l'entraînement et en coûtant environ trois fois moins cher à faire fonctionner, avec un coût pondéré de 0,11 dollar contre 0,36 dollar par million de tokens.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette approche renverse une contrainte considérée jusqu'ici comme incontournable dans l'entraînement d'agents autonomes: la nécessité de labelliser chaque action associée à une image vidéo. En prédisant simplement les images futures dans un espace de représentation compressé, plutôt qu'en générant des pixels, le modèle développe ce qu'Induction Labs appelle une "politique implicite": il apprend le concept général d'une tâche accomplie par un humain, sans jamais voir explicitement un clic de souris étiqueté. Concrètement, cela pourrait réduire drastiquement le coût et la complexité de l'entraînement d'agents capables de naviguer sur des interfaces graphiques, un enjeu central pour les entreprises qui cherchent à automatiser des tâches de bureau, remplir des formulaires ou piloter des logiciels métier sans développer d'intégrations spécifiques pour chaque application.
Techniquement, la prouesse repose sur un encodeur vidéo utilisant une quantification scalaire finie: chaque image est compressée en 960 tokens discrets de huit dimensions, chacune limitée à cinq valeurs possibles, pour un encodage d'environ 2,2 Ko par image, soit plus de cent fois plus compact que les représentations multimodales existantes tout en conservant texte, mise en page et changements d'état. Après cette phase de pré-entraînement, Induction Labs a affiné Photon-1 sur moins de 35 000 trajectoires d'utilisation réelle d'ordinateur pour lui apprendre à produire des actions concrètes, avant d'appliquer un apprentissage par renforcement en ligne sur des machines virtuelles Linux reproduisant cinq environnements de bureau différents (LXQt, Xfce, MATE, GNOME et Plasma), avec des comptes Google et un clone interne de ChatGPT sans limite de requêtes. Deux réserves accompagnent toutefois ces résultats: le chiffre de calcul attribué à Gemini reste une estimation prudente d'Induction Labs elle-même, et les modalités précises du benchmark comparatif n'ont pas été entièrement détaillées par l'entreprise.
Pas d'impact direct sur la France/UE.
Ce qui saute aux yeux, c'est pas les dames ni le billard, c'est qu'Induction Labs vient de faire sauter le vrai goulot d'étranglement des agents de bureau: labelliser chaque clic à la main. Le modèle apprend juste en prédisant les images qui suivent, sans étiquette d'action, et il tourne trois fois moins cher à l'usage qu'un Gemini Flash-Lite. Bon, le benchmark est maison et les chiffres sur Gemini restent une estimation d'Induction Labs elle-même, donc j'attends de voir ça reproduit ailleurs, mais si ça tient, automatiser des tâches sur une interface graphique va coûter beaucoup moins cher à entraîner que ce qu'on croyait.