Ahmad Osman explique pourquoi l'IA locale rattrape son retard

Ahmad Osman, fondateur de la société Osmantic qui développe des logiciels open source pour déployer et faire fonctionner des systèmes d'IA locale, s'est exprimé lors de l'AI Engineer World's Fair, où il a animé un atelier en deux parties consacré aux modèles de langage locaux et aux agents de type « workstation ». La demande a été telle que certains participants n'ont pas pu être accueillis faute de place. Osman avait préparé un site permettant de comparer en direct différentes machines, comme le DGX Spark de Nvidia ou les postes AMD Strix Halo, face à des modèles cloud propriétaires, en observant performance, qualité de sortie, vitesse et latence. Son objectif était de rendre l'IA locale tangible plutôt que théorique, à un moment où l'écart entre modèles open source et modèles propriétaires de pointe continue de se réduire, selon lui à quatre ou huit mois de retard seulement. Le public de ses ateliers allait d'étudiants cherchant leur première machine capable de faire tourner de l'IA jusqu'à des cadres d'entreprise réfléchissant au routage de modèles et au contrôle des données internes.

Cette évolution compte parce qu'elle change la perception d'une technologie encore associée, dans l'esprit de beaucoup, aux modèles peu performants de 2022. Osman insiste sur le fait qu'un modèle ne suffit pas à reproduire l'expérience d'outils comme ChatGPT ou Claude Code, qui s'appuient sur une infrastructure complète incluant recherche web, outils et services annexes. Il cite l'exemple d'un ami ayant acheté une carte graphique RTX 5090 pour faire tourner Qwen 3.5 en local et connecté à Claude Code : la tentative de modifier l'éclairage RGB de sa carte a échoué localement, faute d'accès à une recherche internet permettant de contourner la date limite des données d'entraînement, alors que la version hébergée du service a réussi sans problème. Une fois l'accès à un moteur de recherche ajouté au système local, la tâche a pu être menée à bien. Pour Osman, cette distinction est essentielle pour les entreprises qui envisagent l'IA locale comme une infrastructure sérieuse plutôt qu'un simple gadget technique.

Sur son site Open Source AI Must Win, Osman défend une position plus large : la capacité à étudier, construire, réparer, déployer, auditer, adapter, enseigner, préserver et faire fonctionner des systèmes d'intelligence artificielle sans demander la permission relèverait d'un enjeu existentiel. Cette conviction s'inscrit dans un mouvement plus vaste observé lors de l'AI Engineer World's Fair, où les modèles ouverts apparaissent de plus en plus comme des alternatives crédibles aux grands modèles fermés. Le matériel disponible pour les particuliers et les entreprises, des téléphones et ordinateurs portables jusqu'aux stations de travail dédiées à base de GPU, progresse rapidement, ce qui alimente l'intérêt croissant des développeurs comme des dirigeants pour une IA maîtrisée localement, indépendante des services cloud des grands fournisseurs.