Aller au contenu principal
LLMs · Actu ·

Olala mini : la première IA française d’OVHcloud tient sur un PC sans carte graphique dédiée

OVHcloud, l'hébergeur français de serveurs, vient de dévoiler Olala mini 7A1B, son premier grand modèle de langage (LLM), c'est-à-dire le type d'IA qui génère du texte derrière les chatbots. Le modèle sera lancé officiellement le 19 novembre lors de l'OVHcloud AI Summit, après un communiqué et une mise en avant par Octave Klaba, le patron de l'entreprise, sur X. Il compte 7 milliards de paramètres mais n'en active qu'un milliard à chaque requête, répartis entre 256 « experts » par couche, selon une architecture dite de mélange d'experts (MoE). OVHcloud annonce 160 tokens par seconde sur une carte Nvidia RTX A4500 et 50 sur un simple processeur, une carte graphique de 8 Go de mémoire suffisant à le faire tourner. L'entraînement a mobilisé trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay, pour l'équivalent de 7 millions d'euros d'heures de calcul. Le modèle propose une fenêtre de contexte de 32 000 tokens, soit une cinquantaine de pages, et une version 1.1 portant ce chiffre à 128 000 tokens et améliorant le raisonnement mathématique est attendue d'ici fin décembre.

3 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de Frandroid. Lire l'article original →

Sur le plan technique, la nouveauté tient à une attention hybride, le mécanisme qui relie les mots entre eux et devient gourmand en mémoire quand le texte s'allonge. OVHcloud combine Differential-TPA, qui compresse et filtre cette attention, et Mamba-3, qui lit le texte en flux en conservant un résumé de taille fixe. Baidu a présenté quelques jours plus tôt ERNIE 5.5 Flash, également en mélange d'experts à attention hybride, mais avec 280 milliards de paramètres, soit 40 fois plus. Pour les entreprises, l'intérêt est surtout pratique : un modèle capable de tourner sur un poste de travail sans GPU dédié ouvre la voie à des usages locaux, notamment dans la version chiffrée d'OVHai Workspace, qui l'exigera. Avec un milliard de paramètres actifs, on peut espérer résumer, classer ou répondre à des questions simples, mais pas remplacer un assistant généraliste pour coder ou raisonner longuement. Les performances réelles restent par ailleurs inconnues : le communiqué ne cite aucun score de benchmark, et le seul chiffre d'usage vient de Qwant, premier client, qui obtiendrait des réponses 20 % plus rapides et des coûts divisés par trois, par rapport à un modèle précédent non nommé.

Cette annonce s'inscrit dans une stratégie de longue date. Octave Klaba avait évoqué le projet à VivaTech en juin, puis promis en octobre un LLM open source « très en avance sur son temps », en égratignant au passage Mistral. Il justifie l'effort par la chute du coût d'entraînement, qui aurait été divisé par 20 en trois ans, et par le fait qu'on ne peut pas compter indéfiniment sur « la générosité de certains Labs ». Face à Mistral, la comparaison pertinente se fait avec les Ministral 3 (3, 8 et 14 milliards de paramètres, également sous licence Apache 2.0), qui comprennent les images et acceptent 256 000 tokens de contexte, huit fois plus qu'Olala mini. Les poids ne sont pas encore téléchargeables : OVHcloud promet de les publier sur Hugging Face, avec un rapport technique et une documentation de conformité à l'AI Act européen. La suite est ambitieuse, avec une version 2.0 dépassant les 100 milliards de paramètres et des déclinaisons spécialisées dans l'agentique pour entreprises, le DevOps et la cybersécurité, y compris offensive. Olala mini ressemble pour l'heure davantage à une preuve de concept qu'à un produit abouti, mais elle démontre qu'une entreprise européenne peut entraîner un LLM de zéro.

Impact France / UEChamp produit par Le Fil IA

OVHcloud, entreprise française, propose son premier LLM entraîné sur des supercalculateurs européens (Jean Zay, Jupiter, MeluXina), avec Qwant comme premier client et une documentation de conformité à l'AI Act.

À lire ensuite

01OVHcloud dévoile Olala mini, son premier LLM : des débits, pas de scoresActuIALLMs 02Le sens d'un titre : une startup propose une solution au problème de la pensée unique de l'IAMIT Technology ReviewLLMs 03OVHcloud veut ses Mistral gagnants et se lance dans les LLMNext INpactLLMs 
Dossier · Mistral AISuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.