RechercheOpenAI Blog · 25 mars 2025, 08:00· 1 min de lecture

Monter l'échelle de l'Académie OpenAI

La plateforme OpenAI Academy propose un accès démocratisé aux outils et meilleures pratiques en intelligence artificielle pour tous les publics, facilitant ainsi l'apprentissage et l'utilisation de l'IA.

Impact France/UE

L'initiative de l'Académie OpenAI pour démocratiser l'accès à l'IA pourrait profondément influencer les entreprises européennes, en particulier celles dans les secteurs de la technologie et de la finance, en les incitant à renforcer leurs compétences internes en IA, conformément au RGPD et l'AI Act, tout en présentant des opportunités de développement et de compétitivité, mais aussi des menaces potentielles en termes de sécurité et de confidentialité des données.

Dans nos dossiers

OpenAI

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

Mise à l'échelle des cartes de flux catégorielles

Les modèles de diffusion continue et de flow matching pourraient constituer une alternative sérieuse aux approches autorégressives utilisées aujourd'hui pour la modélisation du langage. Des travaux de recherche récents montrent qu'il est possible de générer des données discrètes, comme du texte, par un processus continu de flow matching reliant une distribution gaussienne à la distribution des données encodées en one-hot. Cette approche a permis de développer les Categorical Flow Maps (CFM), une technique qui accélère l'échantillonnage tout en produisant des résultats de qualité comparable aux méthodes existantes. L'enjeu de ces travaux est désormais de faire passer cette technique à l'échelle, c'est-à-dire de vérifier qu'elle reste efficace et compétitive lorsqu'elle est appliquée à des modèles de langage de grande taille, au-delà des démonstrations initiales à plus petite échelle. Cette avancée compte parce qu'elle pourrait transférer au traitement du texte des avantages jusqu'ici réservés aux modalités continues comme l'image ou la vidéo, notamment une génération beaucoup plus rapide et un meilleur contrôle du contenu produit, ce que les chercheurs appellent le tilting. Pour l'industrie, cela ouvrirait la voie à des modèles de langage capables de produire du texte en moins d'étapes de calcul que les architectures autorégressives classiques, réduisant les coûts d'inférence tout en conservant la flexibilité nécessaire pour orienter finement les sorties générées, un enjeu central pour les applications commerciales des grands modèles. Ces recherches s'inscrivent dans un mouvement plus large qui cherche à unifier les techniques de génération entre modalités continues et discrètes. Les modèles de diffusion dominent déjà la génération d'images et de vidéos, tandis que les architectures autorégressives de type transformeur restent la norme pour le texte. En démontrant que le flow matching catégoriel peut rivaliser avec ces dernières tout en accélérant l'échantillonnage, ces travaux alimentent un débat en cours sur l'avenir architectural des modèles de langage, avec des implications potentielles pour la prochaine génération de systèmes conversationnels à grande échelle.

RecherchePaper

1 source

2OpenAI Blog

Déclaration conjointe d'OpenAI et de Microsoft

OpenAI et Microsoft maintiennent une collaboration étroite en recherche, ingénierie et développement de produits, capitalisant sur des années de coopération approfondie et de succès partagés.

UEOpenAI et Microsoft renforcent leur partenariat pour l'innovation en IA, influençant potentiellement des entreprises françaises et européennes, sans impact direct immédiat sur la conformité aux lois comme le RGPD ou l'AI Act, mais ouvrant des opportunités dans les secteurs de l'IA et du développement de produits.

RechercheActu

1 source

3Lilian Weng

Les lois d'échelle, examinées avec rigueur

Les lois d'échelle (scaling laws) constituent l'une des découvertes empiriques les plus déterminantes de l'apprentissage profond moderne. Le principe est d'une élégante simplicité : la perte d'entraînement L d'un modèle diminue de manière prévisible lorsque l'on augmente simultanément trois paramètres, la taille du modèle N, la quantité de données d'entraînement D, et la puissance de calcul C. Cette relation suit une courbe en loi de puissance, qui se traduit par une droite sur un graphe log-log. En d'autres termes, plus on investit en calcul, en données et en paramètres, plus le modèle s'améliore, et ce de façon quantifiable à l'avance. L'enjeu pratique est considérable : ces lois permettent aux équipes de recherche d'allouer leur budget de calcul de façon optimale entre deux leviers, augmenter la taille du modèle ou augmenter le volume de données. Pour des entraînements qui coûtent des dizaines ou centaines de millions de dollars, la capacité à prédire les gains avant même de lancer un run est une information stratégique de premier ordre. Ce cadre théorique a été formalisé par les chercheurs d'OpenAI autour de Jared Kaplan en 2020, puis significativement révisé par DeepMind avec le papier Chinchilla en 2022, qui démontrait que la plupart des grands modèles étaient sous-entraînés en données par rapport à leur taille. Aujourd'hui, alors que les entreprises approchent de limites physiques et économiques, la question centrale est de savoir si ces lois continueront de tenir, ou si l'ère du scaling pur touche à sa fin.

RecherchePaper

1 source

4Apple Machine Learning

Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue

Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD). Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle. Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic