RechercheHuggingFace Blog · 26 mars 2025, 01:00· 1 min de lecture

Formation et affinage de modèles de reranker avec Sentence Transformers v4

Le document traite de la formation et de la finesse des modèles de reranker à l'aide de Sentence Transformers v4. Il met l'accent sur l'amélioration des performances pour les tâches de re-rangage, avec une attention particulière aux modèles BERT et RoBERTa, optimisés pour la vitesse et l'efficacité. Des expériences montrent une amélioration significative des scores de récupération en utilisant ces modèles fins.

Impact France/UE

L'amélioration des modèles de reranker par Sentence Transformers v4 offre des performances accrues pour les entreprises françaises et européennes en traitement automatique de langage, notamment celles utilisant BERT et RoBERTa, en conformité avec le RGPD, pour améliorer les systèmes de recherche et de tri de texte.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1HuggingFace Blog

Mélange d'Experts (MoEs) dans les Transformers

Traduction et résumé: Les "Mixtures of Experts" (MoE) dans les Transformers permettent une meilleure gestion des ressources en allouant des ressources spécifiques à différentes parties du modèle, augmentant ainsi l'efficacité et la précision. Le modèle Google T5, utilisant MoE, a atteint un record de 91,2 sur le benchmark BLEU pour la traduction anglaise-allemande.

UEGoogle T5, un modèle français, améliore l'efficacité des systèmes de traduction grâce à l'application de "Mixtures of Experts" (MoE) dans les Transformers, conformément à l'AI Act, en obtenant un record de 91,2 sur le benchmark BLEU pour la traduction anglaise-allemande.

RechercheOutil

1 source

2arXiv cs.RO

GEGLU-Transformer pour l'estimation IMU vers EMG avec adaptation few-shot

Des chercheurs ont publié sur arXiv (référence 2604.25670) un système d'apprentissage automatique capable de reconstituer l'activité musculaire d'un individu à partir de simples capteurs de mouvement portables, sans recourir aux électrodes d'électromyographie traditionnelles. L'architecture proposée, baptisée GEGLU-Transformer, combine un encodeur de type Transformer avec des unités linéaires à porte d'erreur gaussienne (GEGLU) pour estimer en continu les enveloppes d'activation neuromusculaire des membres inférieurs. Testée selon un protocole strict dit "leave-one-subject-out" sur un jeu de données biomécanique multi-conditions, elle atteint une corrélation r = 0,706 sans aucune adaptation individuelle, puis r = 0,761 avec seulement 0,5 % des données spécifiques au sujet utilisées pour la personnalisation, soit une amélioration significative à partir d'un volume d'entraînement négligeable. Ces résultats ouvrent une voie concrète pour déployer des exosquelettes et des prothèses robotiques en dehors des laboratoires. L'électromyographie de surface, qui mesure l'activité électrique des muscles via des électrodes cutanées, est aujourd'hui indispensable au contrôle adaptatif de ces dispositifs, mais elle reste fragile : les signaux varient selon la transpiration, le placement des électrodes ou les caractéristiques physiologiques propres à chaque utilisateur. Remplacer ces capteurs par des centrales inertielles, accéléromètres et gyroscopes déjà intégrés dans la plupart des appareils portables grand public, permettrait de rendre ces systèmes nettement plus robustes, moins contraignants à calibrer et potentiellement accessibles à une population bien plus large de patients ou d'utilisateurs industriels. Le problème de la variabilité inter-individuelle est l'un des grands obstacles non résolus de la robotique neuromusculaire depuis plusieurs années. Les approches classiques nécessitaient des sessions de calibration longues et répétées pour chaque nouvel utilisateur, ce qui rendait leur usage clinique difficile à grande échelle. L'introduction d'architectures à base d'attention, popularisées par les grands modèles de langage, dans le domaine biomécanique reflète une tendance plus large à recycler des paradigmes issus du traitement du langage naturel vers des signaux physiologiques temporels. La capacité du modèle à se personnaliser rapidement avec très peu de données ouvre la perspective de dispositifs qui s'adaptent à leur porteur en quelques secondes, sans intervention d'un clinicien.

UELes fabricants européens d'exosquelettes et de prothèses pourraient bénéficier de cette approche pour réduire les contraintes de calibration clinique et élargir l'accès aux dispositifs d'assistance motrice.

RecherchePaper

1 source

3Apple Machine Learning

Entraînement par anticipation latente pour les Transformers

Les modèles de langage autorégressifs sont aujourd'hui entraînés via la prédiction du prochain token, une approche efficace mais fondamentalement limitée : à chaque étape, le modèle doit s'engager sur un choix unique, sans possibilité d'explorer plusieurs continuations plausibles. Une nouvelle recherche, acceptée à l'ICLR 2026 dans le cadre du workshop Latent & Implicit Thinking, propose une alternative : l'entraînement par anticipation latente (Latent Anticipation Training), conçu pour dépasser ces contraintes structurelles. L'enjeu est de taille pour le secteur. L'objectif de prédiction token par token impose une allocation de calcul uniforme : chaque token mobilise exactement un seul passage forward, quelle que soit sa difficulté. Cela bride l'expressivité du modèle sur les tokens complexes, ceux qui nécessiteraient davantage de "réflexion" avant d'être générés. En introduisant une dimension latente dans le processus d'entraînement, l'approche permet au modèle de raisonner implicitement avant de s'engager, ouvrant la voie à un calcul adaptatif selon la difficulté du contexte. Le papier s'inscrit dans un courant de recherche croissant qui cherche à aller au-delà du raisonnement par chaîne de pensée (Chain-of-Thought), en déportant une partie du raisonnement dans un espace latent non visible. Contrairement au CoT classique qui externalise le raisonnement sous forme de tokens intermédiaires explicites, l'anticipation latente opère de manière implicite, sans surcharge du contexte de génération. Cette distinction est centrale : le modèle "pense" sans écrire, ce qui réduit la latence et préserve la fluidité de génération. Si les résultats complets ne sont pas encore publics dans cet extrait, l'acceptation du travail à l'ICLR, l'une des conférences de référence en apprentissage automatique, signale une contribution jugée solide par la communauté. La convergence de plusieurs équipes vers des architectures à raisonnement latent, dont les récents travaux sur les Coconut tokens ou les espaces de pensée continues, suggère que cette direction pourrait redéfinir la prochaine génération de grands modèles de langage.

RecherchePaper

1 source

4The Decoder

OpenAI transforme la compression de modèle en chasse aux talents avec son défi « Parameter Golf » à 16 Mo

OpenAI lance un défi inédit à la communauté des chercheurs en intelligence artificielle : concevoir le meilleur modèle de langage possible dans une limite de 16 mégaoctets seulement. Baptisée « Parameter Golf », cette compétition transforme l'exercice de compression de modèle en véritable vitrine technique, et en outil de recrutement assumé. L'initiative révèle une tendance de fond dans le secteur : l'efficacité des modèles devient un enjeu stratégique aussi important que leur puissance brute. Alors que la course aux paramètres à l'échelle des centaines de milliards a longtemps dominé la recherche, la capacité à obtenir des performances maximales avec des ressources minimales s'impose désormais comme une compétence différenciante, notamment pour les applications embarquées, mobiles ou à faible latence. La contrainte de 16 Mo est particulièrement sévère : à titre de comparaison, les modèles de la génération actuelle comme GPT-4 ou Llama pèsent plusieurs dizaines de gigaoctets. Atteindre des performances pertinentes dans cet espace revient à résoudre des problèmes de quantification, de distillation et d'architecture qui se situent à la frontière de la recherche fondamentale. OpenAI utilise explicitement la compétition pour identifier les ingénieurs et chercheurs les plus talentueux dans ce domaine précis. Ce type de défi-recrutement n'est pas une nouveauté dans la tech, Google, Meta et DeepMind y ont régulièrement recours via des compétitions de code ou de ML. Ce qui distingue l'approche d'OpenAI ici, c'est la précision du signal recherché : maîtriser la compression de modèle est exactement le profil nécessaire pour faire tourner des LLM directement sur des appareils grand public, un axe stratégique sur lequel la compétition avec Apple, Google et Microsoft s'intensifie.

RechercheActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic