Google DeepMind transforme la langue des signes en texte sur les Pixel 11
Google DeepMind a dévoilé un nouveau modèle d'intelligence artificielle baptisé SL2T (sign-language-to-text), présenté à l'occasion du lancement de la gamme Pixel 11 par Google. Cette technologie permet de transcrire en temps réel la langue des signes en texte directement depuis un smartphone, sans passer par la saisie manuelle. Les Pixel 11 deviennent ainsi les premiers appareils Android à intégrer nativement cette fonction, qui permet aux utilisateurs sourds ou malentendants de signer devant leur téléphone pour effectuer une recherche sur internet, rédiger un message, dialoguer avec l'assistant Gemini ou répondre dans une conversation. Le modèle a été entraîné sur plus de 100 000 heures de données couvrant 50 langues des signes différentes, dont environ un quart consacré à l'ASL (American Sign Language, langue des signes américaine), premier langage pris en charge au lancement. Google précise que d'autres langues des signes ainsi que d'autres appareils sont prévus pour de futures mises à jour.
Résumé et traduction réalisés par Le Fil IA à partir de Next INpact. Lire l'article original →
Cette avancée représente une étape importante en matière d'accessibilité numérique, un domaine où les solutions technologiques restaient jusqu'ici limitées. Selon les testeurs de Google, l'usage de la langue des signes pour interagir avec un smartphone se révèle plus rapide, plus naturel et plus confortable que la frappe au clavier, notamment pour les utilisateurs dont la langue des signes constitue le mode de communication principal. En intégrant cette capacité directement dans le système Android plutôt que dans une application tierce ou un accessoire dédié, Google normalise l'accès aux services numériques pour une population souvent mal desservie par les interfaces conçues autour de la langue écrite ou orale. L'initiative pourrait aussi inciter d'autres fabricants et éditeurs de systèmes d'exploitation à investir dans des fonctions similaires.
Le développement d'un tel modèle se heurte à deux difficultés majeures : la structure grammaticale propre des langues des signes, qui ne sont pas de simples transcriptions gestuelles d'une langue orale, et la complexité visuelle des signes, combinant mouvements des mains, expressions faciales, position du torse et de la tête. Google écarte ainsi les précédentes tentatives, comme les « gants de traduction », jugées trop limitées. Pour protéger la vie privée, SL2T ne traite pas le flux vidéo brut : un système appelé MediaPipe Holistic extrait localement, sur l'appareil, des points de repère corporels, seules données envoyées au serveur, la vidéo étant immédiatement effacée. Google affirme obtenir les meilleurs résultats sur les tests de référence comme FLEURS-ASL et a créé un comité consultatif international, l'AI Sign Language Advisory Committee, pour orienter les prochaines étapes, la langue des signes française n'étant pas encore prise en charge.
La langue des signes française n'est pas encore prise en charge par SL2T, ce qui limite pour l'instant tout impact direct sur les usagers sourds en France ou en UE.