Anthropic n'est pas le meilleur pour le service client, selon de nouvelles données
Les modèles d'Anthropic, réputés pour leurs performances en programmation, se révèlent moins efficaces pour les applications vocales et conversationnelles de service client, selon des données publiées par NiCE, fournisseur de logiciels de service client dont les clients incluent Toyota, Allianz, Nestlé et Frontier Airlines. Neeraj Verma, vice-président de l'activité agents IA chez NiCE, explique que les modèles d'Anthropic affichent un temps de latence relativement long avant de générer leur première réponse, un délai connu sous le nom de "time to first token". Selon lui, un agent vocal ou textuel de service client ne peut marquer une pause que d'environ 2,5 secondes maximum avant de paraître non naturel aux yeux du client. Verma estime que le marché des logiciels d'expérience client propulsés par l'IA pèse aujourd'hui 15 milliards de dollars et connaît une croissance rapide.
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
Cette latence pose un problème concret pour les entreprises qui cherchent à déployer des assistants vocaux fluides et réactifs. Verma résume la situation sans détour: utiliser les modèles d'Anthropic pour du service client rendrait, selon ses mots, le bot "vraiment nul" parce que les modèles seraient "tout simplement trop lents". Pour des secteurs comme l'aérien, l'assurance ou l'automobile, où les clients de NiCE opèrent, chaque milliseconde de délai peut dégrader l'expérience utilisateur et donner l'impression d'une interaction robotique plutôt que naturelle, un enjeu crucial dans un marché aussi concurrentiel.
Ce constat illustre une tension plus large dans l'écosystème de l'IA générative: la performance d'un modèle sur une tâche donnée, comme le code pour Anthropic, ne garantit pas son excellence sur d'autres usages comme la génération vocale en temps réel. Les fournisseurs de logiciels comme NiCE doivent ainsi arbitrer entre plusieurs modèles selon les cas d'usage, ce qui pousse des entreprises comme OpenAI, Google ou d'autres acteurs à optimiser spécifiquement la vitesse de leurs modèles pour les applications vocales, un axe de compétition distinct de la seule qualité des réponses générées.
Impact indirect: Allianz, assureur européen, figure parmi les clients de NiCE susceptibles d'être concernés par ce choix de modèles IA pour le service client.