Aller au contenu principal
Les consommateurs sont-ils condamnés à payer plus cher pour l'électricité en raison des dépenses d'agrandissement des centres de données?
RechercheArs Technica AI13sem

Les consommateurs sont-ils condamnés à payer plus cher pour l'électricité en raison des dépenses d'agrandissement des centres de données?

Résumé IASource uniqueImpact UE
Source originale ↗·

Les consommateurs pourraient-ils être contraints de payer plus cher pour l'électricité en raison des développements des centres de données? Les grandes entreises technologiques, comme Amazon, Google, Meta, Microsoft, xAI, Oracle et OpenAI, s'engagent potentiellement à construire leurs propres centrales électriques pour les centres de données, conformément à une promesse soutenue par Donald Trump. Cependant, ces entreprises font face à des défis logistiques importants pour tenir cette promesse faite lors d'un événement au White House, assurant que "personne ne verra son prix augmenter" en raison de la demande énergétique des centres de données AI.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Goldilocks RL : ajuster la difficulté des tâches pour contourner les récompenses éparses en raisonnement
1Apple Machine Learning 

Goldilocks RL : ajuster la difficulté des tâches pour contourner les récompenses éparses en raisonnement

Goldilocks RL est une nouvelle stratégie d'échantillonnage de données pour l'apprentissage par renforcement des grands modèles de langage, visant à résoudre le problème des récompenses éparses qui rendent l'entraînement inefficace. Un modèle "enseignant" prédit dynamiquement la difficulté de chaque question pour le modèle "élève", sélectionnant des tâches ni trop faciles ni trop difficiles — comme dans le conte Boucle d'Or. Cette approche de curriculum learning adaptatif permet aux modèles de raisonner plus efficacement en évitant les vastes espaces de recherche avec peu de feedback.

RecherchePaper
1 source
Les modèles de raisonnement luttent pour contrôler leurs chaînes de pensée, et c'est bien ainsi
2OpenAI Blog 

Les modèles de raisonnement luttent pour contrôler leurs chaînes de pensée, et c'est bien ainsi

OpenAI a introduit CoT-Control et a constaté que les modèles de raisonnement ont du mal à contrôler leurs chaînes de pensée, ce qui souligne l'importance de la surveillabilité comme mesure de sécurité en IA. Cette difficulté à réguler leurs processus de raisonnement renforce l'idée que la capacité à surveiller les pensées des modèles est cruciale pour assurer leur sécurité.

RechercheOpinion
1 source
Des chercheurs automatisent la conception de stratégies de raisonnement pour LLM et réduisent l'utilisation de tokens de 69,5 %
3VentureBeat AI 

Des chercheurs automatisent la conception de stratégies de raisonnement pour LLM et réduisent l'utilisation de tokens de 69,5 %

Des chercheurs affiliés à Meta, Google et plusieurs universités ont publié AutoTTS, un cadre algorithmique capable de concevoir automatiquement des stratégies d'optimisation pour les grands modèles de langage au moment de l'inférence. Jusqu'ici, les ingénieurs devaient manuellement définir les règles régissant le raisonnement des modèles, quand explorer de nouvelles pistes, quand approfondir une réflexion existante, quand élaguer une branche peu prometteuse. AutoTTS remplace ce travail artisanal par un agent explorateur, typiquement un LLM comme Claude, qui teste et affine des politiques d'allocation de calcul de façon itérative. Dans les expérimentations menées par les chercheurs, cette approche a permis de réduire la consommation de tokens de 69,5 % sans perte de précision. L'enjeu est considérable pour les entreprises qui déploient des modèles de raisonnement en production. Le "test-time scaling" (TTS) consiste à accorder aux modèles des cycles de calcul supplémentaires à l'inférence, générer plusieurs chemins de raisonnement, voter par majorité sur la réponse, ou s'arrêter dès qu'un seuil de confiance est atteint. Ces stratégies sont coûteuses, et les réduire de 69,5 % sans sacrifier la qualité représente une économie opérationnelle directe et substantielle. Pour les organisations déployant ces modèles à grande échelle, c'est la différence entre une technologie économiquement viable et un budget calcul incontrôlable. Le TTS s'est imposé ces dernières années comme l'une des voies principales pour améliorer les performances des LLM sans passer par un réentraînement coûteux. Les méthodes existantes, self-consistency, adaptive-consistency, parallel-probe, partagent toutes le même défaut : elles sont conçues à la main, limitées par l'intuition humaine dans un espace de configurations potentielles immense. AutoTTS redéfinit le rôle de l'ingénieur : plutôt que de coder les règles elles-mêmes, il définit l'environnement de découverte (l'espace d'états, les objectifs d'optimisation, les mécanismes de feedback), et laisse le LLM explorateur trouver la politique optimale. Pour rendre cette recherche économiquement supportable, le cadre s'appuie sur un environnement de simulation hors ligne, évitant d'appeler le modèle cible à chaque itération. La publication ouvre la voie à une nouvelle catégorie d'outils où l'IA conçoit ses propres stratégies d'inférence, potentiellement adaptées dynamiquement selon le type de tâche ou le budget disponible.

UEUne réduction de 69,5% des tokens à l'inférence bénéficierait aux entreprises et institutions européennes déployant des LLMs en production, réduisant significativement leurs coûts opérationnels cloud.

RecherchePaper
1 source
Les données textuelles pour les LLM s'épuisent : Meta mise sur les vidéos non étiquetées comme prochain grand terrain d'entraînement
4The Decoder 

Les données textuelles pour les LLM s'épuisent : Meta mise sur les vidéos non étiquetées comme prochain grand terrain d'entraînement

Une équipe de recherche de Meta FAIR et de l'Université de New York a entraîné un modèle d'IA multimodal from scratch, remettant en question plusieurs hypothèses courantes sur la construction de ces modèles. Face à l'épuisement des données textuelles pour entraîner les LLM, Meta mise sur la vidéo non étiquetée comme prochain grand gisement d'entraînement. Cette approche pourrait ouvrir une nouvelle frontière pour le développement de modèles d'IA à grande échelle.

RechercheActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour