RechercheOpenAI Blog13sem

Les modèles de raisonnement luttent pour contrôler leurs chaînes de pensée, et c'est bien ainsi

Résumé IASource uniqueImpact UE

OpenAI a introduit CoT-Control et a constaté que les modèles de raisonnement ont du mal à contrôler leurs chaînes de pensée, ce qui souligne l'importance de la surveillabilité comme mesure de sécurité en IA. Cette difficulté à réguler leurs processus de raisonnement renforce l'idée que la capacité à surveiller les pensées des modèles est cruciale pour assurer leur sécurité.

Dans nos dossiers

OpenAI

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

Goldilocks RL : ajuster la difficulté des tâches pour contourner les récompenses éparses en raisonnement

Goldilocks RL est une nouvelle stratégie d'échantillonnage de données pour l'apprentissage par renforcement des grands modèles de langage, visant à résoudre le problème des récompenses éparses qui rendent l'entraînement inefficace. Un modèle "enseignant" prédit dynamiquement la difficulté de chaque question pour le modèle "élève", sélectionnant des tâches ni trop faciles ni trop difficiles — comme dans le conte Boucle d'Or. Cette approche de curriculum learning adaptatif permet aux modèles de raisonner plus efficacement en évitant les vastes espaces de recherche avec peu de feedback.

RecherchePaper

1 source

2MarkTechPost

L'optimisation bayésienne : pourquoi la nouvelle méthode d'entraînement de Google AI est la clé du raisonnement des LLM

Des chercheurs de Google ont identifié une limite majeure des LLMs comme Llama-3-70B et Qwen-2.5-32B : leur incapacité à mettre à jour leurs "croyances" au fil des interactions, plafonnant dès le premier échange. Ils ont développé le Bayesian Teaching, une technique d'entraînement qui apprend aux modèles à raisonner comme un assistant bayésien — en maintenant et mettant à jour une distribution de probabilités sur les préférences utilisateur à chaque round. Contre-intuitivement, entraîner les modèles sur des "suppositions éclairées" (souvent fausses en début d'apprentissage) s'est révélé plus efficace que de les entraîner sur les bonnes réponses, permettant à des modèles comme Gemma-2-9B et Llama-3-8B d'approcher les performances du modèle bayésien de référence.

RecherchePaper

1 source

3Ars Technica AI

Les consommateurs sont-ils condamnés à payer plus cher pour l'électricité en raison des dépenses d'agrandissement des centres de données?

Les consommateurs pourraient-ils être contraints de payer plus cher pour l'électricité en raison des développements des centres de données? Les grandes entreises technologiques, comme Amazon, Google, Meta, Microsoft, xAI, Oracle et OpenAI, s'engagent potentiellement à construire leurs propres centrales électriques pour les centres de données, conformément à une promesse soutenue par Donald Trump. Cependant, ces entreprises font face à des défis logistiques importants pour tenir cette promesse faite lors d'un événement au White House, assurant que "personne ne verra son prix augmenter" en raison de la demande énergétique des centres de données AI.

RechercheOpinion

1 source

4InfoQ AI

Les chercheurs de Google proposent une méthode d'enseignement bayésien pour les grands modèles de langage

Des chercheurs de Google Research ont proposé une méthode d'entraînement permettant aux grands modèles de langage d'approximer le raisonnement bayésien, en apprenant à partir des prédictions d'un système bayésien optimal. L'objectif est d'améliorer la façon dont les modèles mettent à jour leurs croyances au fil des interactions multi-étapes, à mesure qu'ils reçoivent de nouvelles informations.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour