Cet article décrit la construction d'un cadre complet pour des agents agents intelligents de prochaine génération, basés sur un plan cognitif et un agent de fonctionnement en temps réel. Les blueprints structurés pour l'identité, les objectifs, la planification, la mémoire, la validation et l'accès aux outils sont définis et utilisés pour créer des agents capables de répondre, planifier, exécuter et améliorer systématiquement leurs sorties. Le cadre permet la modulaire, l'extensibilité et la praticité pour l'expérimentation avancée des agents agents, grâce à la portabilité des blueprints qui soutiennent plusieurs personnalités et comportements d'agent.
Google a lancé TensorFlow 2.21 introduisant LiteRT, maintenant prêt pour la production, qui offre des améliorations de performance GPU (1,4 fois plus rapide) et une intégration NPU avancée pour une déploiement fluide des modèles PyTorch sur les appareils mobiles et edge. LiteRT remplace TensorFlow Lite, simplifiant la conversion des modèles entraînés avec PyTorch ou JAX pour un déploiement on-device, tout en renforçant la sécurité et les mises à jour des dépendances.
Microsoft a dévoilé Phi-4-reasoning-vision-15B, un modèle multimodal de 15 milliards de paramètres open-weight conçu pour des tâches d'image et de texte nécessitant à la fois la perception et la raisonnement sélectif. Ce modèle compact équilibré entre la qualité de raisonnement, l'efficacité computationnelle et les exigences en matière de données d'entraînement, excellant particulièrement dans la raisonnement scientifique et mathématique ainsi que la compréhension des interfaces utilisateur. Il combine le noyau de langage Phi-4-Reasoning avec l'encodeur visuel SigLIP-2 via une architecture de fusion intermédiaire. Microsoft a choisi la voie des petits modèles pour réduire les coûts de déploiement et de latence, entraînant Phi-4-reasoning-vision-15B sur 200 milliards de jetons multimodaux, comparé aux plus de 1 billions de tokens utilisés pour d'autres modèles multimodaux récents. Le modèle met l'accent sur la perception de haute résolution pour améliorer la compréhension des éléments visuels détaillés dans les captures d'écran, les documents et les interfaces. La stratégie d'entraînement mixte permet au modèle de passer entre deux modes, raisonnement et non-raisonnement, garantissant une meilleure adaptabilité.
Le Spectre I, conçu par un récent diplômé de Harvard, vise à donner aux utilisateurs le contrôle sur les dispositifs portables toujours allumés entourant leur vie quotidienne. Cependant, le principal obstacle est la physique, ce qui suggère que son efficacité pourrait être limitée.
OpenAI dévoile GPT-5.4, un modèle d'IA avancé pour agents autonomes, capable de raisonnement, codage et manipulation de documents, présentations et feuilles de calcul. C'est le premier modèle d'OpenAI avec des capacités de fonctionnement direct sur ordinateur pour accomplir des tâches diversifiées, marquant une avancée vers un avenir où des réseaux d'agents IA effectuent des travaux complexes en ligne et au sein du logiciel.
L'article discute des défis et solutions pour intégrer l'IA robotique sur des plateformes embarquées, en se concentrant sur la collecte de données, le réajustement fine avec VLA (Votre Logiciel d'Apprentissage) et les optimisations sur appareil.
Des outils de piratage avancés ont compromis dizaines de milliers d'iPhones, potentiellement développés pour usages gouvernementaux, mettant en évidence des vulnérabilités dans l'écosystème Apple, généralement considéré comme très sécurisé.
Zelensky propose un échange tactique avec les États-Unis pour partager l'expertise ukrainienne sur les drones Shahed, utilisés par l'Iran dans le conflit régional. Ce geste intervient alors que les États-Unis et Israël mènent une guerre contre Téhéran, face à la prolifération de ces drones.
Smack Technologies développe des modèles d'IA pour planifier des opérations au combat, tandis que d'autres entreprises comme Anthropic discutent des limites pour les utilisations militaires de l'IA.
Le Physical AI gagne en popularité, avec une convergence simultanée de progrès dans l'industrie technologique. Ce moment est comparé à l'avènement de ChatGPT pour les robots, indiquant un passage d'une technologie de recherche à une adoption commerciale généralisée. Les entreprises occidentales, comme Nvidia, Arm, Siemens et Google, investissent massivement dans des plateformes pour monétiser l'IA à travers les robots et les véhicules intelligents. En Orient, la Chine se concentre sur la construction des machines elles-mêmes, avec des entreprises comme Boston Dynamics et des initiatives gouvernementales pour développer des robots avancés. Les implications pour les entreprises sont considérables, avec 58% des dirigeants mondiaux déjà utilisant le Physical AI et 80% planifiant de le faire dans les deux prochaines années. La question centrale est désormais de savoir sur quel plateforme et à quelle vitesse adopter cette technologie.
Google intégre officiellement Intrinsic, une société spécialisée dans l'IA pour la robotique industrielle, en tant que filiale autonome au sein d'Alphabet. L'objectif est de simplifier la programmation des robots industriels grâce à la plateforme Flowstate d'Intrinsic, qui nécessite peu ou pas de codage spécialisé. Cette intégration renforce la capacité de Google à offrir un ensemble complet d'outils pour les fabricants, y compris des modèles d'IA de DeepMind, des logiciels de déploiement d'Intrinsic et une infrastructure cloud de Google Cloud, pour répondre à un marché potentiel de 370 milliards de dollars d'IA robotique généraliste d'ici 2040.
NVIDIA présente Cosmos Reason 2, une technologie d'IA physique avancée offrant une raisonnement complexe et des capacités d'adaptation améliorées pour les robots et les systèmes de réalité augmentée. Cette innovation vise à permettre aux machines de mieux comprendre et interagir avec leur environnement physique.
AMD organise un hackathon sur les robotiques ouvert à tous, invitant les développeurs et passionnés à collaborer et à innover avec les technologies AMD pour la robotique.
L'article présente un processus de création d'un robot pour le secteur de la santé, passant par la simulation à l'utilisation réelle, en utilisant la plateforme NVIDIA Isaac. Il décrit comment cette technologie facilite le développement et la déploiement de robots dans des environnements médicaux complexes.
Cet article explique comment construire un robot de santé en passant par la simulation à la mise en œuvre, en utilisant le logiciel NVIDIA Isaac pour la santé. Il couvre les étapes de la modélisation, de la simulation, du déploiement et de l'intégration d'un robot de santé dans un environnement clinique, en mettant l'accent sur l'utilisation de la plateforme NVIDIA Isaac pour optimiser le processus.
Granite 4.0 Nano explore les limites de la miniaturisation technologique, mettant en lumière les avancées récentes en micro- et nanotechnologies. L'article examine comment les ingénieurs et chercheurs repoussent les frontières de la petitesse pour créer des composants électroniques de plus en plus minuscules, avec des exemples concrets comme les transistors nanométriques. Il discute également des défis et des implications de ces progrès, notamment en termes de performance et de consommation énergétique des futurs appareils électroniques.
LeRobot v0.4.0, une nouvelle version du logiciel open-source pour l'apprentissage des robots, vise à accélérer et à optimiser le développement de systèmes d'IA robotique grâce à des améliorations significatives, notamment une meilleure intégration avec les frameworks OSS existants et une augmentation des capacités d'apprentissage automatique.
Nemotron a développé une base de données synthétique, Nemotron-Personas-India, pour promouvoir le développement d'intelligence artificielle indépendante en Inde. Cette base de données contient des informations générées artificiellement sur des personnalités indiennes, visant à préserver la vie privée tout en fournissant des données utiles pour l'entraînement des algorithmes d'IA.
Nemotron-Personas-Japan est un ensemble de données synthétiques spécialement conçu pour entraîner les systèmes de reconnaissance vocale et d'analyse pour les accents japonais. Ces données aident à améliorer la précision des assistants vocaux et des logiciels de transcription dans le contexte des accents et des variations dialectales du japonais.
LeRobotDataset v3.0 est un projet visant à fournir des ensembles de données de grande échelle pour le développement de robots, améliorant ainsi les capacités de l'initiative `lerobot`. Ce lancement permet aux chercheurs et développeurs d'accéder à des données étendues pour leurs projets de robotique.
OpenAI lance une initiative de récompense pour les chercheurs afin de tester la sécurité de GPT-5 avec une requête de jailbreak universelle. Les participants ont la chance de gagner jusqu'à 25 000 dollars.
GPT-5 révolutionne la programmation et le design en ouvrant de nouvelles possibilités. Découvrez comment cette avancée technologique transforme ces domaines grâce à des capacités inédites de création et de génération de code.
Parquet Content-Defined Chunking est une méthode pour optimiser les lectures de données dans les systèmes de stockage de fichiers distribués, notamment pour les formats de fichiers comme Parquet, en segmentant les données en chunks basés sur le contenu plutôt que sur la taille fixe, améliorant ainsi les performances et l'efficacité.
L'article présente une nouvelle approche pour les robots, qui sépare la prédiction des actions et leur exécution, permettant ainsi une meilleure flexibilité et réactivité dans les tâches robotiques.
Reachy Mini est un robot open-source conçu pour les constructeurs d'IA actuels et futurs. Il offre une plateforme flexible et personnalisable pour le développement et l'apprentissage en intelligence artificielle.
Isaac GR00T N1.5 a passé avec succès la formation pour l'armature robotique LeRobot SO-101, résultat d'une collaboration entre les deux entités pour améliorer les capacités robotiques.
Le projet LeRobot Community Datasets vise à créer une base de données pour le robotique, similaire à ImageNet pour la vision par ordinateur, afin d'accélérer les progrès dans le domaine. L'objectif est de rassembler des ensembles de données diversifiés et de les rendre accessibles pour la recherche et le développement de l'intelligence artificielle dans les robots.
L'avancement significatif de l'OpenAI, avec ses modèles o3 et o4-mini, réside dans la capacité de raisonner avec des images pour améliorer la perception visuelle, intégrant cette pensée dans leur processus de raisonnement.
OpenAI a intégré un générateur d'images avancé dans son modèle de langage GPT-4o, offrant des images non seulement esthétiquement plaisantes, mais aussi pratiques.
L'approche de génération d'images 4o est nettement plus performante que les modèles DALL·E 3 précédents, permettant la création de sorties photorealistes et la transformation d'images d'entrée.
LeRobot a créé le plus vaste ensemble de données open-source pour les véhicules autonomes, offrant une mine d'informations pour le développement et la recherche dans ce domaine. Cet ensemble de données, désormais disponible, vise à accélérer les progrès dans la conception et la sécurité des systèmes de conduite autonome.
Les modèles π0 et π0-FAST, présentés dans l'article, sont des architectures de vision-langage-action destinées à un contrôle général des robots. Ces modèles intègrent la vision, le langage et l'action pour permettre aux robots de comprendre et de répondre à des instructions complexes.
Agent informatisé : Interface universelle pour une interaction entre l'IA et le monde numérique. Cette technologie permet à l'IA de naviguer et d'interagir efficacement avec diverses plateformes et systèmes digitaux, similaire à un utilisateur humain.
L'article explore l'utilisation du codage vidéo pour améliorer l'efficacité et la gestion des ensembles de données de grande taille dans le domaine de la robotique. Il présente une nouvelle approche pour compresser et transmettre efficacement ces données, visant à faciliter le développement et le partage de modèles de robots plus avancés.
NPC-Playground est une plateforme 3D permettant d'interagir avec des NPC (Non-Player Characters) alimentés par des modèles linguistiques de grande taille (LLM). Cette innovation offre une expérience immersive pour tester et explorer les capacités de compréhension et de génération de langage des grandes IA.
Mises à jour de la sécurité des secrets spatiaux : Les agences spatiales ont mis à jour leurs protocoles de sécurité pour protéger les informations sensibles liées aux missions spatiales, répondant aux nouvelles menaces cybernétiques.
L'article examine l'entraînement à grande échelle de modèles génératifs sur des données vidéo, en se concentrant sur des modèles de diffusion textuel conditionnels joints à des vidéos et des images de durées, résolutions et rapports d'aspect variables. Le modèle le plus grand, Sora, peut générer un minute de vidéo de haute fidélité. Les résultats suggèrent que l'échelle des modèles de génération vidéo pourrait mener à des simulateurs généraux de monde physique.
ChatGPT, le modèle de langage d'OpenAI, a introduit de nouvelles capacités de traitement du langage naturel pour la voix et l'image. Cela permet des interactions plus intuitives, soit par conversation vocale, soit en présentant des images pour contextualiser les discussions.
Création de personnages de prochaine génération grâce à GPT-3 pour développer des personnages alimentés par l'IA. Utilisation de GPT-3 pour générer des dialogues et des comportements réalistes pour ces personnages virtuels.
Un modèle de réseau neuronal a été formé pour jouer à Minecraft via Pré-entraînement par Vidéo (VPT), utilisant uniquement une petite quantité de données étiquetées, en s'appuyant sur un grand ensemble de vidéos non étiquetées montrant des humains jouant à Minecraft. Grâce à un ajustement fin, le modèle a appris à fabriquer des outils en diamant, une tâche qui prend généralement plus de 20 minutes (24 000 actions) pour un humain habile. Le modèle utilise l'interface humaine naturelle des pressions de touches et des mouvements de la souris, démontrant une généralité et progressant vers l'agent informatique autonome.
Triton 1.0, un langage de programmation open-source similaire à Python, est désormais disponible, facilitant ainsi aux chercheurs sans expérience en CUDA de composer du code GPU performant, souvent équivalent à celui d'un expert.
Image GPT montre qu'un grand modèle Transformer, initialisé pour le traitement d'images, peut produire des images cohérentes et générer des échantillons, tout comme un modèle linguistique. En établissant une corrélation entre la qualité des échantillons et les performances de classification d'images, ils démontrent que leur meilleur modèle génératif inclut des caractéristiques compétitives avec les réseaux convolutionnels dans un cadre non supervisé.
L'article présente une étude sur l'utilisation de l'apprentissage par renforcement à grande échelle (deep reinforcement learning) pour améliorer les compétences en Dota 2, un jeu vidéo populaire. Les chercheurs ont développé un agent IA capable de maîtriser le jeu à un niveau comparable à ceux des humains, grâce à des algorithmes d'apprentissage automatisés.
Nous dévoilons le Procgen Benchmark, un ensemble de 16 environnements procéduralement générés faciles à utiliser, conçus pour évaluer rapidement la capacité d'un agent de renforcement à acquérir des compétences généralisables.
La plateforme Safety Gym, développée par DeepMind, offre un ensemble d'environnements et d'outils pour évaluer le progrès des agents d'apprentissage par renforcement qui respectent les contraintes de sécurité pendant l'entraînement. Elle permet de tester et d'améliorer la capacité des IA à agir de manière sûre.
En utilisant des réseaux de neurones et une main robotique similaire à la sienne, les chercheurs ont réussi à faire résoudre un cube de Rubik par un robot, entraînant les réseaux via un apprentissage par renforcement en simu, avec une technique appelée Automatic Domain Randomization (ADR). Cela démontre que l'apprentissage par renforcement peut résoudre des problèmes du monde réel exigeant une dextérité sans précédent.
Nous avons créé une méthode pour évaluer la capacité d'un réseau de neurones à se défendre efficacement contre des attaques adverses non rencontrées lors de l'entraînement. Notre approche introduit un nouveau critère, UAR (Robustesse face à des attaques imprévues), qui mesure la résistance d'un seul modèle face à une attaque inattendue, soulignant la nécessité d'évaluer les performances face à une variété plus diversifiée d'attaques imprévues.
OpenAI a organisé le premier symposium sur la robotique le 27 avril 2019. Cet événement a marqué une occasion importante pour discuter des avancées et des défis dans le domaine de la robotique.
Le 13 avril à 11:30 heure du Pacifique, OpenAI organisera son événement final pour OpenAI Five.