NVIDIA a présenté Cosmos 3 Edge, un modèle omni compact de 4 milliards de paramètres conçu pour intégrer des capacités avancées de modèles du monde directement dans le matériel robotique physique. Destiné à éliminer la latence et les goulets d’étranglement informatiques dans l’intelligence artificielle incarnée, le modèle intègre un moteur de raisonnement dédié de 2 milliards de paramètres basé sur NVIDIA Nemotron afin de traiter la dynamique environnementale et de guider les politiques d’action robotique en temps réel au niveau local.
Le défi du déploiement des modèles du monde sur le matériel Edge
En robotique autonome, un fonctionnement fiable exige des politiques qui s’adaptent rapidement à des configurations de capteurs hétérogènes, à des environnements changeants et à des tâches de manipulation variables. L’intelligence artificielle physique s’oriente de plus en plus vers des modèles de fondation du monde, qui apprennent la dynamique fondamentale des interactions physiques et prédisent la réaction des environnements aux interventions physiques.
Cependant, les modèles du monde traditionnels et les réseaux de fondation multimodaux nécessitent généralement des grappes de calcul massives, créant de graves goulets d’étranglement pour les robots mobiles autonomes et les manipulateurs robotiques. S’appuyer sur une infrastructure cloud distante entraîne de la latence, une dépendance au réseau et des risques potentiels pour la sécurité dans des environnements dynamiques. À l’inverse, les modules de calcul embarqués sont soumis à des contraintes strictes en matière de thermique, de mémoire et d’alimentation, ce qui a historiquement restreint les politiques de contrôle sur appareil à des architectures plus étroites et moins adaptables.
Au cœur de l’architecture de Cosmos 3 Edge
Cosmos 3 Edge répond à ces contraintes d’informatique Edge au sein de l’écosystème plus large des modèles de fondation Cosmos 3 de NVIDIA. En compressant le raisonnement physique et l’interaction multimodale dans un format efficace, le modèle permet une inférence locale sans sacrifier le raisonnement situationnel.
L’architecture du système se définit par plusieurs caractéristiques fondamentales :
- Format de modèle omni compact : Cosmos 3 Edge fonctionne comme un modèle omni de 4 milliards de paramètres taillé pour un déploiement direct sur les modules de calcul robotique locaux.
- Cœur de raisonnement intégré : Le modèle intègre un moteur de raisonnement de 2 milliards de paramètres construit sur NVIDIA Nemotron, permettant au système d’évaluer logiquement les entrées des capteurs et l’exécution de tâches en plusieurs étapes.
- Modélisation des interactions physiques : Il sert de fondation embarquée pour l’apprentissage et la simulation des interactions physiques, en prédisant les changements environnementaux en réponse aux actions du robot.
- Adaptabilité post-entraînement : L’architecture prend en charge un post-entraînement ciblé, permettant aux développeurs et aux roboticiens d’ajuster le comportement des politiques pour des ensembles de capteurs spécifiques, des incarnations robotiques et des domaines opérationnels.
Post-entraînement pour un contrôle robotique spécialisé
L’un des principaux avantages de Cosmos 3 Edge réside dans sa capacité de post-entraînement. Alors que les modèles de fondation pré-entraînés offrent une connaissance généralisée du monde physique, les plateformes robotiques individuelles requièrent une adaptation précise à leur cinématique spécifique, à leurs angles de caméra, à leur retour tactile et à leurs outils d’effecteur terminal.
Grâce à des flux de travail de post-entraînement, les développeurs peuvent spécialiser les représentations de politique du modèle, en alignant le système de raisonnement basé sur Nemotron 2B avec les objectifs de manipulation et de navigation en aval. Ce processus de post-entraînement permet aux robots de combler le fossé entre la compréhension physique générale et le contrôle des actionneurs à l’échelle de la milliseconde, garantissant une exécution sûre et prévisible dans des environnements industriels, commerciaux et de recherche.
Faire progresser l’IA physique autonome
Le lancement de Cosmos 3 Edge marque une étape décisive dans le passage d’une IA incarnée confinée à des simulations cloud contrôlées à un déploiement résilient dans le monde réel. En amenant des modèles du monde multimodaux directement sur le matériel embarqué, les systèmes robotiques acquièrent l’autonomie nécessaire pour percevoir, raisonner et agir dans leurs environnements opérationnels en temps réel, établissant ainsi une nouvelle référence pour l’intelligence robotique accessible sur l’appareil.
Source : Article original
