Les modèles NVIDIA Cosmos 3 font leur arrivée sur Amazon SageMaker JumpStart, élargissant la disponibilité de son portefeuille d’intelligence artificielle avancé avec des modèles mondiaux omnimodaux ouverts et de pointe. Les clients d’AWS ont désormais accès à trois modèles de fondation spécialisés, conçus explicitement pour le développement de l’IA physique, permettant aux ingénieurs de concevoir des robots sophistiqués, des véhicules autonomes et des systèmes de vision par IA capables de percevoir, raisonner, planifier et agir au sein d’environnements physiques.
Déployer l’IA physique de pointe via AWS
L’intégration dans Amazon SageMaker JumpStart offre aux développeurs et chercheurs d’entreprise un accès simplifié au déploiement de modèles de pointe. Plutôt que de gérer des configurations d’infrastructure sous-jacentes complexes, les équipes d’ingénierie peuvent déployer l’un des trois modèles en quelques clics via la console SageMaker ou par programmation à l’aide du SDK SageMaker Python dans leurs comptes AWS désignés.
Ces modèles comblent le fossé critique entre l’intelligence numérique et l’exécution physique, répondant à un large éventail de défis industriels qui exigent un raisonnement physique en temps réel, une perception spatiale et une simulation d’environnement haute fidélité. Chaque modèle de la gamme Cosmos 3 cible des contraintes opérationnelles distinctes, s’étendant des systèmes embarqués aux ressources limitées jusqu’aux pipelines de simulation massifs basés dans le cloud.
Spécifications du portefeuille de modèles Cosmos 3
La nouvelle suite disponible se compose de trois variantes distinctes adaptées à des enveloppes de performance et à des exigences de charge de travail spécifiques :
- Cosmos3-Edge : Conçu explicitement pour le contrôle de robots sur appareil et le raisonnement visuel en temps réel sur du matériel de périphérie spécialisé. Cet omni-modèle à 4 milliards de paramètres intègre un système de raisonnement basé sur Nemotron (2 milliards de paramètres) fonctionnant à la résolution de contrôle du robot (640×360). Il offre un raisonnement en temps réel et génère 32 actions par inférence à 15 Hz sur NVIDIA Jetson Thor, tout en prenant en charge les flux vidéo 256p et 480p de 12 à 30 images par seconde.
- Cosmos3-Nano : Un modèle omnimodal compact à 16 milliards de paramètres, optimisé pour la génération de mondes conscients de la physique et un raisonnement physique approfondi. Il traite des entrées multimodales combinant texte, images, vidéo, audio et trajectoires d’action pour produire des sorties synchronisées, permettant aux agents d’utiliser des connaissances préalables, du bon sens et une intuition physique. Il prend en charge le raisonnement avancé par chaîne de pensée sur le texte, les images et la vidéo à des résolutions allant jusqu’à 720p.
- Cosmos3-Super : Le modèle phare de la famille, offrant la génération de mondes et la simulation de plus haute fidélité avec 64 milliards de paramètres. Utilisant une architecture unifiée Mixture-of-Transformers, il traite et génère conjointement le langage, les images, la vidéo, l’audio et les séquences d’action sur plusieurs rapports d’aspect jusqu’à une résolution de 720p, ce qui le rend idéal pour la simulation à grande échelle, la génération de données synthétiques et les flux de travail d’apprentissage par politique.
Les praticiens cherchant à intégrer ces fonctionnalités peuvent consulter la documentation complète disponible dans le catalogue de modèles Amazon SageMaker JumpStart pour configurer efficacement leurs pipelines de déploiement.
Source : Article original
