NVIDIA hat Cosmos 3 Edge vorgestellt, ein kompaktes Omni-Modell mit 4 Milliarden Parametern, das entwickelt wurde, um fortschrittliche Weltmodell-Funktionen direkt auf physische Robotik-Hardware zu bringen. Das Modell wurde entwickelt, um Latenzen und Rechenengpässe in der embodied Artificial Intelligence (verkörperten KI) zu beseitigen. Es integriert eine dedizierte, auf NVIDIA Nemotron basierende Reasoning-Engine mit 2 Milliarden Parametern, um Umweltdynamiken zu verarbeiten und Echtzeit-Handlungsrichtlinien für Roboter lokal zu steuern.
Die Herausforderung beim Einsatz von Weltmodellen auf Edge-Hardware
In der autonomen Robotik erfordert ein zuverlässiger Betrieb Richtlinien, die sich schnell an heterogene Sensorkonfigurationen, wechselnde Umgebungen und variable Manipulationsaufgaben anpassen. Die physische künstliche Intelligenz setzt zunehmend auf Foundation World Models, die die grundlegenden Dynamiken physikalischer Interaktionen erlernen und vorhersagen, wie Umgebungen auf physische Eingriffe reagieren.
Traditionelle Weltmodelle und multimodale Foundation-Netzwerke erfordern jedoch typischerweise massive Rechencluster, was zu schweren Engpässen für autonome mobile Roboter und Roboter-Manipulatoren führt. Die Nutzung von Cloud-Infrastrukturen birgt zudem Latenzen, Netzwerkabhängigkeiten und potenzielle Sicherheitsrisiken in dynamischen Umgebungen. Umgekehrt unterliegen integrierte Onboard-Rechenmodule starren thermischen, Speicher- und Leistungsgrenzen, was die Steuerungsrichtlinien auf dem Gerät historisch auf engere, weniger anpassungsfähige Architekturen beschränkte.
Ein Blick in die Architektur von Cosmos 3 Edge
Cosmos 3 Edge adressiert diese Edge-Computing-Einschränkungen innerhalb des breiteren Cosmos-3-Foundation-Model-Ökosystems von NVIDIA. Durch die Komprimierung des physikalischen Reasoning und der multimodalen Interaktion in einen effizienten Fußabdruck ermöglicht das Modell lokale Inferenz, ohne dass darunter die situative Entscheidungsfindung leidet.
Die Systemarchitektur zeichnet sich durch folgende Kernmerkmale aus:
- Kompakter Omni-Model-Fußabdruck: Cosmos 3 Edge arbeitet als Omni-Modell mit 4 Milliarden Parametern, das speziell für den Einsatz direkt auf lokalen Rechenmodulen von Robotern maßgeschneidert ist.
- Integrierter Reasoning-Kern: Das Modell enthält eine auf NVIDIA Nemotron basierende Reasoning-Engine mit 2 Milliarden Parametern, die es dem System ermöglicht, Sensoreingaben und mehrstufige Aufgabenausführungen logisch auszuwerten.
- Modellierung physischer Interaktionen: Es fungiert als Onboard-Fundament zum Erlernen und Simulieren physikalischer Interaktionen und sagt Umweltveränderungen als Reaktion auf Roboteraktionen voraus.
- Anpassbarkeit nach dem Training (Post-Training): Die Architektur unterstützt zielgerichtetes Post-Training, sodass Entwickler und Robotik-Experten das Richtlinienverhalten auf spezifische Sensorsets, Roboter-Embodiments und Anwendungsbereiche feinabstimmen können.
Post-Training für spezialisierte Robotersteuerung
Ein zentraler Vorteil von Cosmos 3 Edge ist seine Fähigkeit zum Post-Training. Während vortrainierte Foundation Models verallgemeinertes Wissen über die physische Welt bieten, erfordern einzelne Roboterplattformen eine präzise Anpassung an ihre spezifische Kinematik, Kamerawinkel, taktiles Feedback und Greiferwerkzeuge.
Durch Post-Training-Workflows können Entwickler die Richtliniendarstellungen des Modells spezialisieren und das auf 2B Nemotron basierende Reasoning-System auf nachgeschaltete Manipulations- und Navigationsziele ausrichten. Dieser Post-Training-Prozess versetzt Roboter in die Lage, die Lücke zwischen allgemeinem physikalischen Verständnis und einer Aktuatorsteuerung im Millisekundenbereich zu schließen, wodurch eine sichere und vorhersehbare Ausführung in industriellen, kommerziellen und wissenschaftlichen Umgebungen gewährleistet wird.
Fortschritte bei autonomer physischer KI
Die Veröffentlichung von Cosmos 3 Edge markiert einen kritischen Schritt nach vorn, um verkörperte KI von kontrollierten Cloud-Simulationen in den resilienten Praxiseinsatz zu bringen. Indem multimodale Weltmodelle direkt auf Onboard-Hardware gebracht werden, erhalten Robotersysteme die Autonomie, ihre Einsatzumgebungen in Echtzeit wahrzunehmen, zu durchdenken und darin zu handeln – ein neuer Maßstab für zugängliche Roboterintelligenz auf dem Gerät.
Quelle: Originalartikel
