Модели NVIDIA Cosmos 3 прибыли на Amazon SageMaker JumpStart, расширяя доступность передового портфеля искусственного интеллекта с помощью открытых фронтирных омнимадальных мировых моделей. Клиенты AWS теперь могут получить доступ к трем специализированным базовым моделям, разработанным специально для разработки физического ИИ, что позволяет инженерам создавать сложные роботы, автономные транспортные средства и системы визуального ИИ, способные воспринимать, рассуждать, планировать и действовать в физической среде.
Развертывание фронтирного физического ИИ через AWS
Интеграция в Amazon SageMaker JumpStart предоставляет корпоративным разработчикам и исследователям упрощенный доступ к развертыванию передовых моделей. Вместо управления сложными конфигурациями базовой инфраструктуры инженерные команды могут развернуть любую из трех моделей всего в несколько кликов через консоль SageMaker или программно, используя SDK SageMaker Python в своих назначенных аккаунтах AWS.
Эти модели преодолевают критический разрыв между цифровым интеллектом и физическим исполнением, решая широкий спектр промышленных задач, требующих физического рассуждения в реальном времени, пространственного восприятия и высокоточной симуляции среды. Каждая модель в линейке Cosmos 3 ориентирована на определенные операционные ограничения, масштабируясь от ресурсной периферии до масштабных облачных конвейеров симуляции.
Характеристики портфеля моделей Cosmos 3
Новый набор состоит из трех различных вариантов, адаптированных под конкретные показатели производительности и требования к рабочим нагрузкам:
- Cosmos3-Edge: Разработана специально для управления роботами на устройстве и визуальных рассуждений в реальном времени на специализированном краевом оборудовании. Эта омни-модель с 4 миллиардами параметров объединяет модуль рассуждений на базе 2B Nemotron, работающий с разрешением управления роботом (640×360). Она обеспечивает рассуждение в реальном времени и генерирует 32 действия за один вывод на частоте 15 Гц на NVIDIA Jetson Thor, поддерживая при этом видеопотоки 256p и 480p с частотой от 12 до 30 кадров в секунду.
- Cosmos3-Nano: Компактная омнимадальная модель с 16 миллиардами параметров, оптимизированная для генерации мира с учетом физики и глубокого физического рассуждения. Она обрабатывает мультимодальные входы, объединяющие текст, изображения, видео, аудио и траектории действий для получения синхронизированных выходов, позволяя агентам использовать предварительные знания, здравый смысл и физическую интуицию. Поддерживает продвинутые рассуждения по цепочке мыслей для текста, изображений и видео с разрешением до 720p.
- Cosmos3-Super: Флагманская модель семейства, обеспечивающая генерацию мира и симуляцию наивысшей точности с 64 миллиардами параметров. Используя унифицированную архитектуру Mixture-of-Transformers, она совместно обрабатывает и генерирует язык, изображения, видео, аудио и последовательности действий в различных соотношениях сторон с разрешением до 720p, что делает ее идеальной для крупномасштабного моделирования, генерации синтетических данных и рабочих процессов обучения политик.
Практикующие специалисты, стремящиеся интегрировать эти возможности, могут обратиться к исчерпывающей документации, доступной в каталоге моделей Amazon SageMaker JumpStart, для эффективной настройки своих конвейеров развертывания.
Источник: Оригинальная статья
