Isaac Sim MCP Server — это MCP-сервер для интеграции AI-агентов с NVIDIA Isaac Sim, платформой робототехнического моделирования на базе Omniverse, которая позволяет языковым моделям управлять симуляциями, создавать и манипулировать 3D-окружениями, настраивать физику, управлять роботами и генерировать синтетические данные. Сервер выступает мостом между AI-ассистентами и профессиональным инструментом симуляции роботов, предоставляя Claude и другим MCP-совместимым моделям доступ к Python API Isaac Sim для создания сценариев робототехнических симуляций через естественный язык.
Ключевые особенности:
Управление симуляцией: Инструменты start_simulation, stop_simulation и step_simulation позволяют AI-агенту полностью контролировать жизненный цикл симуляции — запускать, останавливать и выполнять пошаговое выполнение физического движка PhysX для точного контроля над временем и последовательностью событий в симулированном мире.
Создание и манипуляция 3D-объектами: Инструмент create_prim создает примитивы (кубы, сферы, цилиндры, плоскости) в сцене USD (Universal Scene Description) с настраиваемыми позицией, размером, цветом и материалом, а set_property и get_property позволяют читать и изменять любые атрибуты объектов — от трансформаций до физических свойств.
Работа с роботами: Инструменты load_robot и robot_action позволяют AI-агенту загружать готовые робототехнические модели в симуляцию и применять к ним действия — устанавливать позиции сочленений, управлять грипперами, перемещать роботов в пространстве и запускать предопределенные контроллеры.
Настройка физики и сенсоров: Инструменты setup_physics и setup_sensor дают AI-агенту возможность настраивать физические свойства объектов (масса, трение, упругость), добавлять коллизии и джоинты, а также размещать сенсоры — камеры, лидары, датчики касания — для сбора данных из симулированной среды.
Генерация синтетических данных: Инструмент generate_synthetic_data позволяет AI-агенту настраивать сценарии для создания синтетических датасетов — изображений с камер с автоматической аннотацией bounding box и сегментационных масок, данных лидаров и глубины — для обучения моделей компьютерного зрения в робототехнике.
Выполнение произвольного Python-кода: Инструмент execute_python принимает и выполняет произвольный Python-код в среде Isaac Sim с полным доступом к omni.* API, включая Omniverse, PhysX, USD, ROS-коннекторы, что дает AI-агенту неограниченный доступ ко всей функциональности платформы.
Получение информации о сцене: Инструмент get_scene_info возвращает структурированную информацию о текущем состоянии симуляции — список объектов в сцене, их позиции, загруженных роботов и их конфигурацию, активные сенсоры и их параметры, что позволяет AI-агенту ориентироваться в симулированном мире перед выполнением операций.
Для кого: Инженеры-робототехники, нуждающиеся в AI-ассистенте для быстрого прототипирования симуляционных сценариев без ручного написания Python-кода. Исследователи в области reinforcement learning и robot learning, автоматизирующие создание тренировочных сред и сбор синтетических данных через AI-интерфейс. Разработчики AI-приложений для робототехники, интегрирующие языковые модели с физическими симуляциями для тестирования алгоритмов. Образовательные учреждения, использующие AI-агентов для демонстрации робототехнических концепций в интерактивном режиме.
Сценарии использования:
Быстрое прототипирование сцены симуляции: AI-агент получает описание “создай комнату со столом, на котором стоит куб, и роботом UR5 рядом”, генерирует Python-код для создания примитивов, загрузки робота и настройки физики, выполняет его и проверяет сцену через get_scene_info.
Настройка сбора синтетических данных: AI-агент размещает камеры вокруг объекта, настраивает параметры generate_synthetic_data для захвата RGB-изображений, bounding box’ов и сегментационных масок, и запускает автоматическую генерацию размеченного датасета для обучения модели детекции.
Управление роботом в симуляции: AI-агент загружает робота через load_robot, устанавливает позиции сочленений через robot_action, запускает симуляцию через start_simulation и пошагово контролирует движение робота к целевой точке, отслеживая состояние через get_scene_info.
Тестирование физических взаимодействий: AI-агент создает стопку объектов с разными физическими свойствами (масса, трение), запускает симуляцию и анализирует поведение объектов под действием гравитации, итеративно корректируя параметры через set_property.
Обучение reinforcement learning агента: AI-агент настраивает среду с роботом и объектами, генерирует Python-код для RL-тренировки с использованием Isaac Sim Gym API, запускает тренировку через execute_python и отслеживает прогресс через метрики.
Цены и доступность: Сам MCP-сервер полностью бесплатен и распространяется с открытым исходным кодом на GitHub под лицензией MIT. Установка доступна через uvx с минимальной конфигурацией или через клонирование репозитория. Для работы требуется NVIDIA Isaac Sim (доступен бесплатно через NVIDIA Omniverse Launcher для индивидуальных разработчиков и исследователей; коммерческие лицензии доступны для enterprise-использования) и совместимый GPU NVIDIA с драйверами. Сервер взаимодействует с Isaac Sim через локальное Python API в среде Omniverse Kit. Дополнительных API-ключей или платных подписок для MCP-сервера не требуется.
