Что такое конструктор приложений OpenMind и как он работает?

OpenMind Компания разрабатывает инструменты, призванные упростить разработку программного обеспечения для автономных машин. В основе этой работы лежит OM1, операционная система с открытым исходным кодом, разработанная для роботов и других интеллектуальных устройств. Компания часто описывает OM1 как робототехническую платформу в стиле Android, то есть общую среду выполнения, которая абстрагирует различия в оборудовании, позволяя разработчикам сосредоточиться на поведении и логике.

Недавно компания OpenMind представила OpenMind App Builder, инструмент визуальной настройки на портале разработчиков, позволяющий создавать, изменять и развертывать приложения для роботов без написания кода для выполнения распространенных задач. Объявление, сделанное через официальный аккаунт компании в X, сопровождалось коротким демонстрационным видеороликом, показывающим продукт в действии.

В этой статье объясняется, что такое OpenMind App Builder, как он работает на техническом уровне и какое место он занимает в более широкой экосистеме OM1.

В чём заключается более широкая миссия OpenMind?

Цель OpenMind — обеспечить работу автономных машин посредством общих стандартов и модульного программного обеспечения. OM1 распространяется под лицензией MIT и разрабатывается в открытом доступе на GitHub, где привлек тысячи звезд и вкладов сообщества. Среда выполнения предназначена для поддержки широкого спектра роботов, включая человекоподобных роботов, четвероногих, таких как серия Unitree Go, и мобильных исследовательских платформ, таких как TurtleBot.

Команда  Компания Pi Network Ventures, получившая поддержку от венчурных фондов. Fabric также является одним из ключевых участников Fabric Foundation, организации, занимающейся стандартами для координации работы автономных машин и идентификации в блокчейне. Fabric продвигает такие спецификации, как ERC 7777, определяющие, как можно описывать и обмениваться данными о поведении роботов. App Builder позиционируется как практичный интерфейс поверх этих базовых систем.

Что такое OpenMind App Builder?

OpenMind App Builder — это визуальный интерфейс для настройки поведения робота OM1, не требующий или требующий минимального написания кода. Доступ к нему осуществляется через портал разработчиков OpenMind после создания учетной записи. Вместо написания конфигурационных файлов вручную разработчики создают приложения, собирая визуальные узлы, представляющие режимы работы робота, и определяя, как эти режимы взаимодействуют.

Каждое приложение представлено в виде блок-схемы. Узлы соответствуют поведенческим состояниям, таким как приветствие, навигация или построение карты. Переходы между узлами определяют, когда и как робот переключается с одного поведения на другое. Полученная конфигурация сохраняется и может быть развернута непосредственно на совместимом оборудовании через портал.

App Builder не заменяет традиционное программирование. Он работает поверх системы конфигурации OM1 и экспортирует структурированные конфигурационные файлы, которые можно расширять или изменять в коде для решения сложных задач.

Откройте для себя перспективные проекты...

Перспективные проекты...

(Рекламное объявление)

Продолжение статьи...

Основные понятия и терминология

Для понимания работы App Builder необходимо ознакомиться с несколькими концепциями OM1.

Режимы

Режим — это дискретное поведенческое состояние. Например, у робота может быть режим приветствия, режим навигации и режим запоминания. Каждый режим определяет, какая языковая модель используется, какие датчики активны, какие действия разрешены и какой контекст доступен.

Узлы и переходы

В визуальном редакторе каждый режим отображается в виде узла. Переходы — это направленные связи между узлами. Переход включает в себя условия, определяющие, когда робот переходит из одного режима в другой. Разработчики могут указать, что голосовая команда запускает переход от режима ожидания к навигации.

Входные данные, действия и фоновые данные

Входные данные представляют собой показания датчиков или источники информации, такие как микрофоны, камеры или веб-каналы. Действия представляют собой выходные данные, такие как команды движения, синтез речи или запись в память. Фоновые данные обеспечивают постоянный контекст, например, местоположение GPS или состояние навигации.

Зацепки жизненного цикла

Каждый режим включает в себя механизмы управления жизненным циклом, в том числе системный запрос для языковой модели. Это позволяет разработчикам контролировать поведение модели в данном режиме с помощью инструкций на естественном языке, хранящихся в конфигурации.

Как работает конструктор приложений на практике?

В опубликованном вместе с объявлением демонстрационном видеоролике показан полный рабочий процесс от начала до развертывания.

Выбор робота

Когда разработчик открывает App Builder, первым шагом является выбор машины на боковой панели. Это связывает конфигурацию с конкретным профилем робота, включая поддерживаемые датчики и действия. OM1 обеспечивает аппаратную абстракцию через специальный слой, позволяя повторно использовать одну и ту же высокоуровневую конфигурацию для аналогичных машин.

Визуальное построение режимов

После выбора робота на холсте отображается начальная блок-схема. Разработчики могут добавлять новые режимы, нажав на значок плюса. Каждый новый режим открывает панель редактора, где определяются параметры.

На этой панели разработчик выбирает языковую модель из выпадающего списка. Поддерживаются различные коммерческие и открытые модели. Затем добавляются входные данные, например, автоматическое распознавание речи для голосового управления или видеопоток с камеры для обработки изображений. После этого выбираются действия, такие как навигация или вывод речи. Также можно включить фоновые изображения, такие как GPS или контекст навигации.

Все изменения сохраняются немедленно, и холст обновляется, отражая текущую конфигурацию.

Определение переходов

После создания режимов, переходы определяются путем перетаскивания соединителя от одного узла к другому. Это открывает редактор правил, где задаются условия. Условия могут ссылаться на входные данные, внутреннее состояние или другие сигналы. Например, правило перехода может указывать, что распознанная голосовая команда заставляет робота выйти из режима ожидания и перейти в режим навигации.

Функция автоматического форматирования перестраивает холст, чтобы блок-схема оставалась читаемой по мере ее расширения.

развертывание

После завершения настройки разработчик может развернуть её непосредственно из интерфейса. Конфигурация загружается в робота через портал OpenMind и применяется без ручной передачи файлов. Для команд, использующих OM1 локально или в производственных конвейерах, ту же конфигурацию можно развернуть с помощью инструментов командной строки или контейнеризированных рабочих процессов.

Поддерживаемые модели и компоненты

По данным OpenMind, в настоящее время App Builder поддерживает более шести языковых моделей, более сорока полей ввода, тридцать действий и более десяти контекстов фонового режима. Эти цифры отражают модульную структуру OM1, где каждый компонент реализован как плагин.

Языковые модели можно менять без переписывания логики приложения. Входные данные и действия также взаимозаменяемы, если это поддерживает базовое оборудование. Такой подход позволяет разработчикам быстро экспериментировать с различными конфигурациями, сохраняя при этом согласованную структуру.

Интеграция с OM1 и рабочими процессами на основе кода.

Хотя App Builder ориентирован на визуальную настройку, он разработан для интеграции с кодовой базой OM1.

Разработчики могут экспортировать конфигурации в виде структурированных файлов и хранить их в системе контроля версий. Опытные пользователи могут создавать собственные входные данные и действия, добавляя модули Python в соответствующие каталоги репозитория OM1. Затем эти пользовательские компоненты отображаются в интерфейсе App Builder для выбора.

Для развертывания в масштабе предприятия или на периферийных устройствах, таких как оборудование Nvidia Jetson, OM1 поддерживает контейнерные конфигурации. App Builder дополняет эти рабочие процессы, сокращая время, затрачиваемое на первоначальную настройку и итерации.

Абстракция аппаратного обеспечения и переносимость

Одна из основных целей проектирования OM1 — аппаратная независимость. Конструктор приложений отражает это, предоставляя доступ только к высокоуровневым функциям, а не к низкоуровневому управлению двигателями. Например, разработчик может настроить действие навигации, не указывая, как движутся отдельные суставы.

Эта абстракция реализуется через слой аппаратной абстракции, который связывает действия OM1 со специфическими для робота комплектами разработки программного обеспечения, такими как ROS2 или API поставщиков. В результате одну и ту же логику приложения часто можно повторно использовать на разных роботах с минимальными изменениями.

Ограничения и соображения

Конструктор приложений призван упростить выполнение распространенных задач, но он не исключает необходимости в инженерном суждении.

Поддержка некоторых аппаратных платформ ограничена в зависимости от вычислительных возможностей. Полный набор функций в настоящее время доступен на более новых системах на базе Nvidia, в то время как на более старых платформах могут потребоваться компромиссы. Основная среда выполнения OM1 также ограничивает прямой доступ к интернету в целях безопасности и надежности, что влияет на использование внешних API.

Для сложных систем автономного управления от разработчиков ожидается сочетание конфигураций App Builder с моделированием, обучением с подкреплением и обширным тестированием. В документации OpenMind подчеркивается необходимость начинать с простых моделей поведения и проверять их в смоделированных средах, прежде чем развертывать на реальных машинах.

Заключение

OpenMind App Builder — это инструмент визуальной конфигурации, работающий поверх среды выполнения OM1 и упрощающий создание и развертывание приложений для роботов. Представляя поведение робота в виде режимов, переходов и модульных компонентов, он позволяет разработчикам создавать функциональные приложения без написания кода для каждого шага.

Его ценность заключается в снижении сложностей настройки при сохранении совместимости с рабочими процессами, основанными на коде. Для команд, разрабатывающих приложения на базе OM1, App Builder предоставляет структурированный способ проектирования, тестирования и развертывания поведения роботов на различных аппаратных платформах. Вместо того чтобы заменять традиционную разработку, он служит интерфейсом, который делает базовую систему более доступной и понятной.

источники:

• X-пост: Анонс конструктора приложений OpenMind. 
• Портал разработчиков: Создавайте приложения на платформе OpenMind