Взгляд изнутри на то, как один человек может управлять роем из 130 роботов

Виртуальная реальность и искусственный интеллект помогли справиться с этой непростой задачей.

Отредактировано 2023-25-06
Человек управляющий роем использовал гарнитуру VRЧеловек, управляющий роем, использовал гарнитуру VR.

В ноябре прошлого года в Форт-Кэмпбелл, штат Теннесси, в полумиле от границы с Кентукки, один человек управлял роем из 130 роботов. Рой, включая беспилотные самолеты, квадрокоптеры и наземные транспортные средства, исследовал макеты зданий полигонного комплекса Кэссиди, создавая и обмениваясь информацией, видимой не только человеку-оператору, но и другим людям в той же сети. Учения проводились в рамках программы DARPA OFFensive Swarm-Enabled Tactics (OFFSET).

Если эксперимент удастся воспроизвести вне контролируемых условий тестовой среды, то это позволит предположить, что управление роями во время войны может стать для операторов на местах таким же простым, как "наведи и щелкни".

"Оператор нашего роя действительно взаимодействовал с вещами как коллектив, а не как отдельные люди", - говорит Шейн Кларк из Raytheon BBN, который был главным руководителем компании в работе над OFFSET. Мы проделали работу по созданию базовых уровней автономности для поддержки естественного взаимодействия "многие к одному".

Пилотирование даже одного дрона может быть настолько утомительным, что нередко можно увидеть видео, на которых первые полеты сразу же заканчиваются авариями. Для того чтобы один человек мог управлять более чем сотней дронов, требуется определенное мастерство и много искусственного интеллекта.

В общей сложности оператор роя управлял 130 транспортными средствами в физическом мире, а также 30 симулированными беспилотниками, работающими в виртуальной среде. Эти 30 виртуальных дронов были интегрированы в планирование роя и казались человеку-оператору и остальным членам роя неотличимыми от остальных участников программы. Как явления чистого кода, отслеживаемые ИИ роя, эти виртуальные дроны летели в строю с физическими дронами и маневрировали вокруг, как будто они действительно существовали в физическом пространстве.

беспилотники над зданиямиЧасть роя. Армия США / Джерри Воллер

Как человек командовал роем

Для человека, управляющего роем, весь массив роботов представлялся стратегической игрой виртуальной реальности, отображенной на реальный мир.

Надев гарнитуру Microsoft VR, оператор взаимодействовал "с этим 3D VR-интерфейсом, который имеет так называемый вид песочного стола", - говорит Кларк. Это может быть очень похоже на "Глаз Бога", вид стратегической игры в реальном времени, где они видят все платформы, расположенные на трехмерной карте окружающей среды. Когда что-то обнаруживается, они получают значок, привязанный к пространству. Так, если одна из платформ обнаружит опасность прямо за пределами здания, они увидят красную мигающую иконку в пространстве, где она находится".

Надев гарнитуру, оператор мог назначать рою задания и видеть, что рой уже разведал, но он не отдавал прямых приказов отдельным дронам. ИИ роя, получая приказы и обрабатывая информацию с датчиков, был посредником между управлением человека и перемещением роботов в физическом пространстве.

В настоящее время, когда отряд хочет использовать беспилотник для разведки местности, требуется специальный пилот, управляющий им с помощью планшета, чтобы видеть и направлять робота. Новый подход имеет недостатки и преимущества: Поскольку VR-гарнитура оператора блокирует окружающий мир, человек-оператор уязвим и не замечает своего непосредственного окружения, кроме того, что отображается в гарнитуре. В то же время, человек-оператор руководит действиями десятков роботов, что резко меняет соотношение один к одному между пилотом и дроном. При условии, что человек-оператор роя может оставаться в безопасности, а сеть - функционировать, беспилотники могут собирать полезную информацию и передавать ее солдатам на местах. Новая технология позволяет значительно изменить представление о поле боя в режиме реального времени.

Как действовал рой

В качестве физических моделей беспилотников использовались беспилотные самолеты, изготовленные по заказу Лабораторией прикладной физики Джона Хопкинса. В рое их роль заключалась в основном в облете всей тренировочной зоны и первоначальном картировании, хотя рой также направлял их для обеспечения съемки по мере необходимости. На земле находились небольшие колесные роботы, изготовленные компанией Aion Robotics. Между ними находились четыре различных типа квадрокоптеров, включая 75 дронов 3DR Solo, модели дронов для светового шоу от UVify и квадрокоптеры двух размеров от ModalAI.

Все роботы были либо коммерческими моделями, либо изготовленными на заказ из готовых коммерческих деталей. Это не был рой, созданный по военным спецификациям - это были коммерческие, любительские и сделанные на заказ машины, работающие вместе с помощью специального программного обеспечения. Это позволило снизить стоимость роя примерно до 2 000 долларов за каждого робота.

Эти шесть типов роботов передавали друг другу телеметрическую информацию, позволяя рою знать, где в пространстве находится каждая часть целого. Эта общая информация позволила рою в режиме реального времени совместно разрабатывать траектории полета, перемещая части на место по мере необходимости, избегая столкновений.

"Мы прилагаем все усилия, чтобы сделать некоторую обработку [показаний датчиков] на платформах, так что нам не нужно много отправлять обратно по сети", - говорит Кларк. "Поэтому мы никогда не отправляем обратно необработанное изображение. Мы отправляем обратно: "ах, эта картинка - дверь", "эта картинка - опасность" или "источник информации". Эта обработка происходит на борту. Мы просто отправляем назад уведомление".

Автоматизированная обработка делает возможным взаимодействие роя. В зависимости от характера обрабатываемой информации она также может быть сопряжена со значительным риском ошибок.

Каждый из роботов был оснащен небольшим модемом LTE, а чтобы роботы общались друг с другом и с человеком-оператором, команда установила сотовую вышку LTE, подобную тем, которые регулярно обрабатывают сигналы сотовых телефонов. Это позволило рою обмениваться информацией о местоположении с Android Tactical Assault Kit (ATAK), программой, которая работает на телефонах и позволяет солдатам в полевых условиях получать и отправлять важную для боя информацию.

"Во время полевых учений, для удобства, на полигоне находились наблюдатели, следившие за небезопасными условиями или улетающими самолетами, и все их телефоны принимали весь трафик роя, а телефон вибрировал и предупреждал их, если что-то подлетало слишком близко к ним, потому что слишком сложно отследить их всех в воздухе одновременно", - говорит Кларк.

Фильтруя информацию о ближайшем местонахождении дрона, рой передавал наблюдателям только то, что им было необходимо знать немедленно. В реальном сценарии, когда рой движется в поддержку боя, солдатам нужно знать, дружественен ли ближайший дрон, и они не захотят тратить много времени на выяснение местонахождения остального роя.

Поскольку Пентагон ожидает, что в будущем бои будут проходить в условиях массивной городской застройки, получение большей ситуационной осведомленности может означать разницу между выживанием отряда и засадой.

Посмотрите видео с точки зрения оператора человеческого роя ниже: