Сегодня существует больше способов фотографировать подводный мир, чем кто-либо мог себе представить в начале тысячелетия, благодаря постоянно совершенствующимся конструкциям водных камер. С одной стороны, они обеспечивают яркие виды на жизнь в морях. Но с другой стороны, эти устройства наводнили морских биологов горами визуальных данных, сортировка которых стала невероятно утомительной и отнимающей много времени.
Исследовательский институт Monterey Bay Aquarium в Калифорнии предложил решение: геймифицированную платформу машинного обучения, которая может помочь в обработке видео и изображений. Она называется Ocean Vision AI и работает за счет сочетания аннотаций, сделанных человеком, с искусственным интеллектом. Подумайте об этом как о приложении ebird или iNaturalist, но модифицированном для морских обитателей.
Проект представляет собой междисциплинарное сотрудничество ученых, изучающих данные, океанографов, разработчиков игр и специалистов по взаимодействию человека и компьютера. Во вторник Национальный научный фонд поддержал двухлетний проект, выделив ему финансирование в размере 5 миллионов долларов.
"Лишь малая часть из сотен тысяч часов видео и изображений, снятых в океане, была просмотрена и проанализирована полностью, и еще меньше - передана мировому научному сообществу", - заявила в пресс-релизе Кэти Крофф Белл, основатель и президент Ocean Discovery League и один из главных исследователей Ocean Vision AI. Анализ изображений и видео, на которых организмы сложным образом взаимодействуют с окружающей средой и друг с другом, часто требует ручной маркировки экспертами, что требует больших ресурсов и не может быть легко масштабировано".
"По мере того как все больше отраслей и учреждений стремятся использовать океан, возрастает необходимость в понимании пространства, в котором пересекается их деятельность. Рост "голубой экономики" требует понимания ее влияния на океаническую среду, особенно на жизнь, которая там обитает", - написал в Twitter Какани Катия, главный инженер MBARI и ведущий главный исследователь проекта Ocean Vision AI.
Вот где может пригодиться искусственный интеллект. Морские биологи уже экспериментировали с использованием программного обеспечения с искусственным интеллектом для классификации звуков, например, песен китов, в океане. Идея Ocean Vision AI заключается в создании центрального узла, который будет собирать новые и существующие подводные изображения от исследовательских групп, использовать их для обучения алгоритма искусственного интеллекта, идентифицирующего организмы, чтобы отличить, например, краба от губки в кадре, и делиться аннотированными изображениями с общественностью и широким научным сообществом в качестве источника открытых данных.
Вот где может пригодиться искусственный интеллект. Морские биологи уже экспериментировали с использованием программного обеспечения с искусственным интеллектом для классификации звуков, например, песен китов, в океане. Идея Ocean Vision AI заключается в создании центрального узла, который будет собирать новые и существующие подводные изображения от исследовательских групп, использовать их для обучения алгоритма искусственного интеллекта, идентифицирующего организмы, чтобы отличить, например, краба от губки в кадре, и делиться аннотированными изображениями с общественностью и широким научным сообществом в качестве источника открытых данных.
Вот где может пригодиться искусственный интеллект. Морские биологи уже экспериментировали с использованием программного обеспечения с искусственным интеллектом для классификации звуков, например, песен китов, в океане. Идея Ocean Vision AI заключается в создании центрального узла, который будет собирать новые и существующие подводные изображения от исследовательских групп, использовать их для обучения алгоритма искусственного интеллекта, идентифицирующего организмы, чтобы отличить, например, краба от губки в кадре, и делиться аннотированными изображениями с общественностью и широким научным сообществом в качестве источника открытых данных.
Хотя игра все еще находится на стадии тестирования прототипа, ее можно увидеть на видео, размещенном NSF на YouTube, где показан интерфейс, спрашивающий пользователей, содержит ли увиденная ими фотография медузу (изображения того, как выглядит медуза, присутствуют в верхней части экрана).
Ключевой частью уравнения является база данных изображений с открытым исходным кодом под названием FathomNet. Согласно портфолио Ускорителя конвергенции 2022 NSF, "данные в FathomNet используются для разработки портала OVAI [Ocean Vision AI], нашего интерфейса для специалистов по океану, позволяющего выбирать интересующие их концепции, получать соответствующие обучающие данные из FathomNet и настраивать модели машинного обучения. Конечной целью OVAI является демократизация доступа к океаническим снимкам и инфраструктуре, необходимой для их анализа".
"Океан играет жизненно важную роль в здоровье нашей планеты, однако мы наблюдаем лишь крошечную его часть", - сказала Катия в пресс-релизе. "Вместе мы разрабатываем инструменты, которые срочно необходимы, чтобы помочь нам лучше понять и защитить нашу голубую планету".