В большинстве осенних дней Дэвида Сопджеса можно встретить в реке Ил на северо-западе Калифорнии, считающим рыбу. Будучи отставным учителем естественных наук в средней школе и гражданским ученым, Сопджес провел последние 10 лет, наблюдая за популяцией чавычи в реке Ил, которая, по его словам, является третьим по величине водосборным бассейном в штате. Каждую осень Сопджес подсчитывает лососей, которые ждут зимних дождей, чтобы размножиться.
"Они больше не едят. У них на уме только одно, и это только секс", - говорит Сопджес.
До приобретения беспилотника три года назад Сопджес и его коллеги считали лосося, ныряя в реку с маской и стоя на досках, что сильно беспокоило рыбу и было не очень точным.
Дрон делал четкие фотографии лосося, но подсчет рыбы на снимках с помощью ручки и бумаги был утомительным занятием. В поисках лучшего метода подсчета и систематизации данных он нашел в Интернете программное обеспечение под названием DotDotGoose и с тех пор использует его.
DotDotGoose, разработанный в Центре биоразнообразия и охраны природы Американского музея естественной истории, - это бесплатный инструмент с открытым исходным кодом, который помогает исследователям вручную подсчитывать объекты на изображениях. Питер Эрстс, старший разработчик программного обеспечения в центре, создал DotDotGoose в мае 2019 года. Идея возникла у него в ходе обсуждения с коллегами.
В то время наиболее популярными способами подсчета различных категорий животных на фотографиях для исследователей охраны природы были очень практичные. "Многие люди все еще буквально проецировали изображения на доску с сухим лаком, обводили животных и выключали проектор, а затем считали их, стирая [пометки]", - говорит Эрстс. "Я увидел необходимость в действительно простом инструменте, который позволяет быстро и легко ставить точки на изображении".
Хотя этот инструмент работает в Интернете всего два с половиной года, он уже помог многим исследователям по всему миру. По словам Сопджеса, с тех пор как он нашел DotDotGoose, он пересчитал тысячи рыб, и точность его данных "значительно улучшилась", настолько, что Калифорнийский департамент рыб и диких животных заинтересовался использованием его наборов данных. Точный учет общего количества рыбы в сочетании с изображениями, полученными с помощью дрона, позволил Сопджесу отслеживать каждую рыбу.
DotDotGoose позволяет пользователям настраивать интерфейс в соответствии со своими потребностями. Дэвид СопджесКак это работает
DotDotGoose имеет очень простой интерфейс, который позволяет пользователям импортировать изображения, которые они хотят проанализировать. Затем они могут разделить различные объекты на изображениях на "классы" или категории. Например, Сопджес определил классы как различные жизненные стадии лосося. Каждой категории соответствует цвет точки.
Для подсчета каждого класса исследователи могут нажать на каждый объект на изображении, чтобы поставить точку. DotDotGoose подсчитывает количество точек по классам по мере их размещения. Пользователи могут добавлять пользовательские заметки, координаты широты и долготы или другие точки данных для описания изображения.
Изначально DotDotGoose предназначался для подсчета животных для исследований в области охраны природы, но Эрстс видел, как пользователи перепрофилировали его для подсчета запасов на складах, компонентов на печатных платах и даже цветов на томатных кустах, претендующих на рекорд Гиннеса.
Почему это полезно
Рошель Томас, аспирант кафедры экологии, эволюции и экологической биологии Колумбийского университета, использовала DotDotGoose с реальными гусями.
С 1995 по 2019 год советник Томаса, Роберт Роквелл, делал аэрофотоснимки стай малых снежных гусей в районе Гудзонова залива в Канаде. В первые годы проекта, по словам Томаса, Роквелл распечатывал фотографии, чтобы пересчитать гусей вручную.
Когда Томас присоединилась к проекту в 2018 году, она пробовала считать гусей с помощью Photoshop, но было трудно одновременно считать гусей по видам и возрасту. Она познакомилась с Эрстсом, когда он создавал DotDotGoose, и стала бета-тестером программы. Название программы - это отсылка к ее работе с малым снежным гусем.
"Я провел много дней, нанося точки на гусей, и мне пришло в голову назвать его DotDotGoose", - говорит Эрстс.
По сравнению с аналогичными программами, такими как Photoshop и ImageJ, Томасу нравится, что DotDotGoose был создан с учетом интересов биолога по охране природы и позволяет ей отмечать качество изображения или вставлять информацию, указывающую на наличие воды на фотографии.
"Биологи по охране природы и экологи сидят на тоннах и тоннах фотографических данных, - говорит Томас.
И хотя текущая ручная версия программы уже делает данные более управляемыми для анализа, она считает, что автоматизация подсчета в DotDotGoose могла бы еще больше помочь в поддержке исследовательских проектов, подобных ее.
Будущее DotDotGoose
У Эрстса были планы по полуавтоматизации процесса с момента его создания.
"Если вы сможете сохранить координаты ваших местоположений на изображении, то у вас будет набор обучающих данных, которые можно использовать [для создания] модели машинного обучения, чтобы помочь автоматизировать работу в будущем", - говорит Эрстс. "Но автоматизировать это довольно сложная задача, когда вы начинаете думать обо всех различных типах данных, которые существуют".
Эрстс предполагает, что исследователи могут обучить его, используя пару фотографий с похожей ориентацией, уникальных для их проекта и содержащих те же типы объектов.
Но даже автоматизированный DotDotGoose будет иметь свои ограничения. Изображения с большим количеством объектов, сгруппированных вместе, будет очень сложно разобрать. И хотя автоматизированная версия программы может освободить время исследователей, Эрстс говорит, что человек все равно должен участвовать в процессе, по крайней мере, для проверки работы компьютера.