Каждый фотограф знает одну истину: когда дело касается камер и оборудования, все может стать огромным и быстро. Особенно это касается объективов. Несмотря на то, что беззеркальные камеры сначала рекламировались как более компактная и легкая альтернатива громоздким зеркальным камерам (и в некотором смысле они до сих пор соответствуют этому обещанию), трудно игнорировать тот факт, что эти некогда многообещающие легкие системы могут быстро загромождаться стеклом. И хотя линзы были частью фотографического процесса с самого начала, новаторские исследования группы ученых из Токийского технологического института могут привести к созданию новых безлинзовых систем обработки изображений и, в конечном итоге, к безлинзовому будущему.
Проблемы безлинзовой камеры
Концепция безлинзовой камеры не совсем нова. Однако до сих пор технология еще не дала результатов, пригодных для использования, а вычислительное время, необходимое для визуализации изображений, было слишком медленным для практического применения.
Нынешняя технология требует решения задачи выпуклой оптимизации, а итерационные вычисления (что означает, что может быть получено несколько результатов) делают этот процесс затяжным. Но предложение Токийского технологического института может значительно улучшить этот процесс.
"Глубокое обучение может помочь избежать ограничений декодирования на основе модели, поскольку оно может изучить модель и декодировать изображение неитеративным прямым процессом", - объясняет команда на Phys.org. "Существующие методы глубокого обучения для безлинзовой визуализации, которые используют сверточную нейронную сеть (CNN), не могут создавать высококачественные изображения. Они неэффективны, поскольку CNN обрабатывает изображение на основе взаимосвязей соседних "локальных" пикселей, тогда как безлинзовая оптика преобразует локальную информацию в сцене в перекрывающуюся "глобальную" информацию на всех пикселях датчика изображения, благодаря свойству, называемому "мультиплексированием"".
Безлинзовая камера. Сюси Пан из Токийского технологического институтаИсследователи Токийского технологического института предлагают новую технологию
Команда из Токийского технологического института предложила новый метод восстановления изображения с помощью математического алгоритма. Оборудование состоит из маски и датчика изображения, причем маска кодирует падающий свет (свет, падающий на объект), который затем отбрасывает узоры на датчик.
Глядя на эти узоры, человеческий глаз не смог бы расшифровать никакой полезной информации - все изображается в виде непонятных клякс, похожих на следы, которые остаются, когда вы бросаете спагетти на стену или рисуете Джексона Поллока на холсте. Однако оптический алгоритм способен расшифровать информацию, получая довольно точные результаты.
"Без ограничений, связанных с объективом, безлинзовая камера может быть ультраминиатюрной, что может позволить новые применения, которые находятся за пределами нашего воображения", - говорит профессор Масахиро Ямагучи из Токийского технологического института.
Трансформатор видения (ViT). Сюси Пань из Токийского технологического институтаКак это работает
Команда разработала технологию, которую они назвали Vision Transformer (ViT), которая может изучать особенности изображения в "иерархической" манере, избегая традиционной обработки CNN. Это означает прямую реконструкцию, без необходимости итерационных вычислений, и уменьшение ошибок аппроксимации.
Если CNN опирается на локальную информацию о пикселях, то ViT может использовать глобальные особенности изображения. Согласно экспериментам, процесс жизнеспособен, и предложенная камера создает высококачественные изображения с временем обработки, позволяющим вести съемку в реальном времени.
"Конечная цель безлинзовой камеры - быть миниатюрной и одновременно могущественной. Мы рады, что являемся лидерами в этом новом направлении для решений следующего поколения в области визуализации и сенсорики", - говорит ведущий автор исследования, г-н Сюси Пан из Токийского технологического института.