Рассмотреть детально подводную фотографию на самом деле очень трудно. Могут помочь специальные фильтры, искусственное освещение и первоклассные подводные камеры, но между камерой и объектом на фотографии все еще остается много воды. Мы привыкли к сине-зеленому оттенку подводной фотографии.

Как бы выглядел океан без воды? Каковы истинные цвета кораллового рифа? Благодаря новому алгоритму компьютерного зрения под названием Sea-thru, мы можем видеть, как будет выглядеть подводный мир, если ее сфотографировать в воздухе, а не в воде.

Sea-thru устраняет визуальные искажения, возникающие при прохождении света через воду для получения цветного изображения. Sea-thru был разработан доктором Дерья Аккайнаком, инженером и океанографом, и доктором Тали Трейбиц, инженером-электриком. Результаты не только потрясающие, но коррекция цветов впечатляет.

Согласно Scientific American, «анализ изображений Sea-thru в физике поглощения и рассеяния света в атмосфере по сравнению с океаном, где частицы, с которыми взаимодействует свет, намного больше. Затем алгоритм эффективно устраняет искажение изображения от пикселя к воде, восстанавливая потерянные цвета».

Аккайнак разработал Sea-thru в качестве постдокторанта в Лаборатории морской визуализации, которой руководит д-р Тали Трейбиц из Университета Хайфы. Sea-thru имеет лицензию на SeaErra Ltd.

Причиной сине-зеленого оттенка на подводных фотографиях является то, как свет проходит через глубокую воду, где синие и фиолетовые волны поглощаются меньше всего по сравнению с другими длинами волн. Чем больше воды проходит свет, тем меньше красная, желтая и оранжевая длины волн достигают объекта. В прибрежных водах синий и зеленый свет поглощаются быстрее, оставляя больше красного света и вызывая доминирующий коричневый оттенок.

Существует также проблема мелких частиц в воде, которые создают обратное рассеяние или дымку. Чем дальше фотограф от объекта на фотографии, тем более опасным становится объект, подобно тому, как он смотрит на объект сквозь легкий туман.

Как работает Sea-thru

Sea-thru работает над необработанными изображениями или видео, снятыми при естественном освещении, устраняя необходимость в дорогостоящем и сложном в установке искусственном подводном освещении. Это также помогает в восстановлении изображений объектов, которые находятся дальше от источника света, куда не доходят подводные вспышки.

Алгоритм компьютерного зрения представляет собой физический алгоритм восстановления цвета, разработанный для подводных изображений RGB-D, где D обозначает расстояние от камеры до объекта. Алгоритм Sea-thru требует расстояния между каждым пикселем в сцене от камеры, так как почти все параметры, управляющие потерей цветов и контрастности, зависят от расстояния некоторым нелинейным образом.

Для своего исследования Аккайнак создала карту расстояния (дальности), захватив несколько изображений одной и той же сцены. Она снимала изображения одной камерой под немного разными углами, так что все они перекрывались. На изображениях представлена ​​цветовая диаграмма, размещенная объектом интереса. Затем, используя коммерческое программное обеспечение фотограмметрии Agisoft Metashape Professional, Sea-thru построил 3D-реконструкцию каждой сцены из этих изображений и экспортировал карты расстояний после завершения 3D-реконструкции.

Карты диапазона представляют собой файлы .tiff в оттенках серого, которые затем считываются в MATLAB и объединяются с изображениями RAW. Изображения обрабатываются в соответствии с этим руководством. MATLAB используется для оценки обратного рассеяния путем поиска на изображении очень темных или затененных пикселей. На изображении выше самые темные пиксели, используемые при оценке обратного рассеяния, показаны красным. Обратное рассеяние на изображениях вычитается с помощью MATLAB.

На следующем этапе Sea-thru вычисляет соответствующие параметры ослабления цвета, используя только пиксели и карту глубины D, и инвертирует их, чтобы выявить исходные цвета. Затухание каждой длины волны света рассчитывается с помощью MATLAB. С этой информацией Sea-thru инвертирует изображение, чтобы показать истинный цвет.

Sea-thru работает как с видео, так и с неподвижными изображениями. Смотрите нижеприведенное видео:

Точные изображения помогают исследователям

Климатологи и океанографы изучают подводные экосистемы, такие как коралловые рифы, чтобы лучше понять их текущее состояние и то, как эти системы меняются со временем. Эти исследования часто опираются на технологии обработки изображений и данных для документирования и понимания воздействия изменения климата на кораллы и другие морские системы. Sea-thru может помочь этим усилиям, предоставляя истинное цветовое представление данных изображения. Точные цвета на изображениях позволят инструментам машинного обучения, например, точно определять виды на изображениях.

Алгоритм отличается от приложений, таких как Photoshop, с помощью которых пользователи могут искусственно улучшать подводные изображения, равномерно накачивая красные или желтые цвета.

«Что мне нравится в этом подходе, так это то, что он действительно позволяет получать настоящие цвета», — сказал Пим Бонгаертс, биолог из кораллов в Калифорнийской академии наук, в интервью журналу Scientific American. «Получение истинного цвета действительно может помочь нам получить гораздо больше пользы от наших текущих наборов данных».

«Прогрессу препятствует нехватка компьютерных инструментов для обработки этих изображений», — сказал Педерсен Scientific American. «Sea-thru — это шаг в правильном направлении».