Что такое вычислительная фотография?
Большинство источников определяют вычислительную фотографию как технологию захвата и передачи изображений с помощью цифровых вычислений, а не с помощью оптики.
Но более точное определение дает Марк Левой, профессор Стэнфордского университета, который, в том числе, разработал камеру Google Pixel. С его слов, вычислительная фотография — это набор технологий и средств, которые улучшают и расширяют возможности и качество цифрового фото за счет вычислений разных характеристик объекта.
Почему вычислительную фотографию связывают со смартфонами?
Из-за небольшого размера смартфонов не было возможности использовать такую же крутую оптику, как в зеркальных или пленочных фотокамерах. Поэтому производители начали искать другие способы. Лидар — одна из технологий, которая помогает передавать изображения лучше и точнее. У Google есть Pixel, которая умеет снимать в темноте, у Huawei — суперзум, сравнимый с цифровым биноклем. Но всех их объединяет то, что они используют вычисления, чтобы автоматически подстроиться под условия съемки.
В итоге получилось так, что именно смартфоны сегодня находятся на острие инноваций в области цифрового фото.
Зачем в смартфонах нужны лидары?
Лидар — это специальный датчик, который умеет вычислять длину, ширину, высоту и температуру объекта, а также расстояние до него. Для этого он использует УФ- и инфракрасные лучи, которые отражаются от объектов.
Простыми словами, лидар — это тот же радар, но связанный не со «слухом», а со «зрением». На это указывает и этимология самих слов: в случае с радаром речь идет о детекции при помощи радиоволн, в случае с лидаром — световых волн.
Лидары применяют в военных целях, для отслеживания спутников, в геодезии и строительстве, а также для создания карт с помощью самолетов. Именно лидары помогают ориентироваться на дороге беспилотникам и автомобилям с режимом автопилота.
В смартфонах лидары помогают воссоздавать объемную карту окружающего пространства, чтобы вписать в нее объекты дополненной реальности. Они делают это точнее, чем другие технические средства, но только на расстоянии до 3 м у Samsung и до 6 м у Apple. К слову, теперь Samsung придется отказаться от этой технологии, так как Apple заключила эксклюзивный контракт с Sony — главным поставщиком лидаров.
Что нужно, чтобы сделать вычислительную фотографию?
- Вычислительная оптика
Камера с линзами, объективами, затвором и диафрагмой. Камер в смартфонах становится все больше: сначала HTC One в с двумя, затем Huawei P20 Pro с тремя, Samsung Galaxy A9 с четырьмя, Nokia 9 PureView с пятью, и даже Light L16 — с 16-ю. Эту гонку, похоже, не остановить: чем больше камер, тем больше возможностей для вычислительной фотографии. Камеры снимают одновременно, а затем склеивают изображение идеальной четкости и цветопередачи.
Диафрагмы и затворы тоже совершенствуются: от того, как, с какой скоростью и когда они срабатывают, зависят уровень освещенности, резкость и цвета на фото.
- Вычислительная матрица
Здесь у смартфонов возможностей совсем немного, но именно матрица отвечает за обработку изображения.
- Вычислительное освещение
Программируемая вспышка, а также датчики глубины, которые помогают избежать пересвеченности. Алгоритмы накладывают друг на друга фото со вспышкой и без, чтобы получить качественное изображение в темноте. Кодирование света помогает менять освещение в кадре.
Где еще используют вычислительную фотографию?
Например, в астрономии. Позапрошлогоднее фото черной дыры получили, объединив съемки с восьми крупнейших телескопов и прописав для них алгоритм.
Как развивалась технология?
Настройки цвета в камерах, а позже — цветовые фильтры в приложениях, использовали и раньше. В них тоже есть элементы вычислений, хоть и более простых. Но с их помощью невозможно добиться такого же результата, как с помощью цветокоррекции через LightRoom или Photoshop. Есть, конечно, и нелинейные фильтры, но все это слишком сложно для того, чтобы делать повседневные фото для Instagram.
Поэтому разработчики начали создавать алгоритмы, которые сами корректируют цвет, контраст и яркость изображений. Фильтры на базе вычислительных алгоритмов начали использовать в камерах смартфонов. Такие были, к примеру, в iOS 5.0, которая вышла в 2011 году. Они умеют корректировать фото так, чтобы вытянуть слишком светлые или слишком темные участки, убрать «эффект красных глаз» и улучшить цвет лица.
Затем эту работу поручили специально обученным нейросетям — в камерах смартфонов, соцсетях или в отдельных приложениях для обработки фото (например, Pixelmator). Нейросеть сама определяет, что не так с изображением или светом, и поправляет это.
Наконец, в смартфонах появилась функция стекинга — наложение нескольких фото друг на друга. Телефон делает десятки фотографий в секунду, затем накладывает их друг на друга и получает изображение в качестве HDR или панораму. При этом камера начинает делать снимки еще до того, как вы нажали на кнопку — именно так она передает изображение на экран. Режим HDR включается автоматически, если вы, к примеру, снимаете что-то контрастное в солнечный день на последних iPhone, Pixel и Samsung Galaxy. 90% технологий обработки фото в смартфонах построены именно на стекинге.
Но HDR бесполезен, если вы снимаете при очень плохом освещении. Так появился стекинг по времени, который впервые применили в 2013 году в Nexus от Google. Он симулирует длинную выдержку за счет серии коротких. Именно эта технология помогает снимать яркое звездное небо или текущую воду.
Для темного ночного неба в том же Nexus реализовали HDR+. Алгоритм собирает как можно больше информации о темных участках кадра, выгружая 8-15 последних фото.
Наконец, проблему цветокоррекции решила технология Night Sight от того же Google. С ее помощью можно скорректировать цвет фото, снятых в темноте, с желто-зеленым оттенком, а также избавиться от смазанности движущихся объектов.
В 2019 году этот режим появился и в iPhone.
Для съемки панорам тоже используют стекинг, но уже по движению. Его же применяют, чтобы устранить шумы от трясущихся рук — Pixel Shifting. Матрицу смещают на 1 пиксель вверх, вниз, вправо и влево, чтобы поймать все нужные фотоны, получить больше информации о свете и цвете нужного участка, а затем суммировать эти данные в одном снимке. Современные смартфоны на базе Android делают это автоматически. В iPhone с 2019 года есть похожая функция Deep Fusion для улучшения резкости.
Стекинг по фокусу корректирует глубину резкости: например, чтобы выделить объект на переднем плане и размыть фон за ним. Для этого смартфон делает три фото: с нормальным фокусом, сдвинутым назад и вперед. Впервые технология появилась на Nokia Lumia в 2013-м, а затем — на Samsung Glaxy S5.
Эксперименты с матрицей: пленоптика
Матрицы смартфонов далеко не такие мощные, как у более крупной техники. Поэтому приходится развивать технологии, которые выжимают из них максимум.
Одна из них — пленоптика. Это технология, при которой матрица в камере покрыта сеткой из множества линз, каждая из которых показывает по нескольку пикселей. С помощью расчетов на фото получаются четкие кластеры из пикселей, повторяющие оригинальное изображение. Если склеить изображение, взяв по одному пикселю из каждого кластера, получится исходное фото с определенного ракурса. Так можно получить несколько изображений одного и того же объекта, как бы снятых с разных точек — или одно объемное.
Название происходит от латинского plenus — «полный». С точки зрения физики, пленоптика — технология, при которой камера собирает всю информацию о лучах света в кадре, то есть фиксирует световое поле. Это значит, что она учитывает не только каждый луч света, но и то, откуда он падает, под каким углом и как отражается. А дальше начинается собственно вычисление: объемы и планы, глубина резкости, точка съемки, количество света в объективе. И все это — на основе светового поля. Учитывая, что уже есть, к примеру, Honor P20 Pro с камерой Sony IMX586 на 48 Мп, перспективы у технологии очень даже интересные.
Впервые пленоптические камеры появились в 2004 году, а первой коммерческой моделью стала Lytro в 2012-м.
Затем Lytro купил Google и начал использовать технологию в своих камерах Pixel. Позже за пленоптику ухватилась и VR-индустрия. Дело в том, что здесь световое поле играет гораздо большее значение, чем в фотографии: ведь его слепок дает возможность рассмотреть объект с разных точек. То есть, технология пленоптики позволяет получить карту глубины и 3D-изображение с одной камеры. И здесь снова не обойтись без лидара.
Какое будущее у цифровой фотографии?
Похоже, смартфоны скоро окончательно потеснят «зеркалки», которые станут нишевым продуктом для энтузиастов и профессионалов. При этом дорожать смартфоны будут именно за счет оптики и технологий, связанных с фото.
AR и вычислительная фотография в смартфонах — ближайшее будущее, которое уже почти здесь. Выглядеть это будет так: вы сканируете пространство с помощью лидара, получаете 3D-версию кадра и добавляете в него объекты из дополненной реальности. Может, нейросети даже будут сами дорисовывать детали и подкрашивать реальность за нас. Почти как на картинах дизайнера Евгения Зубкова «Россия-2077» в стиле киберпанк.
Этот момент станет переломным: вместо того, чтобы максимально точно фиксировать реальность, фотография будет приукрашивать или менять ее до неузнаваемости. Хотя, по большому счету, так уже происходит: когда камера улучшает ваши селфи, а приложение накладывает фильтры или AR-маски на фото и видео.
В статье использованы данные из статьи «Будущее фотографии — это код» о вычислительной фотографии.