Google Pixel
[несколько слов про камеру]

Текст и фотографии: Pro[sp]tero.
Дата: 2000 двадцатого года май (выпендрился, ага).

В самом начале этого года, допив праздничное шампанское, полюбовавшись поголовным радостным весельем на чёрных и слякотных новогодних задворках Санкт-Петербурга (тогда ведь ещё думать не думали про чудовище с красивым именем SARS-CoV-2), понял: дальше жить с Nokia 808 у меня уже нет ни каких сил. Лишний я на этом празднике android- и, как его там, айфон-веселья. У нас была долгая и счастливая совместная жизнь, но дальше – нет, хватит. Прости.

Первым делом сформулировал для самого себя критерии нового смартфона. Суровые игры, бенчмарки и прочая ерунда мне не интересны, мне подавай несколько простейших программ – тестрис, вконтакик, ютубчик, сбербанк-он-лайнчик, неплохую батарейку и нормальную камеру. Те, кто фотографировал, именно фотографировал (а не фоткал) на 808-ю, те поймут.

Заварил кофе покрепче, купил плюшек повкуснее, отправился в бездну в сеть на поиски всамделешнего мобило-фото-совершенства, а не мнимого, купленного и проданного на не-называй-его-имя-в-ночи сайте. Неторопливо просматривал десятки и сотни снимков, сделанных на камеры топ-фото-смартофонов, однажды даже достиг дна. И в середине марта купил смартфон Google Pixel 3a XL. Потом просто снимал. Без мысли «запилить» этот текст. Поэтому не утруждал себя поиском красивых девочек и умильных котиков, так что не ждите здесь няшек и мимимишек, а так же абсолютно экзотических Турций и Египтов. Сомоизоляция™, ёпт.

Дисклаймер 1: данные заметки будут интересны прежде всего тем, кто снимая на уютную мобилочку, не отказывается от мысли взять и распечатать пару-другую удачных снимков в формате хотя бы 30×40. И повесить на стену. Таким людям недостаточно вау-эффекта при взгляде на экран смартфона; таким людям подавай качество.

Дисклаймер 2: о технических параметрах иллюстраций. Все показанные здесь снимки по цвету, свету, контрасту и т. д. – без изменений, as is. В фотошопе только уменьшение размеров и иногда кадрирование для выравнивания горизонта; на некоторых исправление дисторсии, некоторые перевёл в ч/б. Ведь в изысканном B&W, как хорошо всем известно, порой вылезают такие каки, которые в цвете мы почему-то не видим).

 

Портретная съёмка & бокэ

Видите ли…

Снимок должен быть оптически естественным. Вот такѢ. Точка.

Размытый фон – это карго-культ. Когда ты всю жизнь снимаешь камерой с маленькой матрицей и тёмной оптикой, первые впечатления от диафрагменного числа f/1.4 на полном кадре сносят башню.

Фото 1. Pentax k10d + Sigma 105/2.8

По большому счёту всенародное восхищение «портретным» режимом в Gcam понятно. Действительно, вот некий среднестатистический владелец смартфона годами делал фотографии «резко от грязных носков собственных кед до края горизонта». И был счастлив. Но однажды его подруженция лениво перелистывала прошлогодний номер Cosmopoliten и, тыкнув мальчика в портрет на размытом фоне, сообщила уверенно и навсегда – это хорошо!

Следите за руками, сейчас будет психо-фокус: у значительной части людей сильна уверенность в незыблемости истины будто магическое бокэ, это признак не просто хорошего снимка, но, опосредованно, и хорошей жизни; то, что малая ГРИП не обязательна для качественной фотографии, мы проиллюстрируем по ходу изложения.

Внезапная внезапность оказывается в том, что комплект фототехники, позволяющий делать такого рода фотографии, стоит over_много денег. К тому же комплект этот тяжёлый и громоздкий. И ещё нужно какие-то там фоторедакторы осваивать.

А в этих_ваших_интернетах™ говорят: Смотри! Магия! Ни чуть не хуже, но гораздо дешевле, легче, быстрее, а ещё обновления! Хьюстон, у нас проблемы! Мы теряем его!

Что же, давайте посмотрим на то, что нам предлагает Gcam в «портретном» режиме.

 

Фото 2

Фото 2. На первый и беглый взгляд вполне неплохо. Особенно, если этот взгляд мы бросаем на экран смартфона. Но мы же договорились, что позыр будет на экране хотя бы ноутбука (желательно на чём-то большем и лучшем; иначе при печати нас могут подстерегать очень неприятные сюрпризы).

– небрежная обтравка шерсти по правому боку собаки (у самой левой границы кадра), за такую обтравку в средние века людей сжигали на кострах;

– внезапная резкость между лап (если брать за основу размытие по бокам собаки, то не должно там быть резкости, пусть и относительной);

– вот эта вот «дорожка резкости», что уходит практически до горизонта из-под шеи нашей четвероногой модели, это вообще что такое?


Фото 3

Фото 3. Здесь вроде бы получше (в первую очередь из-за того, что собака не такая лохматая, как на фото 2. Но:

– усы с правой стороны морды (опять запах горящей плоти);

– какое-то странное, и ломающее мозг, распределение зон размытия слева от собаки (ближе к правому краю кадра) – сперва практически сразу за хвостом и сильное, но потом внезапно переходит к нормальному); а вот слева от пса размытие почти тру-плёночное.


Фото 4

Фото 4. Вернёмся на пляж Финского залива к нашей первой собачичке («-чичке», это подарок для всё-таки ждущих появления мимимишечек; держите). Не стану расписывать недостатки размытия, особенно на переднем и средем планах, вы уже сами всё видите. Жуть какая-то.


Фото 5

Фото 5. Всё тоже самое. Посредственная обтравка и противоречащее здравому смыслу распределение ГРИП (уже не так плохо, как на фотографиях со второй по четвёртую, но всё-равно неестественно).


И что же? Всё плохо? Нет. Следующие фотографии тоже не без огрехов, но они уже не столь бросаются в глаза и, с определёнными оговорками, некоторые из них можно даже повесить на стену (только не в детской, давайте будем воспитывать перфекционистов; а слабину они сами себе дадут).

Фото 6

Фото 7

Фото 7. Забавное решение алгоритма размытия: полностью «съедены» дужки наушников. Почему? Ну, ребята, с этим не ко мне. Однако на общее восприятие картинки оказывает скорее положительное влияние. Повезло :). Это, кстати, селфи-камера (в режиме «Портрет»).


Вы обратили внимание на то, что если мы снимаем объект (например, собаку или человека, или каменный столб) полностью, от земли, то софт начинает корёжить и плющить? А когда этот объект в кадре частично, то программа справляется лучше (так же она справляется, только огрехи, подобно «Чужому», не влезают в глаз смотрящему).

Исходя из вышесказанного мы можем дать две «технические» рекомендации по съёмке в портретном режиме:

1. Грудные и поясные портреты имеют больше вероятности не навредить мозгу и вестибюлярному аппарату рассматривающим их зрителям. По сравнению с полноростовыми.

2. Обязательно создавайте и сохраняйте прямо на телефоне по несколько вариантов ГРИП для каждого кадра.

Итого. Полагаю, что следующее утверждение будет корректным: качественные портретные снимки с максимальной степенью размытия на Gcam сделать можно, но, при съёмке as is, без последующих манипуляций с ГРИП, это вопрос больше удачи, чем опыта, навыка и прочих скиллов. (Уворачиваясь от гнилых помидор и протухших яичков – Эй! Я ведь только про портретный режим и эти ваши бокэ!).

В остальных режимах Google Pixel 3a XL хорошая – по меркам мобилографии – камера. Перейдём к этим остальным.


Фото #

Фото #

Фото #

Чуть-чуть теории

Принято считать, что «всё украдено сказано до нас». Вообще-то, это отговорка для лентяев, но мы не станем стесняться и скажем: да, мы лентяи. Или так: чукча не писатель, чукча – читатель.

Вот сверхлонгрид. Абсолютное какое-то чтение. Для настоящих ценителей подробного слова и знаний, достойных быть выбитыми на гранитных скрижалях. Рекомендуем!

Для тех же, кому поплохело от одного лишь вида ползунка, есть неплохая [и соверщенно не_longread] статья, которая просто и доступно рассказывает про технологию HDR+ в Gcam и что придумали инженеры гугла в этой связи. Немного похоже на рекламу, но в общем и целом фактический материал познавателен. Оригинал статьи был здесь, но потом пропал. На просторах www нашлась 1 (одна) копия. Но уверенности в том, что не исчезнет и там – нетю. Поэтому скопировали сюда.

 

Автор: programistich
Дата: январь 14, 2020

 

Меня часто спрашивают почему Google Camera такая крутая и почему такой хайп вокруг нее. В этом случае я показываю как круто она снимает и вопросы отпадают. Но давайте все таки технически разберемся во всем этом и как это устроено.

В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гении.

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.

Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam(Google Camera). При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

Быть мгновенным. На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления.

Быть автоматическим. Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма.

Быть естественным. Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы.

Быть консервативным. HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.

Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение динамический диапазон, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.

Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.

Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов. Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.

Реализация в приложении устроена следующим образом. Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются.

После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически. Вау.

При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.

Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом: в циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой; далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.

Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления.

Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может (кроме Pixel 4, где реализована функция Live HDR).

Но Google может другое: они реализовали подобный алгоритм и при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг.

Итого, преимущества алгоритма от команды Gcam:

• значительно уменьшаются шумы, практически без потери детализации;

• почти полное отсутствие артефактов;

• естественная цветопередача;

• чёткая картинка даже при условии быстрого движения в кадре.

Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается, но это только в режиме расширенного HDR+, где очень большой динамический диапазон, который требует чуть больше времени.

 

 

Нусссс. С теорией закончили, теперь – к фоточкам!