Обновление поможет делать портретное фото, даже с одной камерой на смартфоне.
Последние смартфоны имеют двойные задние камеры для захвата глубины и съемки в стиле портрета с фоном, отделенным от переднего плана. Google пошёл на отважный шаг, и теперь новые телефоны Pixel обеспечат такой же эффект с одним объективом. Секрет работы нового устройства в установке системы автофокуса (PDAF) с функцией нейронной сети. Он работает благодаря принципу Parallax: камера захватывает два изображения с немного разных углов и вычисляет движение для восприятия глубины. Но иногда такая схема не работает, ведь движения руки пользователя недостаточно, чтобы сделать снимки под разными углами.
Чтобы решить эту проблему, Google создал алгоритм, который корректирует глубину, воспринимаемую системой PDAF. «В частности, мы тренируем сверхточную нейронную сеть, созданную в TensorFlow, которая берет на себя входные пиксели PDAF и учится прогнозировать глубину. Этот новый и улучшенный метод определения глубины ML основан на том же, что режим Portrait на Pixel 3», - сказал исследователь Google Рахул Гарг.
Для того чтобы разработать PDAF, учёные использовали устройство из пяти камер, которое помогло определить нужный угол и глубину для будущей камеры. Google выпустил фотоальбом, где сравниваются его старые и новые методы, чтобы показать его усовершенствования в течение нескольких поколений алгоритма для портретных снимков.
*