Quad bayer что это
Как устроена 48 мегапиксельная камера в смартфоне и какой в этом смысл
Мы живем в интересное время. Нас долго убеждали в том, что матрицы с высоким разрешением в смартфонах не нужны — мол, после определенной границы (12-16 мегапикселей) это не будет приводить ни к чему, кроме увеличения шума и снижения детализации. И долгое время это правило работало безотказно, многие— сознательно избегали камер с высоким разрешением. Но с недавних пор производителям смартфонов стали доступны сенсоры со структурой пикселей Quad Bayer, которые, во-первых, делают дальнейший рост разрешения оправданным и осмысленным. А во-вторых, серьезно упрощают и удешевляют процесс производства сенсоров (с точки зрения себестоимости каждого мегапикселя).
Четыре встроенные камеры смартфона vivo V17
Недавно мы рассказывали о том, на что способна квадрокамера vivo V17, но сегодня мы больше сосредоточимся именно на технических подробностях и поговорим о том, как все устроено. Сама компания vivo не занимается производством сенсоров для своих смартфонов, по крайней мере пока, поэтому все решения закупаются у сторонних производителей – в основном у Sony и Samsung за редкими исключениями.
Итак, в чем отличие структуры Quad Bayer от традиционного фильтра Байера? Идея предельно проста – она заключается в том, что у каждого блока из четырех пикселей (2 × 2) имеется одинаковых цветовой фильтр, что позволяет по-разному обрабатывать данные в зависимости от условий съемки, и в первую очередь – в от условий освещения.
Диаграмма пиксельной решетки (Quad Bayer Array) и ее преобразование с помощью специального алгоритма
У смартфона есть как минимум два варианта обработки сигнала с сенсора. В одном случае данные с четырех пикселей объединяются и мы фактически получаем один пиксель вчетверо большой площади. Именно таким образом основная камера vivo V17 работает по умолчанию, выдавая картинку размером 4000 × 3000 пикселей. Во втором случае каждый фотоэлемент срабатывает отдельно и мы получаем максимально возможное разрешение – 8000 × 6000.
Сама по себе съемка с таким высоким разрешением может быть оправдана лишь в одном случае – когда вам нужно напечатать изображение на бумаге (на фотобумаге, на фанере, как угодно). Если же вы используете фотографии только для просмотра на экране и хранения в «облаке», то чем выше разрешение, тем больше сложностей у вас возникнет. Наиболее логичным применением высокому разрешению на смартфоне становится цифровой зум без потери качества – в таком режиме камера делает снимок в максимальном разрешении, а затем вырезает его центральную часть и сохраняет ее как отдельный снимок с разрешением 12 мегапикселей. В этом случае можно сэкономить на установке телеобъектива – собственно, аналогичным производитель поступил и с vivo V17, здесь мы имеем двухкратный зум без потери качества без отдельного телеобъектива.
Пример цифрового зума без потери качества
В случае с истинно бюджетным смартфоном установка одной камеры с таким сенсором вполне позволит реализовать функциональность, которая прежде была свойственна лишь дорогим моделям. Иными словами, все идет к тому, что смартфонов, которые снимают плохо в мире вообще не останется. Ну а смартфоны средней руки смогут еще больше разнообразить варианты съемки установкой дополнительных специальных камер, и пример vivo V17 в этом смысле очень показательный.
Примеры съемки основной камерой vivo V17 в разрешении 48 Мп
Напомню, что помимо основной камеры на с фильтром Quad Bayer и разрешением 48 мегапикселей у vivo V17 имеется модуль со сверхширокоугольным объективом с эквивалентным фокусным расстоянием 13 мм и диафрагмой ƒ/2,2. Эта камера отлично подойдет для съемки в небольших помещениях, а также для городских пейзажей с высокими зданиями. Что характерно, этот модуль прекрасно обходится без механизма автофокусировки – благодаря большой глубине резкости можно получать четкие снимки практически в любых условиях.
Примеры съемки сверхширокоугольной камерой vivo V17
Две оставшиеся камеры vivo V17 обладают одинаковыми характеристиками, по крайней мере в том, что касается разрешения сенсора (2 мегапикселя или 1600 × 1200) и диафрагмы (ƒ/2,4). Одна из этих камер предназначена для съемки макро, в ней нет автофокуса, поэтому получить четкие снимки можно только если поднести смартфон практически вплотную к объекту. А вторая камера, как вы уже могли догадаться, выполняет роль датчика глубины, с помощью которого можно снимать портреты с размытием заднего плана.
Пример съемки камерой vivo V17 в «портретном» режиме
Для того, чтобы получить такой эффект на камере – понадобится дорогой объектив с большой диафрагмой, но благодаря вычислительной фотографии все это стало возможным в смартфоне дешевле 20 тысяч рублей.
Очевидно, что сенсоры с фильтром Quad Bayer прекрасно зарекомендовали себя за последний год, и vivo V17 – очередное подтверждение. А в этом году мобильный рынок начинает новый этап мегапиксельной гонки, только теперь гораздо более интересный и интригующий.
Почему в iPhone до сих пор стоят 12 Мп камеры?
Заметили, что мегапикселей стало как-то очень много? В Samsung готовят матрицы разрешением 600 Мп, уже есть — 108 Мп, а вот в iPhone, по-прежнему, 12 Мп. Почему так?
Вы наверное думаете, что всё дело в Deep Fusion и других волшебных алгоритмах. Отчасти, да. Но дело не только в них.
А что если я вам скажу, что в iPhone гораздо больше мегапикселей, чем мы думаем. А в Samsung, наоборот, гораздо меньше. Смотря как посчитать эти мегапиксели. Что это еще за заговор такой? Давайте разберемся!
Традиционная структура
Первый момент. Если внимательно посмотреть на современные ультра-мегапиксельные матрицы на 48, 64 или даже 108 Мп (а Samsung официально анонсировал, что работает над 600 Мп сенсором), то становится понятно, что разрешение матрицы стало вещью относительной. Почему я так говорю?
Традиционно, каждый пиксель на матрице состоял как минимум из 3 вещей:
И получается что если в пикселе есть эти три компонента, его можно назвать полноценным. И в матрицах с такими дополнениями пикселя мы всегда получаем честное разрешение: если матрица 12 МП, то и фотография будет 12 МП. Но разве можно делать как-то иначе?
Quad Bayer
Оказывается, можно. Долгое время у производителей матриц была проблема. Они никак не могли сделать пиксель меньше 1 мкм. А значит они не могли при том же физическом размере матрицы увеличить разрешение. Вот мы и сидели в основном с 12 Мп камерами.
Но в 2018 году барьер в 1 мкм был преодолён и появились первые компактные матрицы с размером пикселя 0,9 или 0,8 мкм и разрешением в 48 МП и больше. Но с уменьшением размера пикселя при прочих равных падает и их светочувствительность. Что, кстати, происходит не всегда…
Поэтому придумали очень простой хак. Цветовой фильтр стали накладывать не на один, а сразу на четыре пикселя и назвали такую структуру Quad Bayer, ну или Tetra Cell, если вы маркетолог Samsung. А дальше, объединив 4 пикселя в один гигантский, мы получаем отличную светочувствительность!
Но при этом реальное разрешение в 48 Мп камерах с Quad Bayer структурой в 4 раза меньше номинального и все равно — 12 Мп. Потому что пиксели в таких матрицах не проходят наш критерий полноценности: в каждом пикселе есть фотодиод, в каждом есть микролинза, но цветовой фильтр только один на четырёх. А значит цветовое разрешение в таких камерах в 4 раза ниже фактического.
Более того, даже в новых Samsung со 108 Мп камерами, реальное разрешение тоже 12 Мп, потому как в них объединяют не четыре, а сразу девять пикселей. Итого, 108 делим на 9, получаем 12.
Но почему же просто не сделать большие пиксели и не заморачиваться с этим объединением? Как ни странно такой подход даёт массу преимуществ!
Во-первых, днём когда света много — можно не объединять пиксели, а наоборот, при помощи алгоритма Re-mosaic можно восстановить хоть и неполное разрешение матрицы, но очень высокое.
Во-вторых, мы можем заставить разные пиксели работать с разной выдержкой. Тогда на выходе мы получим один светлый и один темный кадр, а склеив их мы можем получить полноценную HDR фотографию, или даже HDR видео!
Короче, вариантов для экспериментов масса и грех такое не использовать.
Но, если все уже поняли, что подход работает, почему же тогда ни в iPhone, ни в Pixel не используется преимуществами новых матриц? И вот тут самое интересное. На самом деле они пользуется, причем давно, но по-другому!
Dual Pixel
Помимо структур Bayer и Quad Bayer, существует и альтернативная школа, которая называется Dual Pixel или вернее сказать Dual Photo Diode.
Она отличается от традиционного Байера тем, что каждый пиксель в ней состоит из двух независимых фотодиодов. При этом оба фотодиода перекрывает только одна микролинза.
Но зачем это нужно? Если посмотреть на традиционную цифровую матрицу под микроскопом, то помимо обычных пикселей мы заметим какие-то странные зоны — вот эти зеленые штучки.
Это датчики фазовой фокусировки. Они необходимы для автофокуса. Кто снимал на зеркальные, помните вот такие зоны фокусировки в видоискателе? Вот это они!
Чем больше таких датчиков, тем быстрее и точнее будет работа автофокуса или AF. Но вот проблема. Они физически занимают место на матрице и отнимают его у нормальных пикселей. А значит, нельзя бесконечно увеличивать количество фазовых пикселей. Потому как если бы на каждый обычный пиксель приходился один фазовый пиксель, то система фокусировки занимала бы процентов 60 от общей площади.
Так было раньше, пока Canon не придумал технологию Dual Pixel. В качестве датчиков фазовой фокусировки они стали использовать обычные пиксели, разделив их на две части! Это позволило все пиксели сделать фазовыми! Опять же все кто пользовался зеркалками, знает какой у Canon крутой автофокус.
Но если у взрослых камер такая технология есть только у Canon, то в смартфонах матрицы с двойными пикселями производит и Samsung, и Sony, поэтому такую систему фокусировки можно встретить в куче смартфонов. В том числе во всех Google Pixel, начиная со второго и в iPhone 11 и 12.
Поэтому фактически в iPhone матрицы 24 мегапиксельные, если считать по количеству фотодиодов. Только полноценными такие 24 Мп конечно назвать нельзя, потому как тут пиксели делят на двоих не только цветовой фильтр, но и макролинзу. Поэтому в таких матрицах пиксели всегда работают в режиме объединения.
Правда есть одно исключение, если в iPhone систему двойных пикселей используют исключительно по назначению то есть для улучшения фокусировки, и, кстати, автофокус в iPhone замечательно работает как в фото, так и в видео, то в Google Pixel при помощи этой технологии научились делать портретные снимки с одной камеры. Они просто берут две фотографии, которые получились с правого и левого фотодиода и, подсчитав насколько сдвинулось изображение, строят карту глубины.
Так к чему я всё это? 12 Мп в iPhone — это осознанный выбор Apple, как и 108 Мп в Galaxy — осознанный выбор Samsung. Каждый из которых даёт свои преимущества и недостатки.
Камеры с высоким разрешением и структурой Quad Bayer или NonaCell — позволяют добиться более высокого разрешения днём и классной светочувствительности ночью. Позволяют проводить съёмку с алгоритмами HDR для фото и видео и вообще могут очень гибко настраиваться под конкретную задачу. Но пока не каждый процессор может справится с обработкой такого количества пикселей, а также, как показали тесты Galaxy S20 Ultra, бывают проблемы с фокусировкой.
Dual Pixel матрицы с низким разрешением вроде бы ничем особо не отличаются от традиционных матриц, но фотографии в низком разрешении проще обрабатывать. А структура Dual Pixel позволяет добиться потрясающей скорости и точности фокусировки.
Тем не менее мир не стоит на месте, Samsung и Sony уже показали новые матрицы с Quad Bayer структурой и двойными пикселями, которые берут лучшее из двух миров. Поэтому в будущем ждем еще более крутые камерофоны в следующем году.
Почему в камерах смартфонов много пикселей: польза или маркетинг
Содержание
Содержание
В век цифровых технологий все компании в мобильной индустрии придерживаются девиза 3 Б «больше, быстрее, безрамочнее». Процессоры становятся более производительными и энергоэффективными, уже выходя за рамки гаджетов. Площадь экрана все увеличивается и увеличивается, покрывая всю лицевую часть и стремится к заветным 100 %, а в случае Xiaomi Mi Mix Alpha выходит за рамки фронтальной части смартфона, переходя на корпус.
Вот и мегапикселей в камерах все больше и больше, как, впрочем, и самих модулей. Есть ли польза от такого количества пикселей или же это всего лишь маркетинг? На данный момент уже есть модули на 48 Мп, 64 Мп, 108 Мп и даже готовится на 150 Мп от Samsung. Но такие значения характерны для бюджетных и среднеценовых смартфонов. В премиальном сегменте больше 48 МП у камер вы не встретите. Исключениями являются Huawei P 40 Pro с 50 МП и Samsung S 20 Ultra с 108 МП, что наводит на мысль: а почему во флагманах нет таких «крутых» фотомодулей?
Общие понятия о характеристиках камер
Разрешение камеры
Разрешение камеры измеряется в пикселях (точках). Чем больше мегапикселей, тем больше деталей будет на фотографии, это хорошо проявляется при увеличении фото — четкость и детализация будут возрастать. При увеличении Мп в сенсоре должна либо возрастать площадь матрицы, либо должно быть сокращения размера пикселя.
Размер объектива
Чем больше размер объектива, тем больше света он может физически пропустить через себя. Не стоит забывать про качество исполнения линз, если их прозрачность далека от идеала и элементы недостаточно подогнаны, хороших фотографий можно не ждать.
Зум — способность фотокамеры увеличивать изображение во время съемки с предварительной фокусировкой. Существует два вида зума: цифровой (софтверный) и оптический.
Стабилизация изображения
Так же как и зум, стабилизация бывает цифровой и оптической. Цифровая стабилизация считается программной, а вот оптическая приводится в действие с помощью маленьких гироскопов, которые физически перемещают объектив камеры во избежание каких-либо движений, это и обеспечивает снимок высокой четкости.
Матрица
Матрица — это ряд светочувствительных фотодиодов с нанесенным на них тончайшим фильтром. Размер матрицы напрямую влияет на количество пропускаемого света, это ведь важно для качества изображения, опять же чем больше света способна пропустить матрица, тем качественней будет конечная фотография.
Диафрагма
Говоря по-простому, диафрагма — это «отверстие в объективе», которое пропускает свет в матрицу. Диафрагма регулирует световой поток, что дает возможность изменять глубину резкости. Чем ниже данный показатель, тем лучше детализация фотографии в темноте и выше скорость съемки.
Иногда производители камер для смартфонов интегрируют переменную диафрагму, например, Samsung S9 и S9+. Это должно было хорошо сказаться на фотографиях, но оказалось — при маленькой матрице переменная диафрагма попросту лишняя и маркетинговая уловка.
Дополнительные модули
Существует несколько видов: широкоформатный (ширик), телеобъектив (телевик), черно-белый, цветной и с эффектом боке.
Программное обеспечение
Софтверная часть занимает львиную долю работы с фото, поскольку уже не единожды смартфоны Google Pixel с одним 12 МП модулем доказали, что качественную картинку можно получить с помощью анализа и подбора оптимальных настроек. Именно ПО позволяет максимально раскрыть потенциал камеры.
Bayer
На сегодняшний день известно несколько основных структурированных технологий размещения светофильтров пикселей в камере: Bayer, Quad Bayer, TetraCell и NanoCell.
NonaCell в камерах от Samsung не путать с Nanocell от LG в телевизорах.
Bayer — это двумерный массив цветофильтров, покрытых фотодиодами матрицы. В классическом фильтре Байера применяются светофильтры трех основных цветов RGB. Как видно на первом рисунке, количество зеленого цвета больше, чем у красного и синего цветов. Также разрабатывались другие светофильтры, но данный фильтр Bayer широко распространен.
Принцип работы светофильтра Bayer
Quad Bayer/Tetracell
Quad Bayer — это структура размещения светофильтров пикселей в модуле камеры и разбивание пикселя на группы по четыре субпикселя. То есть соседние субпиксели в квадрате 2х2 накрываются общим светофильтром RGB, а точнее — GR-GB.
Принцип работы Quad Bayer
Quad Bayer/TetraCell — удешевляет процесс производства модулей камер для смартфонов благодаря «разбивке» пикселей и их группировке под одним большим покрытием, что ведет к увеличению разрешения. Если бы производитель хотел «честные» 48 мегапикселей, то ему бы пришлось утончать тех процесс, а тут всего лишь используется тоже самое покрытие в 12 мегапиксельной версии.
Quad Bayer это термин активно используемый в камерах Sony, TetraCell тоже самое только от Samsung.
Но все таки имеются и плюсы данных технологий:
Это работает только при хорошей оптимизации и, зачастую, во флагманских устройствах.
Nonacell
Отдельного упоминания стоит NonaCell от компании Samsung. Этот тот же Bayer, только с формированием группы субпикселей 3х3. Данная структура будет применяться в 150 МП модулях камер, но пока неизвестно, будут ли улучшения по сравнению с предшественником.
Сравнение Tetracell и Nonacell
На этой картинке виден изначальный размер субпикселя 0,8µm, на Tetracell 2х2-1,6µm и Nonacell 3х3-2,4µm. Так же идет «искусственное» увеличение пикселей, не ведущее к заметному повышению качества изображения.
NonaCell — это усовершенствованная версия Tetracell, формирующая группы 3х3 субпикселя.
Специфика камер со структурой Quad Bayer/Tetracell/Nonacell делает их интересным решением на рынке сенсоров. Как говорилось выше, данные структуры хорошо себя показывают при достаточной освещенности, в темное время суток, также при однокадровом HDR, который позволяет уменьшить время съемки. Но все это работает только при условии качественного ПО, что доказывают 12 МП модули флагманов «яблочка» и «корпорации добра».
Так уж повелось маркетологи приучили нас мерить качество фотографий мегапикселями и это выливается в хорошую картину: 48 МП = 12 МП, 64 МП= 16 МП, 108 = 27 МП, а 150 МП = 16,6 МП.
Что такое Quad Bayer и TetraCell в камере: особенности, плюсы и минусы технологии
Производители смартфонов вновь ввязались в гонку мегапикселей. Сначала разрешение фронталок начало расти до 20+ Мп, а затем появились основные модули на 40 Мп и больше. Размеры отдельных пикселей уже составляют менее 1 мкм, и продолжают уменьшаться. Делать такие матрицы весьма непросто, но технологии Quad Bayer и TetraCell помогают инженерам умещать все больше и больше мегапикселей.
Quad Bayer – это структура размещения светофильтров пикселей в камере, при использовании которой они группируются по 4. Соседние пиксели в квадрате 2х2 накрываются общим фильтром, пропускающим красный, синий или зеленый цвет. Термин Quad Bayer активно использует в описаниях своих модулей камер компания Sony. TetraCell – это маркетинговое название той же самой технологии, но используется оно Samsung.
Как устроена камера смартфона
Матрица камеры представляет собой массив миниатюрных сенсоров-пикселей, реагирующих на свет. Чем больше свет попадает на сенсор – тем выше значение его сигнала (0 – света нет, максимальное значение – яркий свет). Но транзисторы CMOS не умеют различать оттенки, поэтому фотография с них получится черно-белой, как с древнего пленочного фотоаппарата.
Чтобы раскрасить фотографию, массив транзисторов матрицы покрывается слоем светофильтров, пропускающих только один цвет: красный, зеленый или синий. Для того, чтобы каждый пиксель полноценно распознавал цвет, он должен состоять из трех субпикселей, каждый из которых имеет светофильтр своего цвета. Так устроены практически все современные экраны.
В случае с камерой делать пиксель из трех разноцветных субпикселей – сложно и дорого. Также, при этом, снижается светочувствительность матрицы. Поэтому каждый пиксель в составе сенсора накрывается фильтром одного цвета: красного, зеленого или синего. Светофильтры располагаются таким образом, что каждый фильтр одного цвета соседствует с ячейками другого.
При обработке фото процессор добавляет к цветовому значению каждого пикселя два других значения, полученных от соседних ячеек. Сливаясь, вместе они дают конечный оттенок, близкий к тому, что видит человеческий глаз.
Порядок расположения цветовых фильтров, при котором они всегда соседствуют с фильтрами другого цвета, и называется фильтром Байера (Bayer Filter). Назван он в честь инженера Брюса Байера, придумавшего эту структуру в 70-х.
В байеровской структуре порядок пикселей можно описать как GR-BG (Green-Red-Blue-Green), где GR – верхний ряд, BG – нижний. Зеленых светофильтров вдвое больше в связи с тем, что именно зеленый (находящийся в середине спектра видимого излучения) наши глаза воспринимают лучше всего.
При использовании структуры Quad Bayer / TetraCell порядок размещения светофильтров отдаленно выглядит точно так же, как обычный байеровский фильтр: GR-BG. Однако при ближнем рассмотрении видно, что светофильтр накрывает не один пиксель, а сразу 4, в квадрате 2х2. При этом, как и прежде, каждый из них соседствует с сенсорами другого цвета, поэтому сохраняет возможность полноценно фиксировать цвет.
Плюсы Quad Bayer / TetraCell в камере
Использование структуры Quad Bayer / TetraCell облегчает у удешевляет процесс производства камер. Ведь на каждые 4 пикселя используется одно большое покрытие. Для его нанесения не нужно утончать техпроцесс, потому что количество фильтров и их размеры в 48-мегапиксельной камере с TetraCell не отличаются от таковых в 12-мегапиксельной с обычным байеровским порядком. Но разрешение, при этом, вчетверо больше.
Важным преимуществом TetraCell является возможность работы камеры в режиме склейки пикселей. При дефиците света камера считывает показания 4 ячеек, накрытых красным, зеленым или синим светофильтром, как одной большой. В итоге 4 пикселя, каждый размером 0,8 мкм (такие используются в Sony IMX586, Samsung S5KGM1, S5KGD1), создают подобие одного большого 1,6 мкм. Поэтому при слабом освещении камера с Quad Bayer фотографирует лучше, чем матрица такого же размера и разрешения, но с обычной байеровской системой.
В свете последних тенденций очень важной является способность камер со счетверенными светофильтрами снимать фото в режиме «однокадрового HDR». Им не нужно снимать два фото с разной выдержкой и склеивать для расширения динамического диапазона, как при обычном HDR. Ведь можно заставить соседние транзисторы одно цвета снимать с разной выдержкой, например, четные с короткой, а нечетные – длинной. Это повышает четкость снимков и облегчает их обработку процессором.
Расположение светофильтров по схеме Quad Bayer / TetraCell способствует снижению шумности. Сравнивая значения соседних транзисторов одного цвета (которые не могут сильно отличаться), камера ликвидирует артефакты (яркие точки, видные в 100% масштабе).
Минусы Quad Bayer / TetraCell
Несмотря на повышение разрешения и борьбу с артефактами, фотокамеры с Quad Bayer / TetraCell склонны к графическим дефектам иного рода. Их пиксели физически имеют меньший размер, и несмотря на изоляцию (технология ISOCELL), больше подвержены влиянию взаимных шумов и засветки. Поэтому детализация снимка, снятого на 48 Мп камеру с Quad Bayer, будет не в 4 раза выше, чем на 12 Мп того же размера, а меньше.
Еще одним недостатком TetraCell является меньшее количество пикселей других цветов, с которыми соседствует каждая ячейка. В обычной байеровской структуре каждый зеленый пиксель соседствует с двумя красными и синими, а красный и синий – с четырьмя других цветов (зеленого и синего или красного). В структуре Quad Bayer таковых вдвое меньше. Поэтому для корректной передачи цвета требуются более сложные алгоритмы обработки снимка.
Специфика устройства камер со структурой Quad Bayer / TetraCell делает их весьма интересным решением. С одной стороны, такие сенсоры способны давать высокое разрешение фотографий при хорошем освещении. Как ни крути, но когда света хватает, то 40 Мп – это лучше, чем 10. С другой же – они также могут превращаться в аналог полноценной камеры меньшего (вчетверо) разрешения, оборудованной большими пикселями. Как итог, производители смогли добиться и повышения детализации днем, и сохранения четкости и светочувствительности вечером или в помещении. Без использования счетверенной структуры это было бы невозможным.