Rgb сенсор что это
RGB-сенсор Samsung с глубинным изображением
В рамках конференции ISSCC 2012 компания Samsung Electronics представила первый в мире КМОП-сенсор, который позволяет захватывать одновременно инфракрасное глубинное изображение и изображение в традиционном цветовом RGB-пространстве.
Для получения глубины изображения датчик использует так называемый времяпролётный метод, который широко используется в подобных устройствах. Ранее Samsung уже анонсировала сенсор, интегрирующий Z-пиксели (пиксели глубины) и RGB-пиксели. Но из-за ограничений фильтра ближнего ИК-диапазона, данный сенсор не способен был одновременно захватывать изображения обоих типов. Речь шла о временном разделении работы датчика.
Новая технология Samsung позволила обойти ограничение, описанное выше. Как ожидается, эта разработка позволит уменьшить габаритные размеры контроллеров, управляемых жестами. Также в перспективе появляется возможность использования данной технологии для добавления функции распознавания жестов в цифровые компактные камеры, видеокамеры и другие устройства.
Из технических характеристик нового сенсора отмечаются разрешение RGB-изображения 1920 х 720 пикселей, разрешение ИК-изображения 480 х 360 пикселей, диаметр RGB-пикселя 2,25 мкм. Z-пиксели имеют размеры 2,25 х 9 мкм. Они по эффективной площади в четыре раза больше RGB-пикселей.
Для производства чипа использовалась 0,13-мкм КМОП-технология. Отметим, технология глубинного изображения используется в популярном игровом контроллере Kinect.
Распознавание цвета и уровня освещенности с помощью APDS-9960
Недавно на Habr.com промелькнула статья в которой, среди прочего, сообщалось о датчике освещенности. Некоторое время назад я нашел и приобрел интересную вещь — модуль производства фирмы RobotDyn на основе датчика APDS-9960, который тоже умеет измерять уровень освещенности. Поискав и не сумев отыскать упоминаний сего прибора на данном ресурсе, я решил, что это подходящий повод для написания статьи.
В статье мне бы хотелось в общих чертах познакомить читателей с возможностями которые предоставляет этот датчик и более подробно рассмотреть каким образом с его помощью можно определять цвет и измерять уровень освещенности.
APDS-9960 — это датчик от компании Avago, он представляет собой комбинированный цифровой датчик с целым рядом разных интересных и полезных функций.
Он умеет распознавать жесты, определять приближение, а еще он умеет регистрировать интенсивность окружающего освещения и определять цвет.
Вот именно об этом и пойдет речь в данной статье — с помощью старенькой STM32VLDISCOVERY и APDS-9960 мы с Вами измерим освещенность и будем определять цвет во всем его богатстве оттенков Красного, Зеленого и Синего.
Однако, прежде чем мы приступим к практической части, позвольте сперва несколько слов написать об общих возможностях APDS-9960.
Функциональная схема APDS-9960 представлена на рисунке ниже 
Распознавание жестов
Представление о том как выглядит распознавания жестов на APDS-9960 очень неплохо показано на этом видео.
В документации описан принцип регистрации жестов:
Для распознавания жеста используется четыре направленных фотодиода которые регистрируют отраженный свет (в ИК диапазоне) излучаемый встроенным светодиодом.
Функция обнаружения приближения
Судя по описанию из все той же документации, механизм обнаружения (приближения) работает по такому же точно принципу, что и распознавание жестов.
Распознавание цвета и уровень окружающего освещения (Color/ALS)
Согласно функциональной схеме, датчик определяет цвет/уровень освещенности с помощью соответствующих фотодиодов. Также заявлено, что APDS-9960 имеет встроенные фильтры блокирующие ультрафиолетовый и инфракрасный диапазоны.
Упрощенно это выглядит так: зарегистрированные фотодиодами сигналы измеряются с помощью АЦП, заносятся в буфер и затем данные отправляются по i2c.
Графики на картинке выше взяты из документации на датчик, слева сверху представлена спектральная характеристика Color Sense (RGBC).
Сигнал RGBC фотодиодов накапливается в течение периода времени, установленного значением регистра ATIME. У SparkFun (в их «apds9960.h») это значение определено константой DEFAULT_ATIME и равно 219 что соответствует 103 ms.
Усиление регулируется в диапазоне от 1x до 64x и определяется настройкой параметра CONTROL AGAIN. Константа DEFAULT_AGAIN, равная, в свою очередь значению 1, что соответствует усилению в 4 раза.
Практическая часть
Лично меня в APDS-9960 интересовала только функция Color/ALS, поэтому я решил рассмотреть ее наиболее подробно и написал небольшой код демонстрирующий ее работу.
Код я намеренно старался сделать максимально компактным, лаконичным и предельно простым для понимания; весь код целиком будет представлен в конце статьи.
Итак, вся документация (чертеж, распиновка и принципиальная электрическая схема) на модуль доступна на сайте производителя.
Подключим наш модуль APDS-9960 к STM32VLDISCOVERY
APDS9960 для связи с внешним миром использует интерфейс i2c, поэтому у STM32VLDISCOVERY задействуем шину I2C1 подключив вывод модуля SCL к ножке PB6, а вывод SDA, соответственно к ножке PB7. Не забываем подключить питание и общий провод. Прерывания в данном случае использоваться не будут, поэтому вывод Int можно не подключать. У меня на фото он подключен, но не используется.
А теперь немножко кода. Поскольку все общение с модулем происходит с помощью i2c, создадим необходимую конфигурацию и определим функции чтения/записи для i2c.
Что такое режим sRGB в смартфонах и зачем он нужен?
Сегодня говорим о сложных вещах простыми словами. Экраны смартфонов — загадочный элемент. В каждом смартфоне экран передает изображения по-своему. Еще большая загадочность в том, что будучи абсолютно разными, экраны умудряются при этом круто показывать конечную картинку пользователю.
Разные оттенки серого, «настоящий» черный и белые цвета, чего только не встретишь на рекламных проспектах каждого нового флагмана и в ветках обсуждений на форумах. Точность передачи изображения важный параметр для людей, которые используют смартфон не только как средство для потребления контента, но и как средство для создания этого контента. Фотографы, дизайнеры и прочие специалисты должны быть уверены в том, что изображение на экране смартфона передает им максимально «честную» картинку.
Маленький пример из реальной жизни. Я часто публикую фотографии снятые на смартфон в Instagram, предварительно обрабатывая их в специальных приложениях. По завершению обработки я вижу, что полученный результат меня устраивает и готовлюсь показать свою «работу» широкой публике. Здесь наступает важный момент: а как будет выглядеть эта же фотография на экранах смартфонов у тысячи людей? К примеру, создавая фото на iPhone, я уверен в том, что передам всем пользователям iPhone то, что хотел показать на этой фотографии. Но я точно знаю, что изображение на экране Samsung или LG будет выглядеть иначе. Порой кардинально иначе и не всегда в лучшую сторону.
Если я возьмусь за подобные задачи на Android-смартфоне, мне будет крайне трудно предугадать, как фотография снятая на Pixel’e, будет выглядеть у других. Хотелось бы иметь какой-то усредненный вариант изображения, чтобы отталкиваться от него. Такой вариант встречается в некоторых моделях — это режим изображения sRGB. В Pixel’е он включается через меню для разработчиков.
Про основы RGB
sRGB — это цветовое пространство в пределах цветового пространства RGB. В свою очередь RGB — это такое цветовое пространство, в рамках которого, любое изображение может быть построено из комбинации трех цветов Red, Green и Blue.
Дабы не засорять ваш мозг терминами о Adobe RGB, который используется в профессиональной отрасли графики, просто запомните: на экранах смартфона sRGB — это необходимый минимум. Он покажет изображения, так сказать, в более правдоподобном обличии.
Почему sRGB это лучшее, что вы можете выжать из экрана смартфона на Android?
Все дело в погрешности. Люди создающие контент, видео или фото, при правильном подходе производят все действия на профессиональном оборудовании и позже выкладывают эту информацию в сеть. Вы как потребитель можете довериться настройкам и калибровке своего экрана, но с большой долей вероятности картинка, которую вы будет наблюдать на экране не будет соответствовать действительности и задумке автора.
Да, тот же Super AMOLED у Samsung приукрашает действительность, на нем фото и видео выглядят сочно. Но бывают моменты, когда из-за особенности экрана вы получаете изображения с «заваленным» контрастом и так далее.
Для этого производители смартфонов придумывают собственные профили изображения. Не будем далеко ходить и возьмем тот же Samsung с его «адаптивным» режимом изображения. Частично этот режим оправдывает свое название. Как говорится, каждый выкручивается как может. У Samsung собственная технология, у другого производителя тоже своя собственная. А есть производители смартфонов, которые вообще не позволяют ничего настроить, откалибровали по заводу и пустили в продажу.
В Pixel и OnePlus побеспокоились об этом и добавили возможность включения режима sRGB. Проблема скрывается не в самих экранах и производителях, а в ограничениях операционной системы Android.
Почему sRGB не массовый стандарт для всех?
Экраны всех смартфонов не могут быть одинаковыми с маркетинговой точки зрения. Каждый пытается как-то выделиться и показать свое видение «красивой картинки». Сам режим sRGB трудно назвать «красивым», он нейтральный. Если вы всю жизнь смотрели на экран Samsung Galaxy, перейти на sRGB будет не просто, да и не каждому это нужно. Но основной причиной является то, что операционная система Android, включая 7-ю версию, не имеет собственного профиля управления цветами. Да, Android не умеет управлять цветами на уровне системы, поэтому производителям приходится делать все в индивидуальном порядке. Отсюда такой цветовой зоопарк и поэтому иногда режимы, предусмотренные производителем смартфона, могут работать некорректно, просто сам Android не понимает как с этим работать.
Есть ли что-то лучше sRGB?
Да, есть. К примеру профиль DCI-P3. В мобильные устройства он пришел совсем недавно. Такой профиль стоит у LG G5, iPhone 7 и 7 plus. Так же его «завезли» в iPad Pro и новые Macbook. DCI-P3 используется в цифровых кинотеатрах, это цветовое пространство охватывает большую часть цветового спектра естественного происхождения. Если ваша работа связана с графикой и изображением, рекомендуем использовать эти устройства, как говориться, чтобы не отходить от стандартов отрасли и не « замыливать » себе глаз другими «искусственными» режимами изображения.
Так ли важен sRGB у Android?
Профиль sRGB не является обязательным режимом работы экрана, просто в рамках системы Android — это единственный режим, который позволяет добиться максимально «честной» картинки. Исключением можно назвать DCI-P3 у LG G5, который полностью управляется алгоритмами LG, компания потратила уйму человеко-часов, чтобы завести этот режим в Android.
Главная трудность
Проблема в том, что с течением времени мы не привыкли смотреть на «правильную» картинку и балуем себя различными вариациями изображений, которые нам подсовывают производители. Именно поэтому не факт, что вы сможете использовать sRGB профиль в повседневной жизни, глаз так и попросит больше цветов и контрастов.
Твердотельные сенсоры изображения: как получается цвет
«Классические» ФПЗС и КМОП-сенсоры [1]
Сами по себе они не способны различать цвета: разница в длинах волн (а именно длиной волны и определяется цвет) падающих на них фотонов воспринимается как разница в энергиях (E
hv). Вариации как энергии фотона, так и их числа за время экспозиции приводят к изменению всего лишь одной величины — заряда в ячейке для ФПЗС или напряжения для КМОП. Поэтому на выходе мы имеем монохромное изображение, т. е. градации серого.
Для обеспечения сенсору возможности различать цвета нужны дополнительные приспособления. А что же такое «цвет», вообще говоря? В физике у света есть спектр — набор длин волн излучения. Этим спектром однозначно определяется цвет — психофизиологическое ощущение. Обратное утверждение, кстати, неверно — несколько различных спектров могут давать одно и то же ощущение цвета.
Т. к. с точки зрения колориметрии цвет — трехмерная векторная величина, то нужно неким образом выделить из падающего на сенсор светового потока три [2] составляющих. Возможность трехмерного описания цвета [3] объясняется не физическими свойствами самого света, а механизмами цветовосприятия глаза.
Суть «классического» сенсора: в одном пикселе за время экспозиции мы можем сделать только одно спектральное измерение (исключения — см. ниже).
В настоящее время существуют следующие подходы:
1. Расщеплять свет после объектива (например, системой призм) на три области — красную, зеленую и синюю, и подавать на три отдельных монохромных сенсора.
Такой подход часто используется в профессиональных фото и видеокамерах и называется 3CCD.
Он обеспечивает отличную разрешающую способность как цветовую, так и пространственную («резкость») без увеличения времени получения изображения. Время получения кадра, пожалуй, самое малое из всех подходов, т. к. нет необходимости производить цветовую интерполяцию (см. ниже). Появляется возможность «тюнинга» каждого сенсора под свой диапазон, например, введением специальной примесной добавки в кремний изменить спектральную чувствительность сенсора. Баланс белого на итоговом изображении сводится к регулировке усиления и уровней черного каждого из трех сенсоров.
Однако такой подход требует сложной юстировки всей системы и часто — особой оптики (из-за появления перед сенсором довольно большого блока призм). При этом широкоугольным объективам не повезло больше всех. Добавьте сюда тройной комплект сенсоров и их электронной обвязки. Все это в итоге повышает стоимость, габариты системы и ее энергопотребление (особенно, если сенсоры — ФПЗС).
Технология производства ФПЗС-сенсоров отлично отлажена, равно как и приспособлений для расщепления света, поэтому по качеству и скорости рассматриваемому подходу пока нет равных.
2. Установить светофильтры перед сенсором.
Если время получения изображения не критично, можно использовать последовательное экспонирование сенсора через барабан со светофильтрами. Минус — требуется в три раза больше времени. Поэтому для съемки движущихся объектов такой метод не подходит. Однако сохраняются все остальные плюсы предыдущего подхода, да и трех матриц с призмой не нужно.
3. Установить светофильтры непосредственно над каждым пикселем сенсора.
Если в сенсоре используются микролинзы [4], то светофильтры устанавливаются между микролинзой и ячейкой. Распределение таких светофильтров по поверхности сенсора — массив цветных фильтров (CFA = Color Filter Array) может быть различным.
3.1. Например, линейный (используется в некоторых планшетных сканерах — там как раз всего три строки для каждого из цветов):
R R R R R
G G G G G
B B B B B
3.2. Наиболее популярный — байеровский, по цветовой модели Байера (B. Bayer [5]), предложенной в начале 70-х годов прошлого века. Иначе — RGBG-фильтр. Все массивы, построенные по принципу Байера называют мозаиками.
Элементарный узор массива получается из четырех ячеек с тремя типами светофильтров. В основе байеровского фильтра и большинства других лежит принцип дискретизации яркостного канала на большей частоте, нежели двух оставшихся цветовых. За яркостной канал был принят зеленый, т. к. кривая яркостной чувствительности глаза человека имеет максимум около точки 550 нм, что соответствует зеленому цвету. Да и число зеленочувствительных рецепторов на сетчатке в два раза больше, чем красных или синих.
Выигрыш по скорости и стоимости варианта с массивом цветных фильтров, «компенсируется» проигрышем по пространственному и цветовому разрешению. Данные одного пикселя итогового изображения «размазываются» по нескольким ячейкам. Для того, чтобы получить RGB-значения каждого пикселя необходимо произвести цветовую интерполяцию. См. иллюстрацию:
Наиболее заметные артефакты от такой цветовой интерполяции появляются при быстром изменении цвета относительно пространственных координат изображения (некий контрастный, ритмический рисунок в мелких деталях) — возникают искажения цветов и контуров, исчезновение мелких деталей, муар. Например, в нашей сцене есть небольшая белая точка на черном фоне. Она может попасть только на одну синюю ячейку. В таком случае на изображении она будет представлена синим пикселем. Описанный эффект называется алиайсингом. Устранить его можно только размытием изображения: посредством анти-алиайсинг фильтра или расфокусировкой. Анти-алиайсинг фильтрация (по сути, размытие наподобие blur-эффекта) дополнительно уменьшает пространственное разрешение.
Поэтому сенсоры с CFA для профессиональной техники мало подходят, т. к. сам сенсор не может обеспечить разрешения, которое дает качественный объектив: в худшем варианте один итоговый пиксель интерполируется из 9 пикселей сенсора. Если мы будем увеличивать число пикселей сенсора, уменьшая их размеры, то упремся в собственные шумы сенсора, а если увеличивая размер сенсора — в технологический передел размера пластин или стоимости системы.
3.4. Выше были рассмотрены мозаики в основу которых положена модель аддитивного цветового синтеза (RGB), однако выпускаются сенсоры с мозаиками на основе субстрактивного синтеза (CYM=Cyan Yellow Magenta). Те же господа из Sony выпускают матрицы с CYMG-фильтром. Основные компоненты в нем — CYM (голубой, желтый, пурпурный) и один, дополнительный, аддитивный — G (зеленый). На мой взгляд — весьма спорное решение.
Тем более что типичная проблемой сенсоров с такой мозаикой — регистрация света с длинной волны в 450 нм в синем и красном канале.
Краткий итог: при одинаковых числе пикселей и их размере у сенсора с массивом цветных светофильтров пространственное разрешение примерно в 2 раза ниже, чем у монохромного. Если быть точным, то величина эта зависит от метода интерполяции, типа мозаики и направления: для фильтра Байера по горизонтали снижение разрешения составляет около 65%, а по вертикали примерно 80%.
По мере роста вычислительной мощности графических процессоров фотокамер линейная интерполяция заменялась кубической, а та — кубическими сплайнами. Во многих современных камерах предпочтение отдается специальным алгоритмам, оптимизированным под работу с цветом и под конкретный сенсор. Естественно эти алгоритмы являются коммерческой тайной фирм-производителей. Например, существуют:
—интерполяция с постоянным тоном (одна из первых в массовых образцах камер);
— интерполяция по медиане (двухпроходная: линейная интерполяция, медианная фильтрация цветовых различий);
— интерполяция по градиенту (трехпроходная: сначала G, а затем R-G и B-G каналы; используется в Kodak DCS 200).
Все эти алгоритмы направлены на устранение артефактов: «лесенки» — на краях контрастных объектов и «конфетти» вокруг ярких пикселей на темном фоне.
Лучшими являются итерационные (многопроходные) алгоритмы и алгоритмы на основе нейронных сетей, но они требуют большой вычислительной мощности и пока реализованы в полной мере только в программных RAW-конверторах (например, в SharpRaw).
Вот пример работы цветовой интерполяции кубическими сплайнами с RGBG-сенсора (под картинкой ссылка на увеличенное в 3 раза PNG-изображение):
4. Использование технологии пиксельного сдвига сенсора.
Данный подход заключается в использовании «обычного» сенсора с фильтром Байера, снабженного механизмом попиксельного сдвига в плоскости изображения с помощью пьезо-элементов. Снимаем один кадр, сдвигаем сенсор вправо на один пиксель, снимаем второй кадр, сдвигаем сенсор вниз на один пиксель. Таким образом в трех кадрах имеем все три цветных составляющих индивидуально для каждого пикселя.
См. анимацию (обратите внимание, как выделенный пиксель в левом верхнем углу последовательно получает все три цветовых компонента):
Минус — увеличенное в три раза время экспозиции и стоимость устройства. Конечно, для репортажной съемки такая технология не подходит. Поэтому применяется преимущественно в цифровых задниках для студийной съемки, где возможно обеспечить неподвижность сцены съемки на время порядка 1-2 секунд.
Кроме увеличения цветового, увеличивается и пространственное разрешение. Оба примерно в 2,5 раза по сравнению с таким же сенсором, но без сдвига.
Пример: цифровые задники FlexFrame 4040 от Imacon и Sinarback 44 HR от Sinar.
Foveon X3
До сих пор мы говорили о классических сенсорах. Сейчас стоит рассказать о новом типе КМОП-сенсора от калифорнийской компании Foveon — Foveon X3 [6]. Сенсор был представлен широкой публике в начале 2002 года.
В основу положена идея о поглощении фотонов различных длин волн на различных глубинах в полупроводнике. Это дает возможность для каждого пикселя сенсора получать свои собственные RGB-компоненты, в одном пикселе совмещены детекторы всех трех цветовых компонент. Весьма изящная идея: одним махом избавляемся от цветовой интерполяции, сглаживания и разницы фаз между RGB-компонентами, присущих классическим сенсорам с CFA. Также, не требуется и трех сенсоров вместе с устройством расщепления света.
Эксперименты [7] по стандарту ISO12233 [8] показывают 2,4-кратное превосходство Foveon X3 в пространственной разрешающей способности над сенсорами с фильтром Байера. А на границе раздела синий-красный до 5 крат. Мы помним о том, что байеровский фильтр содержит синих и красных светофильтров в 2 раза меньше, чем зеленых, отсюда такой скачок 🙂
Все же не удержусь и дам упрощенную схему строения этого сенсора:
Как видим, ключевой особенностью является порядок и глубина залегания p-n-переходов. Коэффициент поглощения кремния почти линейно уменьшается с увеличением длины полны света видимого диапазона. Первыми поглощаются «синие» фотоны, затем «зеленые» и «красные».
Можно сказать, что перед нами «электронная фотопленка», т. к. из всех сенсоров Foveon X3 наиболее близок к фотопленке, которая также содержит в себе три чувствительных слоя для каждого из цветов в виде «бутерброда».
В качестве камеры, использующей Foveon X3 можно отметить Sigma SD9, SD10 и Polaroid x530 и вот пока что все. Идея Foveon красива, но, видимо, на практике не все так гладко…
Желающих подробнее ознакомиться с этим типом сенсора прошу на сайт производителя.
Альтернативный теоретический взгляд можно найти в статье.
В настоящее время разрабатывается технология TFA (Thin Film on ASIC). Коммерческих образцов пока нет, так что сказать что-то окончательно нельзя. TFA представляет собой интеграцию слоя детектора из аморфного гидрогенизированного кремния (a-Si:H) на кристалл ASIC (Application Specific Integrated Circuit, по-сути, КМОП-микросхема).
Толщина слоя детектора менее 1 микрона и работает он как мультиспектральный фотодиод. Пик спектральной чувствительности может сдвигаться в границах видимого света в зависимости от напряжения между p- и n- областями. Можно считывать три цветовых составляющих последовательно (быстро меняя напряжение). Кроме этого a-Si:H обладает высоким квантовым выходом и тремя линейно-независимыми пиками чувствительности в зоне видимого света. TFA является сенсором с коэффициентом заполнения 100%: вся поверхность является светочувствительной.
Возможно, в лице TFA-сенсоров мы скоро увидим увеличение динамического диапазона (для TFA заявлено 120dB, тогда как человеческий глаз имеет 200dB) и цветового разрешения.