Tof датчик что это
Что за TOF камера в смартфонах? Это именно объектив или датчик? Для че.
Что за TOF камера в смартфонах? Это именно объектив или датчик? Для чего нужен?
И датчик, и объектив :-). Если обратиться к терминологии, то объектив это оптическая система, являющаяся частью оптического прибора, обращённая к объекту наблюдения или съёмки.
ToF-датчик (расшифровывается как Time of Flight, он же датчик глубины или времяпролетная камера) — это специальный сенсор, который излучает свет и регистрирует скорость его отражения от объекта. Зная время отражения, на основе скорости света (она постоянна в воздухе) можно вычислить точное расстояние до объекта, как это делает лазерный дальномер.
Таким образом, ToF-сенсор фиксирует не свет (как это делают обычные камеры для фотосъемки), а расстояние. Если измерить расстояние до разных точек, можно получить трехмерную картинку наблюдаемого объекта. И все это в реальном времени.
Сейчас датчики глубины популярны в смартфонах хуавей, хонор, оппо, самсунг и так далее. А первым смартфоном с такой камерой стал iPhone X в 2017 году. Именно для этого у него такая объемная «челка» — дополнительная ToF-камера стала ключевым элементом системы распознавания лица FaceID.
Для чего нужны датчики глубины? Пока что их применение ограничено, но перспективы большие. Реальное применение на данный момент — разблокировка по лицу, создание анимированный эмодзи на основе лица владельца телефона. В теории с такими камерами можно создавать вымышленных персонажей, которые будут похожи на своих «человеческих» прототипов и иметь живую мимику.
Также это позволит кому угодно делать комбинированные видеосъемки с «левыми» объектами, которые будут вести себя и располагаться в пространстве как реальные. Это полезно и для технологий дополненной реальности. Используется уже сейчас — например, можно онлайн примерить мебель к своей квартире. Или пририсовать виртуальные стикеры к каким-то вещам. Или играть в сетевую игру с виртуальными объектами, глядя на них через камеры ваших смартфонов. Вот ролик по теме от Sony с милым саундтреком:
Также ToF-камеры позволят создавать трехмерные модели объектов (например, для 3D-печати). Человек, сооружение, прибор — неважно. А комбинация обычной камеры и ToF позволяет получать такие модели в реальных цветах.
Time of flight
Знаете, меня порой удивляет причудливая структура общественного мнения. Взять к примеру технологию 3D-визуализации. Огромный общественный резонанс вызывают в последнее время технологии очков виртуальной реальности: Oculus Rift, Google Glass. Но ведь ничего нового тут нет, первые шлемы виртуальной реальности появились ещё в конце 90-х. Да, они были сложны, они опередили своё время, но почему тогда это не вызывало такого WOW-эффекта? Или 3D-принтеры. Статьи о том, как они круты или как быстро они захватят мир появляются в информационном поле два раза в неделю последние года три. Я не спорю, это круто и мир они таки захватят. Но ведь эта технология была создана ещё в 80х и с тех пор вяло прогрессирует. 3D-телевидение? 1915 год…
Технологии все эти хороши и любопытны, но откуда столько шумихи из-за каждого чиха?
Что, если я скажу, что в последние 10 лет была изобретена, разработана и внедрена в массовое производство технология 3D съёмки, очень сильно отличающаяся от любой другой? При этом технология уже повсеместно используемая. Отлаженная и доступная простым людям в магазинах. Вы слышали про неё? (наверное только специалисты по робототехнике и сопутствующим областям науки уже догадались, что я говорю про ToF-камеры). 
Что такое ToF камера? В русской Википедии (англ) вы не найдёте даже коротенького упоминания о том, что это такое. «Time of flight camera» переводится как «Времяпролётная камера». Камера определяет дальность через скорость света, измеряя время пролёта светового сигнала, испускаемого камерой, и отражённого каждой точкой получаемого изображения. Сегодняшним стандартом является матрица 320*240 пикселей (следующее поколение будет 640*480). Камера обеспечивает точность измерения глубины порядка 1 сантиметра. Да-да. Матрица из 76800 сенсоров, обеспечивающих точность измерения времени порядка 1/10,000,000,000 (10^-10) секунды. В продаже. За 150 баксов. А может вы ею даже пользуетесь.
А теперь чуть подробнее про физику, принцип работы, и где вы встречали эту прелесть.
Существуют три основных типа ToF-камер. Для каждого из типов используется своя технология измерения дальности положения точки. Самая простая и понятная — «Pulsed Modulation» она же «Direct Time-of-Flight imagers ». Даётся импульс и в каждой точке матрицы измеряется точное время его возвращения: 
По сути матрица состоит из триггеров, срабатывающих по фронту волны. Такой же способ используется в оптических синхронах для вспышек. Только тут на порядки точнее. В этом-то и основная сложность этого метода. Требуется очень точное детектирование времени срабатывания, что требует специфических технических решений (каких — я не смог найти). Сейчас такие сенсоры тестирует NASA для посадочных модулей своих кораблей. 
А вот картинки которые она выдаёт: 
Подсветки на них хватает, чтобы триггеры срабатывали на оптический поток отражённый с расстояния порядка 1 километра. На графике приведено число сработавших в матрице пикселя в зависимости от расстояния 90% работают на расстоянии в 1км:
Второй способ — постоянная модуляция сигнала. Излучатель посылает некоторую модулированную волну. Приёмник находит максимум корреляции того, что он видит с этой волной. Это определяет время, которое сигнал потратил на то, чтобы отразиться и прийти на приёмник.
Пусть излучается сигнал:
где w — модулирующая частота. Тогда принятый сигнал будет выглядеть как:
где b-некий сдвиг, a-амплитуда. Корреляция входящего и исходящего сигнала:
Но полную корреляцию со всеми возможными сдвигами по времени произвести достаточно сложно за реальное время в каждом пикселе. Поэтому используется хитрый финт ушами. Полученный сигнал принимается в 4 соседних пикселя со сдвигом в 90⁰ по фазе и коррелируется сам с собой:
Тогда сдвиг по фазе определяется как:
Зная полученный сдвиг по фазе и скорость света получаем дальность до объекта:
Эти камеры чуть попроще, чем те, что построены по первой технологии, но всё равно сложны и дороги. Делает их вот эта компания. И стоят они порядка 4килобаксов. Зато симпатишные и футуристичные: 
Третья технология — » Range gated imagers «. По сути затворная камера. Идея тут до ужаса проста и не требует ни высокоточных приёмников, ни сложной корреляции. Перед матрицей стоит затвор. Предположим, что он у нас идеальный и работает моментально. В момент времени 0 включается освещение сцены. Затвор закрывается в момент времени t. Тогда объекты, расположенные дальше, чем t/(2∙c), где с — скорость света видны не будут. Свет просто не успеет долететь до них и вернуться назад. Точка, расположенная вплотную к камере будет освещаться всё время экспозиции t и иметь яркость I. Значит любая точка экспозиции будет иметь яркость от 0 до I, и эта яркость будет репрезентацией расстояния до точки. Чем ярче — тем ближе.
Осталось сделать всего пару мелочей: ввести в модель время закрытия затвора и поведение матрицы при этом событии, неидеальность источника освещения (для точечного источника света зависимость дальности и яркости не будет линейной), разную отражающую способность материалов. Это очень большие и сложные задачи, которые авторы устройств решили.
Такие камеры самые неточные, но зато самые простые и дешёвые: всю сложность в них составляет алгоритм. Хотите пример того как выглядит такая камера? Вот он: 
Да-да, во втором Kinect стоит именно такая камера. Только не стоит путать второй Kinect с первым (на хабре когда-то давно была хорошая и подробная статья где всё же перепутали). В первом Kinect используется структурированная подсветка. Это куда более старая, менее надёжная и более медленная технология:
Там используется обычная инфракрасная камера, которая смотрит на проектируемый паттерн. Его искажения определяют дальность (сравнение методов можно посмотреть вот тут).
Но Kinect далеко не единственный представитель на рынке. Например Intel выпускает камеру за 150 долларов, которая выдаёт 3д карту изображения. Она ориентирована на более ближнюю зону, но у них есть SDK для анализа жестов в кадре. Вот ещё один вариант от SoftKinetic (у них тоже есть SDK, плюс они как-то завязаны на texas instruments).
Сам я, правда до сих пор не сталкивался ни с одной из этих камер, что жалко и досадно. Но, думаю и надеюсь, что через пяток лет они войдут в обиход и моя очередь настанет. Насколько я знаю, их активно используют при ориентации роботов, внедряют в системы распознавания по лицам. Круг задач и применений очень широк.
Что делают 3D-сенсоры в смартфонах? РАЗБОР
Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?
Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.
Что такое 3D сенсор (сенсор глубины)
Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта — размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.
Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры. Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза — это тоже 3D сенсор. При этом, в отличие от LiDAR’а и ToF-сенсоров в смартфонах, глаза — пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.
Как работает ToF?
LiDAR в iPad’е, а также все 3D-сенсоры в Android-смартфонах — это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см — 30 пикосекунд. Вроде бы все понятно. Но есть проблема.
Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone — это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?
iToF — indirect ToF
Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.
dToF — direct ToF
dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL — Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.
Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.
Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.
Зачем это нужно в смартфонах
1. Безопасность
Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использовании трёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.
Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности и взаимодействовать с реальными объектами.
Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.
3. Улучшение фотографий
Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.
4. Прочее
Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking’а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.
Тесты
С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взяли Redmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.
Всё просто — размытие действительно больше и лучше, если ToF работает.
И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.
И найдите хотя бы одно отличие?
Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.
Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают — использовать эту камеру или нет?
При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.
Что такое ToF-сенсор и почему в Samsung Galaxy S21 его не будет из-за Apple
Когда-то было счастьем иметь камеру в телефоне. Только одну с одним простеньким сенсором. Иногда буквально для того, чтобы она просто была, а не для того, чтобы делала крутые фотографии. Тогда их еще называли мутировавшим потомком смайлика. Потом постепенно начали появляться вспышки, вторые сенсоры, третьи сенсоры, четвертые сенсоры, отдельные фронталки и так далее. Одним из трендов последнего времени является использование в смартфоне ToF-сенсора. Многие рады, что он у них есть, хотя реально не понимают, для чего он нужен и как он вообще работает. Интересно, что даже производители не особо торопятся объяснить это пользователям, используя принцип «есть и уже хорошо», значит продать можно.
Samsung может многое, но не все.
Что такое ToF-камера
ToF-камера или ToF-сенсор, как ее еще называют — это сокращение. Полная версия названия звучит, как Time-of-flight. Это камера, которая позволяет оценивать дистанцию до объекта и вместо пикселей выдает оценку расстояния от объектива до объекта съемки.
Определение расстояния производится за счет измерения времени движения импульса света до объекта и обратно. Так камера понимает, на каком расстоянии находится та или иная часть сцены и может в зависимости от этого менять настройки.
Samsung будет обновлять по три года даже бюджетные смартфоны на Android
Если не вдаваться в подробности технологий, то принцип работы подобной камеры выглядит именно так. Ей не надо получать детальное изображение — она нужна для получения данных объема, а за картинку отвечают уже другие сенсоры. Наверное, одним из первых случаев применения ToF в смартфонах был датчик FaceID в iPhone X.
Какое отношение Apple имеет к Samsung Galaxy S21
Казалось бы, какое отношения Apple может иметь к смартфону Samsung, который еще не вышел и который еще не факт даже, что получит такое название, но связь есть. Она может быть и косвенная, но определенное влияние на Samsung Apple все же оказывает. В данном случае в отношении сенсоров.
Какие смартфоны будут лучше и дешевле Samsung Galaxy Note 20К
Смартфоны Samsung Galaxy Note 20 и Note 20 Ultra в это году уже были анонсированы без датчиков ToF. Учитывая это, есть вероятность, что что-то подобное может произойти и с новыми смартфонами линейки Samsung Galaxy S, которые представят в следующем году. Некоторые аналитики говорят, что Samsung якобы считает, что для этой технологии недостаточно вариантов использования. Именно это по их мнению станет причиной для отказа от использования такого сенсора.
Когда сенсор глубины может сканировать лицо, это полезно для безопасности.
В качестве основной причины аналитики сходятся во мнении, что ей стала Apple. Технология, которую применяет Samsung, не так хороша, как используемая купертиновцами. Все из-за того, что Samsung использует так называемую косвенную технологию, а Apple — прямую.
Сенсоры, которые используются Apple, разрабатывает и производит Sony. Логично спросить, почему Samsung не хочет купить у Sony эти датчики и пользоваться ими в своих устройствах. На деле не все так просто. Apple имеет эксклюзивное соглашения с Sony. То есть имеет на них полные права и может запретить японцам продавать их ”на сторону”. Не стоит думать, что Sony находится в каком-то рабском положении. Наоборот, компания получает за это очень хорошие деньги и отлично себя чувствует. Ей явно лучше, чем Samsung, которой приходится искать другие решения.
По некоторой информации Samsung все же прорабатывает вариант использования ToF-камер в новых моделях своих смартфонов. Говорят даже, что для этого в ее подразделении System LSI кипит работа по разработке нового сенсора ToF. На каком этапе находятся разработки, естественно, не уточняется, но улучшение собственных наработок компании возможно.
Каким будет Samsung Galaxy S21
Как и положено, новый смартфон серии Samsung Galaxy S выйдет в феврале или марте следующего года. Конечно, отклонения возможны, но это стандартный цикл обновления модели, которого компания придерживается уже много лет.
Подобное определение расстояния очень полезно, но только тогда, когда оно правильно работает.
В чем точно не стоит сомневаться, так это в том, что новинка получит процессор Snapdragon 875. Какая маркировка будет на его аналоге под брендом Exynos, пока остается неизвестным.
Чтобы не пропускать новые смартфоны от топовых брендов, подписывайтесь на наш новостной канал в Telegram.
На какой версии Android будет работать смартфон, пока тоже не понятно, но он наверняка получит оболочку Samsung One UI. А еще все смартфоны Samsung Galaxy S21 получат защиту от воды и пыли по самому высокому стандарту. Также не стоит сомневаться в тонких рамках передней панели.
В этом году продажи Samsung идут не совсем так, как планировалось, поэтому компания должна найти золотую середину в серии Galaxy S21, чтобы превзойти продажи Galaxy S20. До запуска серии Galaxy S21 еще далеко, так что посмотрим, что будет дальше. А заодно узнаем, как она будет называться. Не хотелось бы, чтобы теперь компания начинала отсчитывать модели десятками, как Huawei. Куда интересней смотрится вариант с годом производства. В этом году S20 и Note 20, в следующем — S21 и Note 21, потом — S22 и Note 22 и так далее.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
С каждым годом искусственный интеллект все больше проникает в нашу жизнь. Использование биометрических данных для оплаты покупок и прохождения процедуры регистрации, крутые алгоритмы обработки фото, разные приложения с функцией дополненной реальности. Интересно, что большинство из приложений, которые задействуют новые технологии производит Google. Видно, что в компании плотно взялись за это дело. Сегодня предлагаю поговорить о еще одной фишке, позволяющей сравнить вашего питомца с настоящими произведениями искусства, выставленными в музеях.
Сбои WhatsApp и Instagram абсолютно привычны. Но есть ощущение, что вчера неполадки в работе соцсетей были не только дольше, но и вызвали больше паники среди людей. Пользователи нашего Telegram-чата недоумевали, что случилось, обменивались различными последними новостями, связанными с тем, почему не работает WhatsApp, даже шутили. Вся ситуация показала, насколько мы зависимы от мессенджеров и социальных сетей, а мир делится на тех, кто переживает за WhatsApp, и тех, кому наплевать. Кажется, пора сделать промежуточные выводы, что чувствуют пользователи в такой момент.