Rolling shutter repair что это
Устранение эффекта плавающего затвора
Узнайте о новых функциях в Premiere Pro, которые помогают устранить проблемы с плавающим затвором, которые возникают в исходных медиаданных с камер DSLR и с других камер, оснащенных датчиками CMOS.
Типичная проблема в отношении камер DSLR и других камер на базе датчика CMOS заключается в том, что, как правило, возникает отставание по времени при сканировании строк видеоданных. Из-за этого не все части изображения записываются в одно время, что вызывает такие искажения, как эффект плавающего затвора. Эти искажения могут возникать при движении камеры или предмета.
Для удаления этих искажений можно использовать эффект «Устранение эффекта плавающего затвора» в Premiere Pro.
После применения этого эффекта становятся доступны следующие свойства:
Направление сканирования: задает направление сканирования для плавающего затвора. Большинство камер выполняют сканирование датчика в направлении сверху вниз. Камеры смартфонов можно переворачивать сверху вниз или поворачивать. Для этого необходимо задать другое направление сканирования.
Раздел расширенных настроек:
Метод: определяет использование анализа оптического потока и изменение времени движения пикселей для создания кадров без искажения («Движение пикселей») или распределенное отслеживание точки и деформации («Деформация»).
Детальный анализ: анализ точки в пределах деформации с более высоким уровнем детализации. Доступно при использовании метода деформации.
Элемент движения пикселей: определяет необходимую детализацию вычислений векторного поля оптического потока. Доступно при использовании метода «Движение пикселей».
Несмотря на то что эффект стабилизатора деформации имеет встроенную функцию устранения эффекта плавающего затвора, автономная версия последнего включает больше настроек. В отдельных случаях требуется только устранение эффекта плавающего затвора без стабилизации снимка.
Математические расчёты, стоящие за феноменом роллинг-шаттера
Помню, как однажды увидел фотографию выше на Flickr и сломал мозг, пытаясь понять, что с ней не так. Дело было в том, что пропеллер вращался в то время, когда датчик движения в камере «считывал показания», то есть во время экспозиции камеры происходило какое-то движение. Об этом действительно стоит подумать, давайте-ка подумаем вместе.
Многие современные цифровые камеры используют КМОП-матрицу в качестве своего «чувствительного» устройства, также известную как активный датчик пикселей, который работает путем накопления электронного заряда при падении на него света. По истечении определенного времени – времени экспозиции – заряд построчно перемещается обратно в камеру для дальнейшей обработки. После этого камера сканирует изображение, построчно сохраняя ряды пикселей. Изображение будет искажено, если во время съемки присутствовало хоть какое-то движение. Для иллюстрации представьте съемку вращающегося пропеллера. В анимациях ниже красная линия соответствует текущему положению считывания, и пропеллер продолжает вращаться по мере считывания. Часть под красной линией – это полученное изображение.
Первый пропеллер совершает 1/10 оборота во время экспозиции:
Подписывайтесь на каналы:
@Ontol — самые интересные тексты/видео всех времен и народов, влияющие на картину мира
@META LEARNING — где я делюсь своими самыми полезными находками про образование и роль ИТ/игр в образовании (а так же мыслями на эту тему Антона Макаренко, Сеймура Пейперта, Пола Грэма, Джозефа Ликлайдера, Алана Кея)
Изображение немного исказилось, но ничего критичного. Теперь пропеллер будет двигаться в 10 раз быстрее, совершая полное вращение за время экспозиции:
Это уже похоже на ту картинку, что мы видели в начале. Пять раз за экспозицию:
Это уже немного чересчур, так можно и с катушек съехать. Давайте повеселимся и проверим как будут выглядеть различные объекты при различных скоростях вращения за экспозицию.
Точно такой же пропеллер:
Пропеллер с большими лопастями:
Мы можем воспринимать эффект роллинг-шаттера как некое преобразование координат реального объекта из «объектного пространства» в «пространство изображения» искаженного объекта. Анимация ниже показывает, что происходит с Декартовой системой координат при увеличении числа оборотов. При малых оборотах деформация незначительна – число увеличивается до единицы, и каждая сторона системы координат последовательно перемещается в правую сторону изображения. Это довольно сложная трансформация для восприятия, но легкая в понимании.
Пусть изображение будет I(r,θ), реальный (вращающийся) объект будет f(r,θ), где (r,θ) — это 2D полярные координаты. Мы выбрали полярные координаты для этой задачи из-за вращательного движения объектов.
Объект вращается с угловой частотой ω, а шаттер перемещается по изображению со скоростью v по вертикали. В положении (r,θ) на картинке, дистанция, которую прошел шаттер с начала экспозиции, равна y=rsinθ, где прошедшее с этого момента время равно (rsinθ)/v. За это время объект повернулся на (ω/v)rsinθ) радианов. Итак, мы получаем
что и является требуемой трансформацией. Коэффициент ω/v пропорционален числу вращений за экспозицию и параметризует трансформацию.
Чтобы получить более глубокое представление об очевидных формах пропеллеров, мы можем рассмотреть объект, состоящий из P пропеллеров, где f является ненулевым только для
Эффект Rolling Shutter при съёмке видео
В цифровых камерах такой же эффект даёт и сам принцип построчного считывания изображения с CMOS-матрицы (CCD-матрица, используемая в телефонах и мыльницах, теоретически может формировать изображение одновременно для всех пикселей, чем может избежать искажения, но зато не может дать приемлемого качества изображения. Да и на практике все аппараты, которые я видел, в том числе и с CCD, тоже имели построчную организацию работы).
Это касается и зеркальных камер. То, что в них есть механический затвор, дела не меняет. Всё равно матрица функционирует построчно.
Вот первая иллюстрация:
Мы видим, что от момента считывания первой строки до считывания последней проходит определённое время, и за это время объект съёмки может переместиться. Например, человек быстро бежит, а фотоаппарат стоит неподвижно. Тогда, грубо говоря, сначала фотографируется шапка, потом голова, потом тело. а ноги уже давно убежали, пока до них дойдёт очередь. И человек на снимке выйдет наклонённым.
Собственно говоря, способов борьбы с такими искажениями в бытовых фотоаппаратах нет.
Можно только более-менее успешно обработать уже снятое с искажениями видео.
Для этого я использую замечательный бесплатный плагин стабилизации Deshaker для бесплатной же программы обработки видео VirtualDub.
Даже коммерческий софт (тот же MAGIX Video Deluxe, которым я пользуюсь для видеомонтажа), стабилизирует видео гораздо хуже (а YouTube вроде чуть получше, но он годится только для тех, кто прямо с телефона видео в сеть выкладывает).
Мораль сей басни такова: не двигайте фотоаппарат вправо-влево при съёмке видео. Если же панорамирование необходимо, то делайте это помедленнее.
Rolling shutter repair что это
Устранение эффекта плавающего затвора – Rolling Shutter Repair After Effects
Распространенной проблемой для цифровых зеркальных фотокамер и других камер на основе КМОП-сенсоров является то, что они обычно имеют задержку между сканированием строк видео. Из-за временной задержки между сканированиями не все части изображения записываются одновременно, что приводит к искажениям со сдвигом затвора. Эти искажения могут возникать при движении камеры или объекта.
Эффект «Устранение скользящего затвора» в After Effects можно использовать для удаления этих артефактов искажения.
После применения эффекта доступны следующие свойства:
Скорость скользящего затвора : указывает процентную частоту кадров, которая является временем сканирования. Кажется, что зеркалки находятся в диапазоне 50-70%, а iPhone — почти на 100%. Отрегулируйте скорость скользящего затвора, пока искаженные линии не станут вертикальными.
Направление сканирования : указывает направление сканирования рольставни. Большинство камер сканируют датчик сверху вниз. С помощью смартфона вы можете перевернуть или повернуть камеру, что потребует другого направления сканирования.
Метод : указывает, используются ли анализ оптического потока и повторная синхронизация движения пикселей для создания неискаженных кадров (Pixel Motion) или можно использовать метод разреженного отслеживания точек и деформации (Warp).
Подробный анализ : выполняет более подробный точечный анализ деформации. Доступно при использовании метода Warp.
Детализация движения пикселей : указывает, насколько детальным может быть вычисление векторного поля оптического потока. Доступно при использовании метода Pixel Motion.
Rolling Shutter (роллинг шаттер) в видеосъемке
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!