Prores raw что это
В iPhone 13 появится ProRes. Что это такое
С выходом iPhone 13 мы ожидаем не только множества нововведений, в том числе, обновленного чипа и свежей iOS 15, но и появления ProRes. Это удобный видеоформат, который сделает жизнь любителей записей на видеокамеру iPhone гораздо лучше. Он существует уже достаточно давно, но внедрение в iPhone — совершенно новый шаг в развитии индустрии видеозаписи. Объясняем, что это такое и зачем это нужно пользователям смартфонов от Apple.
Рассказываем, почему ProRes так нужен в iPhone 13
Что такое Apple ProRes
Будет здорово, если ProRes появится в iPhone 13
Apple ProRes — это видеоформат, который представили в 2007 году для программы Final Cut Pro. Можно подумать, что его основной плюс — это сохранение записей в отличном качестве и с сохранением максимального количества деталей и динамического диапазона. Да, этим может похвастаться новый формат. Но есть еще кое-что интересное. ProRaw и ProRes предназначены для редактирования. Видеоредакторы могут конвертировать отснятое видео в ProRes или аналог от Avid при импорте в Apple Final Cut Pro. Кроме того, записывать видео в таком формать можно будет прямо со смартфона, используя мощнейший потенциал камеры iPhone.
Зачем нужен ProRes
Съемка в ProRes позволит редактировать большие файлы с меньшей нагрузкой на процессор компьютера
Одна из причин, почему вам нужен ProRes — это то, что подобный формат будет намного лучше «перевариваться» процессором вашего компьютера — эта оптимизация приведет к тому, что редактирование станет проще, легче, чем при использовании того же H.264, в котором изначально записывает ваша камера. По слухам, Apple добавит новый формат во все iPhone 13 или только iPhone 13 Pro и Max. Одна из ключевых характеристик ProRes — это сжатый формат файла, который способен передать качество без потерь. У формата ProRes есть 6 стандартов качества, какой использовать — зависит от ваших приоритетов и целей.
Как использовать ProRes
Видео в стандартной кодировке H.264 и H.265 занимает меньше места, поскольку форматы предназначены для обеспечения добротного качества изображения при низкой скорости передачи данных. Именно эта кодировка делает файл неудобным, что приводит к большой нагрузке на процессор при редактировании. Особенно это мешает, если ноутбук староват и с трудом справляется с этими целями.
Лучше использовать ProRes во время редактирования перед тем, как конвертировать окончательный вариант в то, что пользователи будут смотреть на смартфонах или на телевизорах с USB-накопителя. Тем не менее, тот же YouTube поддерживает ProRes. Однако, при загрузке на этот сервис ProRes все равно превращается в привычный H.264.
По слухам, ProRes может появиться только в iPhone 13 Pro и Pro Max
Если Apple действительно сделает поддержку ProRes в iPhone 13, это сделает формат более популярным, чем когда-либо. ProRes известен среди людей, которые снимают и монтируют видео, но разобраться в этом простому человеку может быть сложно. Например, вы планируете снимать влог или стать популярным в TikTok — вы не планируете тратить очень много на оборудование или дорогое ПО для обработки видео. ProRes отлично подойдет для этого. Например, видеоредактор iMovie работает с этим форматом с 2014 года. Кстати, видео в ProRes поставляется в более понятном и знакомом формате MOV, который можно увидеть в конце имени файла.
Что такое ProRes Raw
У формата есть также более продвинутая версия — ProRes Raw. Он был представлен еще в 2018 году. Его основная фишка — это сжатие ProRes для захвата необработанного видео. По сути, это та же концепция: файлы меньшего размера, низкая нагрузка на процессор и видеопамять компьютера. Он удобен простотой использования в отличие от формата Cinema DNG.
ProRes Raw — это формат, который вы можете использовать с высококачественной беззеркальной камерой вместе с внешним устройством. Например, этот формат поддерживает дрон DJI Zenmuse X7. Использование этого формата позволяет редактировать видеозаписи в Adobe Premiere Pro, избежав перехода на Final Cut Pro. Не забудьте подписаться на наш Яндекс.Дзен — там пишем о том, о чем никто еще не знает!
ProRes Raw — продвинутая версия формата
Apple не стала делать чего-то совершенно нового — вы можете использовать привычные форматы для перекодирования в ProRes. Компания лишь убрала некоторые шаги из процесса обработки, упростив переход новичков для их же удобства. Избавившись от сжатия, появилась возможность избежать ухудшения качества изображения. Появление формата в iPhone — это признак доверия со стороны Apple, знак того, что смартфон стал больше, чем телефоном.
С точки зрения потребителей, появление формата в iPhone — это удобство использования и редактирования материала. С точки зрения остальных производителей — небольшая война форматов, ведь аналогов у производителей софта очень много. Однако, любой производитель программного обеспечения включит его в свой платный пакет, когда он станет популярен, а про свой собственный формат тихонько забудет.
А вы ждете ProRes в iPhone 13? Чем вам удобен этот формат? Расскажите в нашем Telegram-чате!
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Лонгриды для вас
Несмотря на то что Стив Джобс завещал ни в коем случае не слушать пользователей, современная Apple не брезгует тем, чтобы прислушаться к здравому мнению. В результате наши с вами идеи стали основой ключевых продуктов компании
Новые iPhone оказались почти такими же, как их рисовали утечки, но они не стали менее интересными. Apple уменьшила размер выемки, увеличила автономность смартфонов и серьёзно разогнала их начинку
Apple планирует оснастить iPhone 13 функцией спутниковой связи. Смартфон будет соединяться со спутниками с низкой околоземной орбиты и за счёт этого обеспечивать пользователям доступ к телефонным звонкам и SMS. Само собой, не бесплатно
Самая интересная «фишка» новых iPhone 13 Pro искусственно отключена в дешевых комплектациях
Apple запретила покупателям iPhone 13 Pro и Pro Max в младшей комплектации (на 128 ГБ) записывать 4К-видео в формате ProRes, то есть в наивысшем качестве и без сжатия. Это одна из главных особенностей моделей. Об этом ограничении Apple во время презентации сознательно не сказала, утаив также, что функция Cinematic Mode тоже не поддерживает 4К. Это еще одна основная особенность смартфонов.
За качество придется доплатить
Компания Apple заставит любителей снимать видеоролики на свои смартфоны переплачивать за топовые версии своих новых смартфонов iPhone 13. Как пишет портал ZDnet, в младших комплектациях iPhone 13 Pro и Pro Max со 128 ГБ памяти не будет поддержки формата ProRes при записи видео в 4К-разрешении.
ProRes – это особый видеоформат, существующий с 2007 г. и предназначенный для удобной обработки видеороликов в редакторе Final Cut Pro. Он позволяет сохранять записи без сжатия, что влияет как на итоговое качество самих роликов, так и на скорость его обработки процессором компьютера работе над ним редакторе.
Apple позиционирует поддержку ProRes как одно из не очень многочисленных достоинств iPhone 13 Pro и Pro Max (в сравнении с предыдущим поколением). Однако этой функции не будет в смартфонах в версии на 128 ГБ. Поддержка 4К-роликов в них сохранена, но они будут записываться с использованием обычных кодеков и со сжатием.
Запись в ProRes, как пишет портал WCCFTech, все же можно активировать на 128-гигабайтных Pro-смартфонах Apple. Но работать это будет лишь при записи роликов в формате Full HD и только на 30 кадрах в секунду.
Таким образом, младшие iPhone 13 Pro и Pro Max теряют одно из главных своих отличий от базовых iPhone 13 и 13 mini, в которых ProRes нет ни в одной из модификаций. Чтобы иметь возможность пользоваться всеми функциями камер, пользователям придется приобретать эти аппараты минимум с 256-гигабайтным накопителем.
В отечественной рознице iPhone 13 Pro на 128 ГБ стоит 100 тыс. руб., а на 256 ГБ – 110 тыс. руб. iPhone 13 Pro Max обойдется в 110 тыс. руб. и 120 тыс. руб. соответственно.
Apple все скрыла
Показ новых iPhone 13 состоялся 14 сентября 2021 г. Презентация всех новинок компании длилась около 80 минут, из которых порядка 20 минут компания уделила iPhone 13 и 13 Pro.
Однако во время официального анонса глава компании Тим Кук (Tim Cook) и другие участвовавшие в презентации сотрудники Apple ни разу не обмолвились о том, что в их Pro-смартфонах есть ограничения на работу одной из главных их функций. Обнаружить эту информацию можно лишь путем детального изучения спецификаций мобильников.
Причины, по которым Apple решила внедрить подобные ограничения, на момент публикации материала известны не были. Не исключено, что это связанно с особенностями записи в ProRes – такие файлы «весят» заметно больше в сравнении с аналогичными, записанными со сжатием. Напомним, что слота microSD в iPhone нет, и расширить при необходимости объем встроенной памяти не получится. Одновременно это может быть способом побудить покупателя приобрести не самую базовую модель iPhone 13 Pro.
Дополнительные ограничения
Еще одной особенностью iPhone 13 и 13 Pro стала функция Cinematic Mode, в России известная как «Киноэффект». Она позволяет быстро фокусироваться на разных объектах в кадре, как это часто делается в кинофильмах.
Apple посвятила «Киноэффекту» немалую часть презентации, но «забыла» сообщить, что эта функция не будет работать при съемке видео в 4К-формате. Это касается всех iPhone 13 Pro и Pro Max, вне зависимости от емкости накопителя, равно как и базовых iPhone 13 и 13 mini.
Данное новшество будет работать, если выставить в настройках видео разрешение Full HD и частоту кадров не выше 30 в секунду. Опять же, с чем связано данное ограничение, покрыто тайной.
Когда ждать
На российском рынке все смартфоны серии iPhone 13 появятся 24 сентября 2021 г, наряду с подавляющим большинством других стран, в которые Apple поставляет свою продукцию. Прием предзаказов начнется 22 сентября 2021 г.
С анонсом линейки iPhone 13 Apple сняла с продажи смартфоны iPhone 12 mini, 12 Pro и 12 Pro Max, а также долгожителя в лице iPhone Xr образца 2018 г. Таким образом, в ассортименте, помимо новинок, остались iPhone 11 и iPhone 12.
На момент публикации материала смартфоны iPhone 12 Pro и Pro Max все еще были доступны в ряде розничных сетей, но их количество стремительно сокращалось.
Вместе с новыми смартфонами Apple показала также смарт-часы Apple Watch Series 7, выполненные в том же стиле, что и Watch Series 1 образца 2014 г. Помимо них, в презентации участвовал обновленный классический iPad вместе с компактным iPad mini. На фоне всех других устройств он получил больше всех изменений, включая полностью новый дизайн и заметно увеличившийся в размерах экран. Оба планшета поступят в продажу в Россию 24 сентября 2021 г., а прием предзаказов на них откроется двумя днями ранее. Дата релиза Watch Series 7 пока не определена, но известно, что в магазинах они появятся до конца осени 2021 г.
Apple ProRAW: все особенности и нюансы формата
Довольно часто нас пугают вещи, в которых мы видим приставку «про». Мы думаем, что это сложно, для этого нужны специальные знания и всё в этом духе. Apple решила изменить представления многих людей и выпустила новый формат фото — ProRAW. Но нужен ли он простым людям, которые не стремятся быть фотографами и так ли с ним всё гладко? Мы перевели статью Бена Сандофски, разработчика приложения Halide, и во всём разобрались!
Мы делаем самое популярное приложение для iPhone, делающее снимки в RAW формате, поэтому, когда Apple представила новый формат изображений ProRAW, мы были безмерно взволнованы.
Затем она объявила, что скоро эта фича появится во встроенном приложение для камеры. Многие разработчики на нашем месте пришли бы в ужас, думая, что Apple хочет сожрать их клиентов. Мы просто запутались.
Apple создаёт продукты для максимально широкой аудитории, а RAW — это инструмент для фото-ботаников. Эти мощные файлы требуют навыков для редактирования и требуют значительных компромиссов. Зачем Apple хочет втиснуть сложную функцию в приложение, предназначенное для всех?
По мере того, как мы углублялись в ProRAW, мы поняли, что дело не только в том, чтобы сделать RAW более мощным. Речь идёт о том, чтобы сделать RAW доступным для всех пользователей. ProRAW вполне может изменить способ съёмки и редактирования фотографий, как новичков, так и экспертов.
Чтобы понять, что делает его таким особенным, в первой половине этой статьи объясняется, как цифровая камера проявляет фотографию. Затем мы переходим к объяснению сильных и слабых сторон традиционных RAW. Наконец, мы погрузимся в уникальность ProRAW, как онаменяет игру и расскажем несколько недостатков формата. Возьмите кофе, потому что это надолго.
Как работают цифровые камеры
Представьте, что вы смотрите на эту картинку через камеру.
Когда вы нажимаете кнопку затвора на своей камере, свет проходит через серию оптики и попадает на цифровой датчик, где и фиксируется.
Мы поговорим о трёх важных шагах, которые происходят, когда ваша камера преобразует значения сенсора в изображение.
Шаг 1. Демозаика
Ваш цифровой датчик поглощает свет и превращает его в числа. Чем больше света он видит, тем больше и выше число.
Я использовал чёрно-белый цвет не зря — цифровые датчики абсолютные дальтоники. В 1976 году умный инженер из Kodak нашёл решение: поместил сетку цветных фильтров поверх сенсора, чтобы каждый пиксель видел красный, зелёный или синий цвета.
Этот мозаичный узор называется «узором Байера» в честь его изобретателя Брюса Байера. При помощи установленного цветного фильтра, датчик теперь видит сетку чередующихся цветов. Давайте увеличим изображение листьев дерева и посмотрим, что видит датчик.
Каждый пиксель может быть красным, зеленым или синим. Мы находим настоящие цвета, просматривая каждый пиксель, изучая его соседей и угадывая два недостающих цвета. Этот решающий шаг известен как «демозаика» или «дебайеринг».
И это достаточно сложно. Сравните простой алгоритм с более качественным, и вы заметите такие проблемы, как фиолетовые полосы.
Посмотрите на камешки на снимке. Простой алгоритм немного более пиксельный.
Существует довольно много популярных алгоритмов демозаики, каждый из которых имеет свои сильные и слабые стороны. Идеальный алгоритм зависит от типа датчика, настроек вашей камеры и даже объекта съёмки. Например, если вы снимаете ночное небо, некоторые алгоритмы дают лучшие результаты для звёзд.
После демозаики у нас получается…
Это не здорово. Как видите, цвет и экспозиция отключены.
С вашей камерой всё в порядке. Как раз наоборот: ваша камера захватывает гораздо больше информации, чем может отобразить ваш экран. Мы должны снять эти показания датчика, который измеряет свет от вашей картинки, и преобразовать их в значения пикселей, которые освещают ваш дисплей.
Шаг 2. Преобразование от сцены к экрану
Начнём с цвета. На следующей диаграмме представлены все цвета, которые может видеть человек, а треугольник в середине охватывает то, что может отображать большинство экранов.
Когда ваша камера захватывает цвета за пределами треугольника, мы должны подталкивать и тянуть эти недопустимые цвета, чтобы они оказались в треугольнике.
Но одна деталь делает это особенно сложным: решить, какой белый является «истинным» белым. Если вы когда-либо покупали лампочки, вы знаете, что каждый белый свет в реальном мире имеет лёгкий желтый или синий оттенок. Наш мозг регулирует восприятие белого цвета на основе нашего окуржения. Это называется постоянством цвета, и именно поэтому оптическая иллюзия жёлто-синего платья вводит людей в заблуждение.
Современные камеры очень хорошо определяют точку белого в большинстве ситуаций. Итак, мы выбираем точку белого, проводим математические вычисления и в итоге получаем изображение с идеально сбалансированным белым цветом.
Это выглядит довольно похоже на то, что мы видели, но навес в верхней части кадра недоэкспонирован.
Давайте увеличим экспозицию, чтобы выделить детали…
К сожалению, теперь остальная часть изображения слишком яркая.
Техническое название этой проблемы — «динамический диапазон». Это диапазон света, который вы можете захватить или отобразить за один раз, от самого яркого света до самой тёмной тени. Вы часто слышите, что этот диапазон измеряется в «стопах».
Вы когда-нибудь видели такие термины, как «HDR» или «XDR»? «DR» в «HDR» означает динамический диапазон. Люди поднимают шум из-за этого. Это особенно сложная проблема в технике, потому что человеческий глаз невероятно хорош. Это, пожалуй, самая мощная камера в мире, поскольку она может видеть до 30 ступеней динамического диапазона. Большинство экранов могут отображать 8 ступеней. Цифровые камеры снимают до 15 ступеней. Когда мы пытаемся отобразить всю эту информацию на экране с более низким динамическим диапазоном, это будет выглядеть некорректно.
Обратите внимание, что на небе есть странное пятно голубого цвета, вызванное обрезанием одного из цветовых каналов.
Решение нашей проблемы динамического диапазона немного сложнее, чем создание теней и уменьшение яркости повсюду. Это сделало бы всё изображение плоским.
Вместо этого вы хотите затемнить и осветлить небольшие участки изображения. Пятьдесят лет назад фотографам требовалось несколько часов, чтобы настроить свои негативы с помощью процесса, называемого «уклонение и прожигание».
Сегодня это называется «местное тональное отображение».
На изображении справа применено мягкое отображение тонов. При этом наше изображение выглядит великолепно.
Давайте отправим его по электронной почте нашим друзьям… Ой, это 100 мегабайт. Изображение по-прежнему содержит все данные, которые мы не видим. К счастью, нам не нужны все эти данные сейчас, когда мы закончили редактирование.
Шаг 3. Оптимизация
В компьютерной графике, если вы используете больше бит, то ваши вычисления станут более точными. При редактировании нам нужно было использовать 64 бита на пиксель, чтобы получить хорошие результаты. Когда мы закончим редактирование, мы можем сократить его до 32 бит — уменьшив вдвое размер нашего файла — и никто не заметит разницы.
Затем мы можем выбросить большую часть информации о цвете. Это ещё сократит его размер вдвое.
Наконец, мы можем применить так называемое «сжатие с потерями» — то, что вы найдете в JPEG. В итоге мы получаем изображение размером всего 1,6 МБ, которым можно поделиться с друзьями.
Передохните и усвойте написанное выше. Как будете готовы — двигайтесь дальше.
Что такое RAW? Что в нём магического?
Мы только что проявили фото. Каждый шаг был разрушителен, то есть мы теряли информацию. Например, на шаге 2, если вы измените цвета так, чтобы они соответствовали тому треугольнику, то вы никогда не сможете определить исходные, реальные цвета.
Так что же происходит, когда совершаются ошибки? Вернёмся к недавним лесным пожарам в Калифорнии, сделавшим небо оранжевым. В то время я сделал фото с таблицей цветов, полагая, что когда-нибудь это пригодится.
В реальной жизни это выглядело так:
Встроенное приложение камеры смутило это оранжевое небо, и оно попыталось сделать всё нейтральным, ведь мир обычно выглядит так. Люди были сбиты с толку, обнаружив, что их камеры отказываются делать снимки мира таким, каким они его видят.
Многие использовали ручные настройки, чтобы отменить автоматический баланс белого в своей камере, но, допустим, вы этого не сделали. Я возьму этот неправильный JPEG в редактор изображений, например Lightroom, и попытаюсь сопоставить его с оригиналом, поправив баланс белого.
Обратите внимание, как он перепутал некоторые цвета, сменив синий на фиолетовый.
Пытаться отменить обработку уже обработанного изображения, такого как JPEG — всё равно что запечь торт заново. Когда ваша камера создаёт изображения в формате JPEG, лучше остановиться на картинке, которую вы уже имеете, потому что пути назад нет.
А теперь представьте, что вместо сохранения в формате JPEG ваша камера сохранила исходные значения датчика. Теперь вы можете сами принимать совершенно разные решения, например, о балансе белого. Вы получаете необработанные данные.
Добро пожаловать в файлы RAW.
Мы много писали о RAW. Мы любим это. Съёмка в формате RAW даёт вам волшебные силы. С помощью нескольких регуляторов вы можете восстановить фотографии, которые, как вы думали, были потеряны из-за плохой экспозиции.
До сих пор мы говорили только об ошибках, но RAW также даёт вам свободу экспериментировать с радикально разными вариантами художественного эффекта, позволяя проявлять фотографию так, как вы её «испытываете».
Помните старые плёночные фотоаппараты? Их фото тоже приходилось проявлять с негатива. Данные RAW обычно хранятся в формате файла DNG, который расшифровывается как Digital Negative. У некоторых производителей фотоаппаратов есть свои форматы, но эти компании — придурки.
DNG — это открытый стандарт, поэтому любой может создать программное обеспечение, которое читает и записывает файлы DNG. Лучше всего то, что формат файла продолжает развиваться, как мы вскоре увидим.
Во-первых, у нас плохие новости.
RAW-снимки хороши, пока вы их не получаете
Мы делаем приложение для камеры, которое делает снимки в формате RAW, поэтому мы, конечно же, поклонники RAW. Это также означает, что мы получаем множество писем в поддержку по этому поводу. Безусловно, наиболее частый вопрос: «Почему мои RAW-файлы выглядят хуже, чем снимки со встроенной камеры?».
Камеры iPhone со временем стали намного лучше. Сначала это были прорывы в аппаратном обеспечении: более качественные большие сенсоры и линзы позволяли делать более чёткие снимки. Однако со временем процессоры стали быстрее, а камеры больше не стали. Камеры стали умнее.
iPhone делает много фотографий и объединяет их в один снимок, выбирая детали в тенях с одной фотографии, правильную экспозицию на морде вашей собаки с другой и несколько других фото для получения дополнительных деталей. Это объединяется в окончательный результат за миллисекунды, не требуя каких-либо усилий с вашей стороны. Это очень умная штука с крутыми названиями вроде Smart HDR и Deep Fusion.
С другой стороны, файлы iPhone RAW — это всего лишь одно изображение. Это означает, что оно будет выглядеть совершенно по-другому.
Если вы переходите из встроенного приложения камеры iPhone, переключение на ручную обработку похоже на переключение с автоматической коробки передач на механическую коробку.
Это крутой скачок в развитии, именно поэтому мы встроили в наше последнее обновление нечто под названием «Instant RAW», чтобы вам не пришлось проводить день в редакторе изображений, настраивая снимок, чтобы получить хороший результат.
Но даже с Instant RAW и редактированием, иногда RAW-снимки всё равно выглядят иначе, чем то, что получается из встроенного приложения камеры, и это не имеет ничего общего с вашими навыками. В RAW отсутствует важный элемент головоломки: сообразительность Apple — вычислительная фотография, такая как Smart HDR и Deep Fusion.
Камера Apple работает с сериями фотографий, объединяя лучшие части каждого изображения. Размер каждого файла в формате RAW для iPhone составляет 12 МБ. Если вы хотите воспроизвести результаты камеры Apple с использованием одного из этих алгоритмов, вам понадобится в десять раз больше памяти.
Да, и есть ещё одна проблема: ни фронтальная камера, ни сверхширокоугольная камера не могут снимать RAW.
ProRAW элегантно решает все эти и многие другие проблемы. Наконец-то вы сможете сделать фото, сохранив при этом большую часть возможностей редактирования по сравнению с традиционными RAW.
Приступаем к ProRAW
Технически файла ProRAW не существует. Образы ProRAW представляют собой обычные файлы DNG, в которых используются некоторые малоизвестные функции, указанные в спецификации, и добавлено несколько новых.
Помните, что DNG — это открытый формат файла? Apple вместе с Adobe представила несколько новых тегов. DNG выпустила спецификацию 1.6 с подробностями об этих тегах в тот самый день, когда ProRAW вышла на публичное бета-тестирование.
Некоторых это может удивить: ProRAW не является закрытым или открытым форматом. Apple заслуживает похвалы за внесение своих улучшений в стандарт DNG. Когда вы снимаете с помощью ProRAW, ничто не связывает ваши фотографии с экосистемой Apple.
Давайте углубимся в то, что отличает файлы ProRAW от RAW прошлых дней.
Демозаика уже сделана
Формат ProRAW сохраняет значения пикселей после этапа демозаики. О том, зачем он это делает, мы поговорим чуть позже.
Просто важно понимать, что эти демозаичные цветовые значения по-прежнему представляют сцену, а не ваш дисплей. Они содержат весь исходный динамический диапазон. Они содержат все цвета вне диапазона. Они сохраняют всю гибкость работы с «настоящим» RAW. Они просто пропускают первый шаг.
Теоретически вы теряете гибкость в выборе конкретных алгоритмов демозаики. На практике большинство опытных фотографов не беспокоятся.
Также вполне возможно, что iOS может лучше справиться с демозаикой ваших изображений, чем любой сторонний редактор RAW. Самая большая сила Apple — это единство аппаратного и программного обеспечения, поэтому они точно знают, какой датчик вы используете, и как он себя ведет с различными настройками ISO. Теоретически, они могли бы даже применить распознавание изображений как часть процесса. Если iOS обнаружит ночное небо, она может автоматически выбрать подходящий для звёзд алгоритм демозаики.
Этот хитрый ход также даёт Apple больший контроль над матрицами изображения, которые они будут использовать в будущем. Ранее я говорил, что в большинстве камер используется шаблон Байера. Некоторые производители камер используют разные шаблоны, для которых требуются разные алгоритмы. Fujifilm изобрела датчик X-Trans, который создает более четкие изображения с большей зернистостью пленки. Есть даже цифровой датчик Foveon, который накладывает цветные фильтры друг на друга.
Apple теперь является компанией, которая разрабатывает собственный чипсет, и у неё это очень хорошо получается. Камеры являются огромным движущим фактором при покупке телефонов. Кажется неизбежным, что Apple будет внедрять инновации в области сенсоров. Переход на этап демозаики сгладил бы такой переход. Гипотетически говоря, они могли бы заменить свои текущие датчики байера на «Apple C1», и, пока он сохраняется в ProRAW, он будет работать с первого дня в каждом профессиональном фотографическом приложении, таком как Lightroom, не дожидаясь, пока Adobe напишет новый алгоритм демозаики.
Мы почувствовали вкус этих преимуществ, когда неожиданно выяснилось, что ProRAW доступна на всех четырёх камерах.
Раньше вы не могли снимать в формате RAW на фронтальную или сверхширокоугольную камеру. Apple расплывчато описывает технические ограничения, но указала, что даже если бы сторонние разработчики имели доступ к данным RAW, они не знали бы, что с ними делать. С ProRAW они могут справиться с раздражающими мелочами, а приложениям, например, редакторам, разрешить заниматься тем, в чём они лучше всего: редактированием.
Устранение разрыва в алгоритмах
Итак, теперь у нас есть данные, но как насчёт локального отображения тонов и других плюшек компьютерной фотографии? Apple могла бы открыть свои алгоритмы для сторонних приложений, но это не так полезно, как вы думаете. Для начала вам понадобится сохранить кучу файлов RAW. Мы вернемся к тому 100-мегабайтному файлу.
Я также думаю, что по мере развития этих алгоритмов возникают разумные вопросы о получении согласованных результатов в будущем. Было бы удивительно вернуться к фотографии через год, чтобы обнаружить, что ИИ Apple даёт другие результаты.
Вместо этого ProRAW сохраняет результаты компьютерной фотографии прямо в RAW. Это ещё одна причина, по которой им необходимо хранить данные с демозаикой, поскольку эти алгоритмы работают с цветом, а не с данными RAW. Как только вы сделаете демозаику, пути назад нет. Как бы вы это назвали, ремозаиком?
Smart HDR делает это наименее разрушительным образом. Apple работала с Adobe, чтобы ввести новый тип тега в стандарт DNG, названный «Profile Gain Table Map». Эти данные дают вашему редактору все, что ему нужно знать, чтобы настроить тональную карту вашего фотоизображения и получить результаты, идентичные исходному изображению. Поскольку это отдельные данные, вы можете уменьшить их силу или полностью отключить. Это то, что мы делаем в Halide, когда вы смотрите изображение ProRAW с отключенным Instant RAW.
Даже если вы откажетесь от локального отображения тонов, теперь у вас есть базовые данные HDR, с которыми можно работать в редакторе, и результаты будут…
Shadow recovery on a ProRAW shot taken with the latest Halide beta.
Deep Fusion — это совсем другая история, техническая цель которой «снижение шума при слабом освещении». В отличие от Gain Table Maps, нет элегантного способа отделить его эффекты от окончательного изображения. Если вы не хотите Deep Fusion, ваш единственный вариант — отказаться от этого процесса во время захвата.
Если вы какое-то время читали наши статьи, то знаете, что мы фанаты естественного шума. До Deep Fusion файлы JPEG в iPhone были печально известны своими «эффектами акварели». На этом изображении, которое я сделал несколько лет назад, я заметил, что лица превращаются в ничто.
Deep Fusion дает очень разные результаты. Вместо того, чтобы просто размазывать изображение, он объединяет несколько результатов, чтобы как бы «усреднить» их. Это выглядит намного естественнее.
Если вы не являетесь поклонником Deep Fusion, есть API, от которого тоже можно отказаться. Мы делаем это в Halide в настройках захвата. Когда я писал эту статью, я понял, что этот переключатель упрощает проведение эксперимента…
Я использовал прожектор, чтобы создать сцену с расширенным динамическим диапазоном в моём офисе.
Я измерил две серые карты и измерил разницу в 8,3 ступени. Затем я экспонировал снимок, используя верхнюю серую карту, и сделал три фотографии:
2) ProRAW с отключенной интеллектуальной обработкой;
3) ProRAW с включенной интеллектуальной обработкой.
Я взял их в Lightroom и усилил тени. Давайте увеличим изображение тестового шаблона.
Если вам интересно, какие настройки камеры я использовал для этого, ответ будет немного сложным. Когда вы включаете эти алгоритмы, iPhone игнорирует ручные настройки экспозиции. В конце концов, Deep Fusion делает несколько снимков с множеством настроек. Хотя метаданные, встроенные в окончательное изображение, сообщают об ISO 40, маловероятно, что все фотографии в серии имели этот параметр.
Как видите, отключив эту интеллектуальную обработку в Halide, мы всё равно можем пропустить большую часть шумоподавления в наших файлах ProRAW, если мы того пожелаем.
Такие синтетические тесты, конечно, хороши, но как насчет реального мира?
Себастьян провел последние несколько недель, тестируя ProRAW в полевых условиях с бета-версией Halide. Он нашёл динамический диапазон в ProRAW довольно умопомрачительным в повседневном процессе редактирования:
Подключаем семантические карты
У ProRAW есть ещё один сюрприз. Несколько лет назад Apple начала использовать нейронные сети для обнаружения интересных частей изображения, таких как глаза и волосы. Apple использует это, например, чтобы добавить резкости только облакам в небе.
Файлы ProRAW содержат эти карты! Обе семантические карты, используемые на лицах, и подложки с портретным эффектом, обеспечивающие размытие фона в портретном режиме.
Гибкость в размере файла
Сохраняя демозаизированные значения, ProRAW также может справиться с громоздкими размерами файлов несколькими интересными способами. Это действительно важно, потому что когда вы снимаете ProRAW с помощью специального приложения для камеры, каждый файл имеет размер около 25 МБ — и может стать ещё тяжелее. Это на порядок больше, чем обычное фото.
Во-первых, мы можем повозиться с битовой глубиной. По умолчанию ProRAW использует 12-битные данные, что может оказаться излишним. JPEG имеет только 8 бит на канал цвета, поэтому переход на 10 бит означает в 4 раза большую точность редактирования. Хотя собственное приложение камеры не предоставляет эту опцию, она есть в API. Мы добавили его в Halide и увидели, что файлы падают до 8 МБ. На практике вы можете получить большинство преимуществ ProRAW при половинном размере файла.
Если вы хотите еще больше уменьшить размер файла, ProRAW предлагает сжатие с потерями, которое может уменьшить размер этих файлов до 1 МБ, но не так быстро. Эти API-интерфейсы сжатия в настоящее время снижают битовую глубину до 8 бит. На наш взгляд, это слишком большой компромисс, поскольку он оставляет вам файл, который лишь ненамного лучше, чем JPEG. Мы уверены, что сжатие ProRAW запутает пользователей, поэтому мы пока отложили поддержку сжатия. К счастью, команда разработчиков камеры Apple очень быстро работает над ProRAW, поэтому мы надеемся, что 10-битное сжатие не за горами.
Наконец, оказывается, что каждый файл ProRAW может также содержать полностью обработанную версию JPEG. Это резервный образ для приложений, которые не распознают RAW, а это большинство приложений. Даже Instagram. Основная камера не предлагает этого, а это означает, что вы не можете делиться снимками ProRAW, сделанными с её помощью, в приложениях, которые не поддерживают изображения формата RAW. Мы добавили эту опцию в Halide.
Если вы планируете редактировать изображение, имеет смысл отказаться от изображений размером 4 МБ. Ваше приложение для редактирования RAW проигнорирует его и в конечном итоге создаст новый JPEG для вашего Instagram.
Всё в комплекте
Самым недооцененным улучшением в iOS 14.3 является то, что собственное приложение «Фото» теперь поддерживает редактирование RAW. Не нужно возиться с «чёрной точкой» и «цветовыми профилями». Обычным пользователям, которые умеют редактировать фотографии только во встроенных приложениях, ничего другого делать не нужно.
Это очень важно, потому что сторонним фоторедакторам потребуется некоторое время, чтобы принять эти новые метаданные. До тех пор файлы ProRAW не будут выглядеть как системные файлы JPEG. Сравните результаты, просматриваемые в Lightroom CC и Photos.app.
Это выглядит неправильно и странно, потому что Lightroom ещё не обнаруживает метаданные локального отображения тонов. Однако, учитывая то, что Adobe участвовала в разработке этих тегов, мы можем ожидать обновления в ближайшем будущем.
Что касается других редакторов iOS, Apple обновила свои фреймворки обработки RAW для поддержки этих новых тегов. По большей части он «просто работает», так что вы найдёте ProRAWs правильно отображаемым в фотогалерее Halide. Вы можете включать и выключать отображение тонов с помощью кнопки Instant RAW.
Тем не менее, не все метаданные доступны в фреймворкам Apple. Они даже не говорят вам, является ли DNG исходным RAW или ProRAW. Мы уверены, что это просто вопрос нехватки времени. Они запустили это за две недели до Рождества, так что до неё просто не дошли руки.
Чтобы обойти это, мы создали собственный проприетарный парсер DNG, который мы называем Dingus.
Dingus позволяет нам опрашивать низкоуровневые теги в DNG, которые ещё не представлены Apple. Мы используем это, чтобы раскрыть битовую глубину и тип RAW в нашем обозревателе метаданных, но он также будет полезен для того, чтобы изучать внутренности ProRAW.
Идеален ли ProRAW?
ProRAW — это шаг вперёд для всех, но особенно он будет полезен для начинающих фотографов.
Если вы ничего не знаете о RAW, но хотите большей гибкости при редактировании, снимайте в ProRAW. Для настоящих профессионалов решение немного более тонкое. Иногда вам нужно вернуться к обычному RAW.
Во-первых, ProRAW доступна только на iPhone уровня «Pro». Несмотря на обычные теории заговора, Apple не просто немного меняет программное обеспечение, чтобы заставить вас тратить больше.
В прошлом эти алгоритмы выполняли свои вычисления с более низкой битовой глубиной, потому что их результатом был простой JPEG с низкой битовой глубиной. Для вывода изображений с более высокой битовой глубиной требуется вдвое больше памяти. У iPhone 12 Pro от Apple намного больше памяти, чем у других моделей, и ProRAW нуждается в этом. Вот так просто.
Встроенная камера iPhone отлично скрывает это, очевидно, обрабатывая каждую фотографию в фоновом режиме в очереди. Однако мы обнаружили срыв затвора после трех последовательных снимков.
ProRAW не скоро перейдёт в режим серийной съемки. Это усложняет ситуацию, если вы освещаете спорт или у вас есть маленькие дети, которые отказываются стоять на месте, или если вы фотограф-портретист, который делает сотни фотографий за один сеанс. Есть шанс, что вы пропустите идеальный снимок.
В Halide мы решили придерживаться консервативного подхода при запуске и позволяем делать только одну фотографию за раз.
Следующая проблема, которую мы обнаружили, — это резкость и снижение шума. Нет идеального слияния нескольких фотографий. Если вам нужны самые резкие изображения с естественным шумом, и вы не планируете усиливать тени, вы можете обнаружить, что «родной» RAW всё ещё лучше для этого подходит.
В полевых условиях мы часто обнаруживали, что в некоторых условиях вы всё же можете получить больше деталей в снимке с помощью обычного файла RAW с шумами.
Следующее — это размер файла. 12-битный формат ProRAW составляет 25 МБ, а 12-битный RAW — всего около 12 МБ. Поэтому кнопка RAW в приложении камеры по умолчанию выключена. Обычный фотограф может оставить RAW включенным всё время и за полдень съесть своё хранилище iCloud.
Наконец, совместимость. Приложения должны быть обновлены для поддержки файлов DNG.
И хотя Apple проделала потрясающую работу по поддержке разработки ProRAW в своей собственной экосистеме (просто перейдите в приложение Apple Photos, нажмите кнопку «Редактировать», и вы сможете редактировать ProRAW так же, как редактируете файл JPEG), спецификация DNG обновилась только месяц назад, поэтому неизвестно, сколько времени понадобится вашим любимым сторонним редакторам RAW, чтобы заработали новые теги.
Если вы уже знаете, как создавать файлы RAW, вы можете обнаружить, что исходные файлы RAW дают вам больше возможностей.