Reality capture что это
RealityCapture — практический опыт отображения реальности
Архитекторы обычно зарабатывают на жизнь проектированием зданий, городских территорий, интерьеров, дизайном … Хотя за рождение наших произведений в основном возлагается ответственность творческий, умственный процесс, фундаментальная особенность архитектуры заключается в том, что спроектированные объекты (в большинстве случаев) настоящие работы в реальной среде.
Одним из основных параметров качества хорошей архитектуры (городского дизайна) является гармония конечного объекта работы с окружающей средой.
Архитектура, не относящаяся к окружающей среде, также не будет работать на практике.
Невозможно сделать ни хороший дизайн, ни физическую реализацию работы без глубокого понимания местности и ее морфологии.
Наша работа в основном заключается в работе с разными доступными материалами. Карты, топография, высота … Начальная точка, ее форма и другие необходимые данные постоянно добавляются. Либо сами, либо через внешние организации. В результате мы получаем разнообразную коллекцию материалов.
В конце концов, мы делаем окончательную основу для проектирования на основе разнородного спектра информации и данных. Иногда бывает достаточно двухмерных документов. Однако с более сложной информацией мы получаем только трехмерную модель.
Эта стандартная процедура довольно сложна. Требует времени и финансов. Оптимизация сбора данных — ключевой элемент повышения эффективности всего процесса проектирования и проектирования.
Можно ли более простым способом получить наглядное изображение состояния сюжета и его особой формы, включая поверхности и фактуру?
Можем ли мы создать достоверную модель исходной реальности, с которой мы позже сможем работать со стандартными архитектурными частями программного обеспечения? Ответ положительный. Один из вариантов — RealityCapture.
Дополнительным сюрпризом является то, что создателем этого инструмента является не какой-нибудь «мировой софтверный гигант», а авторское ядро состоит из группы умелых математиков из Словакии. Мы были очень очарованы их продуктом.
Мы считаем RealityCapture лучшей программой из области фотограмметрии для приложений (не только) в архитектуре, городском дизайне и дизайне.
В нашей студии мы часто сталкиваемся с задачами, требующими нестандартного подхода. Примером может служить концепция нового строительства в сложном месте пропуска (историческая часть города) или городские территории, вписывающиеся в сложную местность. В таких случаях обычное измерение является существенным приближением к реальности. Проверка концепции в трехмерном пространстве становится почти необходимостью.
(Не только) по этой причине у нас возникла идея использования фотограмметрии, которая значительно упростит процесс создания, позволит работать быстрее и эффективнее. Однако заманчивое на первый взгляд решение сопряжено с множеством трудностей. Поэтому с радостью поделюсь своим практическим опытом.
Достаточно ли ОБЫЧНОГО ОБОРУДОВАНИЯ?
В принципе да. «Сканируя» детали интерьера или конструкции, вы можете управлять с помощью обычной камеры или хорошего датчика в мобильном телефоне. При достаточном количестве снимков результат может быть на удивление хорошим. Для создания моделей более обширных сцен, сюжетов или ландшафта (здесь я вижу самые большие преимущества технологий для нашей практики), аэрофотосъемка практически обязательна. В данном случае меня особенно интересует удобство использования типичного «потребительского» дрона (DJI Phantom 3 SE). Поскольку устройство значительно ограничено в автономных режимах полета, я оставался с ручной пилотажной работой с таймером автоспуска, установленным на интервалы 3–3 секунды. Способно ли программное обеспечение обрабатывать группу фотографий из «случайной» позиции или вам нужен сложный план полета, обеспечивающий упорядоченные изображения в хорошо организованном виде?
Примечание. В профессиональных решениях фотографии часто сочетаются с лазерным сканированием. В этой статье я остановился на наиболее распространенных из них.
DJI Phantom 3 SE как инструмент для аэрофотосъемки. Его встроенная камера имеет сенсор с разрешением 12 мегапикселей. Для создания пробных сцен были использованы фотографии, сделанные за один взлет (емкость аккумулятора сокращает время полета примерно до 20 минут). Автоматическая настройка камеры означает, что в солнечные дни снимки будут сильно переэкспонированы.
Примечание: фотосъемку уместно производить в условиях без резких теней.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
Здесь я относительно ясно. Я перепробовал множество решений, в том числе пакеты (для архитекторов) от известных компаний. Результат для этой конкретной цели всегда был неубедительным или непригодным для использования. Расчет занял уйму времени. Я считаю, что эти случаи не нужно иллюстрировать какими-либо примерами.
Что хорошо поработало? Часть программного обеспечения с характерным названием RealityCapture, над которой работает словацкая команда разработчиков программного обеспечения. Первое, что привлекло мое внимание, это время обработки фотографий. На создание представленной модели ушло чуть больше получаса.
АППАРАТНЫЕ ТРЕБОВАНИЯ
ЧТО ДАЛЬШЕ? МОЖЕТ ЛИ ТАКАЯ МОДЕЛЬ ЗАМЕНИТЬ ИЗМЕРЕНИЕ?
Да, это. Окрестности становятся намного четче, мне не нужно дополнительно выделять точки, расположенные на плане. Экспортированная модель соответствует реальному масштабу. Я могу работать с моделью и дальше.
СТОИТ ЛИ ОНО ТОГО?
Определенно. Как я уже писал, это не просто мощный инструмент, который может помочь в создании и последующей проверке взаимосвязей в трехмерной среде. Сила фотограмметрии заключается еще и в возможности наглядной презентации дизайна заказчику. Как здание впишется в структуру города? Как будет выглядеть линия горизонта издалека? Впишется ли фасад в линию улиц? На эти, а также на многие другие вопросы можно ответить уже на этапе проектирования.
Вопросы фотограмметрии и ее практического использования в наших творениях — действительно обширная тема. Эту статью следует рассматривать как краткое введение, резюме некоторых наблюдений. Мы вернемся к этой теме в серии следующих статей.
PS: Во время тестирования (3 октября 2019 г.) мы обрадовались новостью о том, что компания Capturing Reality получила словацкий технологический «Оскар» в категории IT NEO в соответствии с признанием IT GALA. Награда, также после нашего опыта тестирования, безусловно, заслуженная. Поздравляю.
PPS: Наши аппаратные расчеты проводились на оборудовании HP.
(Надеюсь) всё, что нужно знать о фотограмметрии
В моих предыдущих статьях я всегда пропускал введение в фотограмметрию, потому что существует множество ознакомительных инструкций. Однако недавно я заметил, что большинство из них не рассматривает подробно, как нужно правильно снимать изображения. Поэтому я решил создать собственное руководство обо всём, что знаю в фотограмметрии.
Эта статья предназначена для следующих категорий пользователей:
Выражаю особую благодарность Югославу Пендичу (Jugoslav Pendić) за редактирование и дополнение этой статьи. Ещё я благодарю команду, занимающуюся 3D-сканированием, за ликвидацию пробелов в моих знаниях.
Что такое фотограмметрия?
Если вы читаете эту статью, то, надеюсь, вы уже знаете, что такое фотограмметрия. Если вкратце, то это процесс создания 3D-моделей из нескольких изображений одного объекта, сфотографированного с разных углов.
Хотя эта техника совсем не нова, она намного старее современного процесса, и она широко использовалась в картографии и геодезии. Она стала более популярной благодаря доступности из-за увеличения мощности компьютеров, что позволило ей распространиться в другие области, такие как видеоэффекты и разработка игр.
Если вы хотите быстро ознакомиться с началами фотограмметрии, рекомендую изучить следующие материалы:
Программное обеспечение
Существует множество программ для фотограмметрии, которые можно использовать для обработки снятых изображений. Обычно все они дают достаточно хорошие результаты. Однако одни приложения могут иметь преимущества в некоторых областях. Но всё-таки стоит заметить, что хотя правила съёмки фотографий и одинаковы для всего ПО, существуют специфические для разных приложений рекомендации, потому что каждая программа обрабатывает данные по-своему. Эти рекомендации позволяют полностью использовать возможности ПО, и я советую потратить время на ознакомление с ними.
Например, из-за медленности вычислений в Agisoft вы можете стремиться записать в одно изображение как можно деталей. А Reality Capture стремится отфильтровывать эти фоновые детали, потому что они могут вносить шум. Однако Reality Capture быстрее, поэтому для неё можно просто сделать больше фотографий.
И ещё одно примечание: все описания основаны на моём личном опыте работы с этим ПО, который может отличаться от вашего. Рекомендую изучить эти варианты ПО (или другие) и самостоятельно сделать выбор.
Есть также пакет SuRe, который интересен тем, что даже работа с ним многому вас учит — у него есть GUI (самые первые версии работали только с командной строкой) и авторы очень открыто рассказывают о том, что они предлагают. Тем не менее, SuRe почти полностью направлена на использование с камерами большого формата, авторы продают свой код для включения в более удобное пользователям окружение. В SuRe даже нет этапа «выстраивания», он полагается на данные, экспортированные из Pix4D, Agisoft или других продуктов. Он имеет преимущество в скорости генерирования плотных облаков точек и удивительно точно текстурирует модели, но невероятно жаден до ОЗУ, даже больше, чем Agisoft. Кроме того, создаваемые им модели (сетки) имеют потрясающую детализацию, однако с ними сложно работать, если у вас нет мощного компьютера. Пакет не бесплатен, но связавшись с авторами, можно получить его для использования в научных целях.
Компьютер
Требования к компьютеру зависят от выбранного ПО, однако с помощью исследований и экспериментов я выяснил, что для большинства пакетов рекомендуемыми минимальными требованиями являются следующие:
Оборудование
При работе с фотограмметрией обычно используются следующие инструменты:
В качестве высокоточного устройства позиционирования используется мобильное устройство DGPS (differential GPS) или тахеометр. Это в основном относится к использованию дронов для разметки рельефа и в геодезии. Три точки — это самый минимум, возможно, вам понадобится больше. Они располагаются таким образом, чтобы точки равномерно распределялись по всей документируемой области, а несколько находилось в центре. Этого очень сложно добиться на месте съёмки, и обычно такой подход используется в проектах с большим финансированием. Определение масштаба здесь не является проблемой, но позиционирование при геодезических работах означает, что из окончательного результата получаются планы, анализы или средства контроля. Т.е. обычно они будут использоваться в рабочем пространстве GIS.
Инструкции
В этом разделе содержатся общие советы по правильной съёмке изображения и о том, на что стоит обратить внимание.
Во-первых, прочитайте великолепную статью Искусство фотограмметрии: как делать снимки, в ней очень хорошо всё объяснено.
Во-вторых, вот общие советы, полученные с форумов по Reality Capture, от 3D Scanning User Group и из личного опыта.
В-четвёртых, всегда следует с самого начала определяться с целевых разрешением. На самом деле, вам может понадобиться не такое большое разрешение, как вы думаете, что сэкономит время обработки. Разрешение зависит от параметров обработки, разрешения изображений и количества фотографий. Всё это можно и нужно иметь в виду. При сканировании камней для игры, чтобы получить модели высокого разрешения может хватить 20 снимков, в особенности если поверх отсканированной тестуры наложить процедурную текстуру с деталями. Если вы сканируете замок, вам тоже может не понадобиться большое разрешение. Просто отсканируйте замок в низком разрешении, выберите ключевые повторяющиеся элементы и отсканируйте их в высоком разрешении. Затем сгенерируйте остальное. Может возникнуть и противоположная ситуация: потребуется 500 снимков для сканирования одного камешка.
Чаще всего вам не понадобится режим Ultra High Settings в Agisoft или High settings в Reality Capture.
Практика
Теперь, когда вы кое-что знаете о фотограмметрии, вот несколько интересных примеров, которые стоит попробовать:
Другие способы сканирования
Следует знать, что фотограмметрия — не решение всех задач. Существуют другие способы сканирования, в некоторых случаях срабатывающие лучше.
Заключение
Приступайте к работе, не сомневайтесь, постоянно практикуйтесь и пробуйте сканировать любым доступным оборудованием.
Если вы прочитали эту статью и все остальные, на которые я ссылался, и теперь не знаете, что ещё можно изучить, то прочитайте мою статью «Процесс создания готовых игровых текстур и ресурсов с помощью фотограмметрии». Также можно прочитать другие мои статьи на веб-сайте моей игры World Void на странице Devlog.
Если у вас есть вопросы, или вы считаете, что я что-то упустил, то свяжитесь со мной в Твиттере: @JosephRAzzam.
Фотограмметрия, 3д сканирование и всё что с этим
Сообщество о фотограмметрии, трекинге, компьютерном зрении, вселенной и всём таком.
Reality Capture, Metashape, Meshroom, Zephyr 3d, Context Capture, Pix4d,
etc.
Фотограмметрия, 3д сканирование и всё что с этим запись закреплена
Константин Шавров
Скан колокольни церкви Михаила Архангела в Михайловском.
#Meshroom #UnrealEngine
Руслан Макиев запись закреплена
Руслан Макиев запись закреплена
Константин Шавров запись закреплена
Hello! Here is the pre-release of the upcoming version of
RealityCapture 1.2.0. 16575 Tarasque :
https://cdn.capturingreality.com/data/PreReleases/Rea..
Показать полностью.
Highlights:
Calculation of volume and area for arbitrary shapes.
Users can now create custom height profiles.
Contour lines computation and export.
BETA: Orthomosaic rendering method along with advanced mosaic editing tools.
Faster depth-maps calculation (even 2x+).
BETA: Now possible to detect and fix misaligned cameras within Inspect tool.
Now possible to create and export cross sections of the models.
Ribbon improvements and color cursors auto-detection for more intuitive and smoother user experience.
IMPORTANT NOTES:
Projects created and/or saved in this version cannot be opened in the previous versions of RealityCapture.
This is a pre-release of the upcoming version of RealityCapture. Although this version has been extensively tested, it may contain bugs. Please report any bugs you may find. We will be also glad for any feedback and comments.
Выпущено обновление RealityCapture 1.1.
Выпущенный в далёком 2016 году RealityCapture генерирует точную сетку реальных объектов, от людей и различного реквизита до завершённого окружения. Софт способен обрабатывать очень большие смешанные наборы данных даже на ноутбуках и оборудовании низкого уровня.
Софт широко используется в индустрии развлечений для создания ресурсов для использования в играх и различных проектах VFX, помимо этого используется в аэросъёмке и городском планировании.
RealityCapture 1.1 получил поддержку журналов полётов дронов, новые функции для аэросъёмки, что резко сокращает объём работы, необходимой в полевых условиях и время обработки в RealityCapture, а также имеется возможность проверки точности положения отдельных камер.
Имеется также возможность экспортировать 3D данные непосредственно из RealityCapture на онлайн платформу геопространственных данных Cesium ion, что позволяет просматривать и публиковать 3D модели гораздо большего размера. Помимо этого была добавлена поддержка собственных форматов файлов ZFS и ZFRJ.
RealityCapture 1.0.3.9303 доступен для Windows 7 и выше и Windows Server 2008 и выше. Софт основан на CUDA, для его работы понадобится соответствующий графический процессор Nvidia. Стоимость бессрочной лицензии Enterprise 15000 евро, стоимость подписки от 249 евро в месяц.
Петр Решавский (Пионер) Чет я вообще не понимаю от куда такая цена за полную лицензию берется. Да и за месяц ценник просто конский, если не ошибаюсь там еще и ограничения есть.
Борис Кулагин (Boris Kulagin)
Я вообще-то просто констатировал факт, но как обычно вызвал дух GNU 🙂
Shiva
Бесплатных аналогов этому софту нету. Более того скажу, по скорости и качеству, даже платных аналогов этому софту нету. ))
Петр Решавский (Пионер) платный импорт моделей в зависимости от полигонажа.
Вот кстати пример модели за
Петр Решавский (Пионер)
При том, что подобную финансовую систему можно прикрутить к любому софту, и случиться это или нет, зависит от успешности подобной системы.
Soft отличный и быстрый. Время когда он стоил 50$ прошло 🙁
Andrey Karpov (tasheal1) Soft отличный и быстрый. Время когда он стоил 50$ прошло 🙁
Как отсканировать за́мок (почти) бесплатно
Введение
Для игры World Void нам понадобилось портировать в Unreal Engine 4 исторический памятник. Моей задачей было сканирование замка. Я ожидал финансирования, которое всё задерживалось, поэтому решил наконец просто взять и сделать всё самостоятельно, без денег, и у меня получилось — я отсканировал замок! Прошло уже несколько месяцев, а я до сих пор в восторге! В этой статье я расскажу, как мне это удалось. Но сначала я хочу поблагодарить Милоша Лукача, Джеффри Иэна Уилсона и 3D Scanning User Group, без которых это бы оказалось невозможным.
Что такое фотограмметрия?
Если вкратце, то фотограмметрия — это процесс создания 3D-моделей из нескольких фотоснимков одного объекта, сделанных под разными углами.
Я не буду рассматривать трёхмерное сканирование объектов, эта тема уже достаточно освещена.
Если вы хотите начать осваивать фотограмметрию, то рекомендую это короткое видео Джеймса Кэнди с YouTube. Хоть в нём и упоминается Agisoft Photoscan, рассмотренные концепции сработают в любом другом ПО для фотограмметрии. Можно также изучить Руководство по фотограмметрии для бедных.
В своём рабочем процессе фотограмметрию используют очень многие художники, её применяли для демо Kite компании Epic games, в Star Wars Battlefront и бесконечном числе других проектов. Однако большинство этих студий сканировало камни и деревья. Epic games написала пост о том, как создавались ресурсы для демо с открытым миром. Сотрудники компании даже написали пост о выборе оборудования и ещё один, описывающий процесс устранения освещения. Крайне рекомендую прочитать эти посты, если вы ещё их не видели.
Сложности
При сканировании такого большого объекта, как замок, не следует забывать о следующих сложностях:
Изучи свою цель (предварительное планирование)
Я работаю в историческом памятнике Библ, городе в Ливане, который был населён более десяти тысяч лет. Однако сам замок датируется 12 веком. Это относительно небольшой замок по сравнению с более новыми, построенными в некоторых европейских странах, однако каждая стена этого замка создана из высокодетализированной каменной кладки, отшлифованной самим временем.
Под изучением цели я подразумеваю, что нужно зарисовать на бумаге виды сверху и сбоку, разбить их на несколько элементов, выбрать порядок выполнения съёмки и выделить те области, в которых нужно сделать больше снимков.
Кроме того, при сканировании накапливаются ошибки, что приводит к созданию смещённой геометрии, поэтому нужно всегда делать полный набор круговых снимков объекта, чтобы сканы автоматически корректировались. Открытая геометрия может быть неточной.
Также я воспользовался возможностью и сделал со стен замка множество снимков окружающей местности, что позволило добавить в скан ландшафт.
Подсказка: не делайте несколько изображений под разными углами с одной точки (панорамные изображения). Чаще всего это приводит к нежелательным ошибкам.
Полезный способ сканирования небольших туннелей, в которых из-за ограниченного пространства сложно делать снимки со всех углов: шагайте по прямой, и на каждом шаге делайте снимок направленной вперёд камерой. Эта техника даёт меньшее разрешение, но его может оказаться вполне достаточно.
Очень высока вероятность того, что при сканировании вы пропустите несколько ракурсов и снимки будут недостаточно накладываться друг на друга, что приведёт к появлению в скане областей с низким разрешением, так что я крайне рекомендую проверять результат на месте. ПО для 3D-сканирования Reality Capture, например, может проверить перекрытие огромного количества изображений на ноутбуке всего за несколько минут. Это невероятно полезно — оно даст вам понять, в каких областях нужно больше изображений.
Белыми точками обозначены места, из которых сделаны снимки. Синие точки — это добавленные вручную геодезические пункты, помогающие связать некоторые элементы, которые ПО не может связать автоматически. Заметьте, что на крыше замка есть множество геодезических точек, и это нормально, потому что у меня не было дрона и я не мог сделать достаточное количество снимков крыши. К счастью, мне удалось привязать их вручную, что для больших замков может оказаться невозможным. Всего ПО выполнило привязку 4000 фотографий.
Что вам понадобится?
Если вы стремитесь как можно больше сэкономить, то вот, что вам нужно:
Что я не использовал
Программное обеспечение
Я протестировал кучу фотограмметрического ПО, и любые из перечисленных ниже пакетов достойно справляются с небольшими сканами, но мне нужно было обрабатывтаь большие объёмы данных (4000 фотографий разрешением 24 мегапикселя).
Затраты
Это интересная часть. Камеру я позаимствовал, ПО было бесплатным, однако мне всё равно нужно было обработать скан, потому что мой ноутбук с этим не справился бы. Здесь мне помог Милош Лукач, он предложил обработать данные на своём компьютере, и моя благодарность не знает границ. Он помог мне и в процессе привязки данных, показал пару хитростей для исправления некоторых моих ошибок, свойственных новичкам. В результате, мне пришлось потратиться только на штатив, монопод и SD-карту, что в сумме составило 70 долларов + доставка. То есть да, мне удалось отсканировать замок сверху донизу всего за 70 долларов! Я доказал, что имея желание, можно найти способ. Мне повезло, но везение пришло, когда я начал общаться и заводить знакомства.
Можно ли это повторить?
За полгода до начала сканирования замка я ничего не знал о 3D-сканировании. И хотя у меня есть соблазн сказать, что я сделал это в одиночку, это будет неправдой — мне помогли, и во многом эта помощь получена от сообщества и профессионалов отрасли. Как мне удалось их найти? Довольно просто — в группе Facebook 3D Scanning Users Group. Сначала я вступил в группу, потом объяснил, что хочу сделать, и получил от сообщества большую поддержку. Один из участников группы, профессионал Джеффри Иэн Уилсон даже написал мне в «личку», и мы плодотворно пообщались. Он наставил меня на путь истинный, понял, что я готов к сложному проекту и дал рекомендации. Кроме того, он посоветовал относиться к его рекомендациям с определённой долей скептицизма. То же самое относится и к моим советам: на самом деле мой опыт в 3D-сканировании составляет всего шесть месяцев, при сканировании замка я наделал ошибок, к счастью, они были не слишком серьёзными и их удалось исправить. Если мне и удалось отсканировать замок, то это не значит, что я — лучший помощник в сканировании замков. Я просто делюсь своим опытом, изучайте и пробуйте всё самостоятельно. Отвечаю на вопрос в заголовке раздела: да, вы можете повторить мой «подвиг», если у вас есть решимость, то нет ничего невозможного.
В заключение
Я искренне надеюсь, что наш опыт может оказаться полезным для читателей, и если из этого выйдет что-то интересное, напишите мне в Твиттере или поделитесь в группе Facebook, я с удовольствием посмотрю.
Обработка скана из одного миллиарда полигонов и его портирование в игровой движок — это уже совсем другая история, достойная ещё одного поста.