видео маппинг что это такое
Обучение видео маппингу
Видеомаппинг использует новаторским способом обычные технологии развлечений. Эти технологии заключаются в проецировании видео на различные постройки, фасады зданий или на пространство рядом с ними, а также любые сложные поверхности или трёхмерные объекты с целью изменить восприятие перспективы у зрителя.
Проектор позволяет изгибать и подсвечивать любую форму, линию или пространство.
Что такое видео маппинг
Он создаёт удивительные оптические иллюзии, игру света и превращает физический объект в нечто совершенно другое, за счёт изменения восприятия его формы.
Видео маппинг достаточно новая технология, процветающая в наши дни. Причина такого успеха кроется в том, что публика эмоционально вовлекается в шоу. Это не просто «крутая визуализация», это удивительное, захватывающее зрелище, использующее помимо объектов физического мира виртуальное пространство.
Видео маппинг включает в себя две составляющие:
Статьи по video Mapping
Как спроецировать видео
Очевидно, что самый важный инструмент, который должен у вас быть – это видео проектор. Видео проектор должен быть достаточно мощным, если в качестве «холста» для проецирования выступает поверхность здания. Для проецирования на небольшие объекты и для использования в помещениях достаточно будет 5600 люмен, ваша работа будет иметь хорошее разрешение. Но для создания чётких и аккуратных изображений на больших поверхностях или с большого расстояния потребуется проектор на 20.000 люмен. Кроме того особое внимание следует уделить типу линз в проекторе.
Вот параметры типового проектора для видеомаппинга:
Также вам потребуется фотоаппарат. У вас должна быть возможность настройки объектива в фотоаппарате, чтобы он как можно больше соответствовал объективу в проекторе. Таким образом, вам потребуется камера с хорошим объективом. Это очень важный момент, который будет объяснён позже.
Видео маппинг – занятие не из не дешёвых. Проекторы являются достаточно дорогим оборудованием: так проектор на 20.000 люмен может стоить до 100.000€, а взять оборудование в прокат тоже не дёшево. В такой ситуации лучшим выходом будет договориться с компанией, спонсирующей ваш проект, о том, что все издержки на прокат оборудования она берёт на себя. Очень хорошей мотивировкой для компании является способность виджея создавать красивые, профессиональные, артистичные проекты нравящиеся публике.
Video mapping экологичная и чистая технология
В самом деле: кроме энергии необходимой для проецирования изображений, вам не требуется никаких красок или химических компонентов для изменения облика строения, пространства или объекта. Ещё одно преимущество – видео маппинг не разрушает здания, и как только магия заканчивается, всё остаётся, как и было.
Подготовка проектора
Лучше всего, если проектор располагается рядом с местом представления. Это не всегда возможно, но существуют пути решения этой проблемы. Первый: посмотрите документацию к проектору и настройте проект на максимальное разрешение проектора. Второй путь: выберите для вашего проекта видеостандарт PAL/NTSC ( например, 720X576 ) или HD, если работаете с HD-проектором.
Планирование
Следующим шагом в большинстве случаев является фотографирование здания или объекта, на который будет выполняться проецирование. Полученные изображения будут служить основой для создания масок или трёхмерных макетов здания.
Эта самая деликатная часть процесса видео маппинга. В фотоаппарате должны быть объектив с таким же форматным соотношеним, что и в проекторе. Затем вы размещаете фотоаппарат рядом с объективом проектора или выше и делаете фото. Важно, чтобы объектив камеры располагался точно в той же позиции, что и объектив проектора.
Ниже вы видите примеры удачных и неудачных фото:
Настройка
Видео мапперы, как вампиры, работают по ночам. Или, если это не возможно, стараются как можно сильнее затемнить пространство, где будет выполняться проецирование. Они очень терпеливые существа.
Прежде всего, надо расположить проектор точно перед объектом, на который будет выполняться проецирование. Проецирование под углом вряд ли будет работать.
Вам потребуется лазерный дальномер, кроме того, не помешает уровень, чтобы убедиться, что расположение объектива проектора строго горизонтально, а также, чтобы затем подстраивать расположение объектива фотоаппарата. После того, как проектор размещён и кабели тщательно защищены, можно приступать к тестированию.
Важно знать, что проектор крайне чувствителен к вибрациям и погодным условиям. Вы же не хотите наблюдать уродливое дрожащее изображение в кульминационный момент представления. Кроме того надо позаботиться о защите места расположения проектора от дождя. 
Даже если бы для создания второго фото использовалась хорошая камера, а для создания первого – широкоугольный объектив, то фото объекта всё равно бы не соответствовало изображению, полученному с проектора.
Фото ниже демонстрирует результат при правильных параметрах и расположении фотоаппарата. Потребовалась лишь небольшая настройка при создании фото и проецировании изображения поверх объекта. Для создания фото использовался самый обычный цифровой фотоаппарат. 
Калибровка фото
После того как выбрана правильная позиция и картинка откалибрована, можно открывать фоторедактор (например, Photoshop или GIMP, если вы предпочитаете опенсурсовые приложения) и менять размер фото на размер соответствующий разрешению проектора (в нашем случае, 1024×768 пикселей). Затем выбираем 100%-ый масштаб и проецируем изображение на объект. Вы сразу заметите, хорошо ли был откалиброван фотоаппарат (каждый элемент фото будет соответствовать элементу на реальном здании), и для идеального соответствия вам потребуется внести незначительные изменения.
Важно, чтобы разрешения всех изображений соответствовали разрешению проекта в целом. Маловероятно, что при конвертировании видеоформат (например, 720×576) будет соответствовать разрешению изображения. Пожалуйста, преобразовывайте разрешение изображения к разрешению финального вывода.
Создание масок
Этот шаг можно выполнять в любой программе, с которой вы знакомы: After Effects, Illustrator, Photoshop, Flash, Cinema 4D и т.д. Не существует пока виджейского ПО, которое бы позволяло создавать маски на лету. Вы должны “вырезать” различные элементы изображения и создать маски (шаблоны) в различных слоях, по одной в каждом слое. В сети существуют сотни уроков о том, как создавать маски. Вот некоторые из них:
— Создание масок в After Effects: http://www.videocopilot.com/
— Создание масок в Photoshop: http://www.lunacore.com/photoshop/tutorials/tut003.htm
Каждую созданную маску экспортируете отдельно. Получаете что-то наподобие этого: 
Анимация
Теперь начинается самая увлекательная часть. У нас есть маски, и настало время решить, что мы будем с ними делать. Видео маппинг не ограничивается использованием какого-то конкретного приложения. Вы можете использовать любую программы для создания анимации и видеофильмов, например:
Просто творите, предварительно создавая планы того, что вы хотите сделать!
Для тех, кто не знает, видео маппинг – это технология проецирования изображений на трёхмерную поверхность. Видео маппинг, как рекламу, можно увидеть на стенах зданий или в арт-галереях, как способ создания странных замысловатых фигур.
В первый день Meg потратил около двух часов на работу. Он сделал фото тостера, установив камеру перед проектором. Затем загрузил фото в Flash-редактор и начал проецировать флеш-файл на реальный тостер. Перед этим Meg настроил изображение так, что каждая грань тостера имела свой цвет, что облегчало процесс выравнивания изображения на объекте.
Во второй день виджей создал эффекты. Это заняло у него около 4 часов, было использовано очень много футажей. Meg импортировал цветастое изображение в After Effects, и использовал его для выравнивания видеоклипов в каждой секции. Затем он выполнил рендер видео и импортировал его в флэш-файл.
На третий день Meg создал фоновые видео и также импортировал их в отдельные флэш-файлы, благодаря чему он смог синхронизировать переднюю и заднюю проекции.
Meg использовал второй компьютер и проектор с ультра коротким объективом, расположенный выше тостера для фонового проецирования.
Всего на проект ушло 3 дня, и вот видео, которое получилось в итоге:
Видеомаппинг – это зрелищно! Компиляция интересных инсталляций и мысли о том, как сделать проектор средством заработка
То, что проектор можно использовать не только для демонстрации презентаций или просмотра кино – не новости. Равно как и то, что эффектная презентация товара или идеи – пусть не залог, но уж точно – не последняя нота в этюде успешного бизнеса, для которого важно показать товар «лицом».
Недавно, бороздя просторы сети в поисках свежих упоминаний Epson, наткнулся на несколько галерей компаний, которые занимаются созданием 3D- или AR-маппинга на самые разные объекты, начиная с «плоских» проекций с использованием 3D-анимации и спецэффектов и заканчивая куда более интересными проекциями на «объемные» товары и здания с эффектом дополненной реальности.
Но заинтересовали меня не столько сами видеопроекции, сколько то, что компании-то довольно скромных масштабов. Это же малый бизнес! Из прямых рук, недорогого мультимедийного проектора и компьютера.
И стало мне любопытно рассмотреть пару примеров и прикинуть, что может потребоваться, чтобы подобный бизнес создать и получать с него какую-никакую прибыль. А заодно самостоятельно разобраться, как подготовить маппинг для плоской и перекрестной AR-проекций на трехметровый свадебный торт «подручными средствами».
Бизнес из проектора и компьютера
Для начала рассмотрим пример Flashlines, которые специализируются на организации AR-проекций разных масштабов. Несмотря на спартанский сайт в пять с половиной страниц, FL есть что показать, что они и делают на своем инстаграме.
Показатели вовлеченности аудитории не самые высокие (в т.ч. и на YouTube), но, видимо, и их хватает, чтобы делать бизнес. Заодно даже кампанию на Indiegogo задумали для продвижения собственного ПО для iPad.
Но не суть. Главное, что можно пронаблюдать, изучая их работы – это то, что значительная часть инсталляций имеет малый-средний масштаб и выполняется ночью или в полутьме. И выясняется, что необязательно раскошеливаться на сверхъяркий дорогостоящий инсталляционный проектор, чтобы устраивать видеомаппинг, когда можно обойтись ярким универсальным. В частности, пары уже архивных Epson EB-1945W хватает для львиной доли проектов, включая даже маппинг на высокое здание.
Насколько мне стало известно после общения с ними, FL как раз с этим комплектом и «катаются» к заказчикам, чтобы, во-первых, сразу на месте показать несколько потенциальных вариантов проекции, а также «продать» свои услуги, ведь лучше один раз посмотреть на AR-проекцию вживую, чем сто раз услышать или смотреть мелкие картинки на Instagram.
Кроме зданий можно встретить более «модные» типы инсталляций, которые набирают популярность день ото дня – AR-проекции для POS (point of sales, иначе говоря – точек продаж).
Вот простая же идея – подвесить проектор под потолком (или хотя бы кое-как его расположить, где нужно – вариантов масса), нарисовать цветную маску из геометрических фигур и минимально анимировать смену цвета или их появление/гашение. Но ведь какой эффект! В частности, даже я, как неопытный VFX-хоббист, вижу, что в ролике нет ничего сверхъестественного. Если имеется доступ к любому инструменту для работы с видео – After Effects, Premiere, Vegas, Final Cut, – то из спичек и желудей масок и их анимации/базового скриптинга (того же wiggle из AE для плавного изменения интенсивности цвета фигур) можно получить то же, «рисуя» маски прямо поверх объекта, выведя копию окно композиции на второй монитор, в роли которого у нас и выступает проектор.
Сам я, к примеру, практики и интереса ради непосредственно работал над созданием мультимедийной презентации к 5-летию Фабрики печати Epson, где использовал Softimage и After Effects для визуализации отдельных «слайдов», а также позволил себе поиграть с симуляцией жидкости тут и там. Представьте себе, насколько было бы круче, если бы проекция в какой-то момент была не на стену, а на большую «картонную бутылку» из-под чернил для принтера. Так, чтобы в ней плескалась и переливалась всеми цветами жидкость, а то вообще какая-нибудь сцена происходила с плавающими бумажными лебедями… Столько возможностей! Жаль реализовать не удалось из-за нехватки времени (то был экспериментальный in-house-проект, который случайно вырос из прототипа, придуманного за пару месяцев до мероприятия).
К слову, проекторы для подвеса под потолок специально для POS и описанных выше небольших инсталляций-визуализаций товаров у Epson имеются. Это Epson LightScene EV-100/105, мы их величаем «лазерными проекторами для акцентированной подсветки».
Они лазерные (т.е. с максимально «живучим» источником света) и обладают регулируемой яркостью до 2000 люмен. Но они весьма недешевые. Поэтому в качестве «пробы пера» можно начать с чего-то попроще и дешевле, но с хорошим запасом яркости. Скажем, 3000 лм и более. Например, Epson EB-2042 имеет рекомендованную Epson цену менее 1000$ и обладает яркостью аж 4400 лм! Чем не кандидат в универсальный инструмент для организации малых и средних инсталляций «на месте»?
С железом более-менее понятно: компьютер и проектор. А как быть с программным обеспечением и различными вариантами AR-проекции?
Специализированные инструменты для создания маппинга
Существует богатое множество ПО, предназначенного специально для реализации видеомаппинга. Из самых известных – это, конечно же, Resolume и Madmapper. Есть и супернавороченный Shape, который использовался на ивенте Круг Света в инсталляции на площадке Царицыно. Все в них хорошо, кроме того факта, что это не самое простое в использовании профессиональное ПО, заточенное в первую очередь все же на проекцию с участием множества проекторов. Для небольшого бизнеса или любителя это однозначно «overkill».
К счастью, на них свет клином не сошелся, и найдется пара вариантов решения задачи:
Не пиара ради, а варианта первого для, хочу поделиться еще одной находкой:
Lightform предлагает программно-аппаратный комплекс для полуавтоматического сканирования объекта проекции, а также создания под него видеомаппинга при проецировании «в лоб», т.е. на не слишком изогнутую поверхность или барельеф. Вот такая 4K-камера ставится на проектор, а затем запускается процесс калибровки и построения 3D-модели с её помощью:
Фактически там целый компьютер в этой 4K-камере.
Подробнее можно узнать тут.
Такой вариант стоит денег, но будучи более дружественным к не слишком технически подкованному пользователю (художнику-аниматору, например), может оказаться тем самым решением, которое в принципе сделает возможным оперативную организацию плоского или «барельефного» маппинга в любом месте.
«Плоская», да не очень!
Когда я говорю «плоская проекция в лоб», это не означает, что подобный вариант не может быть зрелищным! Более того, он совмещает в себе сразу несколько преимуществ: готовить материал для такого маппинга относительно просто ввиду того, что проецирование выполняется перпендикулярно поверхности (или усредненной площади поверхности, если это барельеф) и материал для нее отрисовывается в ортографической проекции (в случае 3D-софта) или в «плоском» графическом или видеоредакторе. Остальное за нас сделает наш мозг, который дополнит готовый маппинг информацией «о глубине», полученной с двух глаз.
В качестве примера масштабной проекции подобного типа можно привести, конечно же, Круг Света 2018, в котором Epson принял участие впервые. Рассказывал об этом в блоге.
Спросите: откуда такая уверенность, что на КС2018 использовалась именно «плоская» ортографическая проекция? Очень просто: я принимал участие в подготовке и согласовании проморолика-проекции Epson, а также наблюдал часть процесса настройки проекторов и ПО для маппинга непосредственно в контрольной комнате.
И вот так выглядит кадр из заставки:
Собственно, все 30 проекторов Epson «на башнях» фактически настраивались так, чтобы «приладить» ортографически отрисованные видеоматериалы, полученные от участников из множества стран, на реальное здание в качестве одного непрерывного длинного «барельефа».
Плоскую проекцию разобрали. Но ведь мы не ищем легких путей?
Объемная AR-проекция
Рассмотрим другой пример: свадебный торт с AR-маппингом от Magic Innovations.
Как выполнить проекцию на барельеф – понятно уже чисто интуитивно, что мы и разобрали выше.
Куда интереснее, если объект объемный настолько, что плоскость освещаемой поверхности значительно изламывается и искажается, так что простой «подгонкой» уже не обойтись.
Попробуем воспроизвести в 3D-редакторе модель торта и взглянуть, что происходит с проекцией шахматной доски на плоском и объемном объекте. Для этого создадим «виртуальный проектор» в виде прожектора с текстурой и взглянем на проекцию, которую «видит» источник света:
Не считая того, что объемная модель в нижней части ближе к проектору и без изменения расстояния до модели проекция не охватывает ее целиком, кажется, что задача выполнить маппинг успешно завершена. Само собой, это не так:
Стоит лишь взглянуть на результат со стороны и сразу становится понятно, что «нахрапом» проблему не решить. Для того, чтобы понять, как именно должна выглядеть проекция, излучаемая источником света, наложим на «торт» текстуру и заставим его «светиться» самому безо всяких проекторов:
Беглого взгляда достаточно, чтобы понять, что искажения слишком сложны, чтобы пытаться исправить дело какой-либо «подгонкой» в плоском пространстве текстуры.
Можно попытаться улучшить ситуацию, отодвинув проектор подальше от объекта. К примеру, на рисунках выше источник света располагается в 2-х метрах от торта. Попробуем отодвинуть его на 10 метров и сравним результат:
Намного лучше! Вот только для того, чтобы выполнить такую проекцию нужен проектор раза в три-четыре ярче (ибо интенсивность света убывает в квадратической зависимости, плюс следует учитывать потери в весьма длиннофокусном телеобъективе). Также проектор должен допускать установку сменных объективов в принципе.
Поэтому остановимся на нашем недорогом «универсальном» проекторе и расстоянии в 2 метра (в зависимости от модели, которую вы будете использовать, расстояние, скорее всего, придется рассчитать, чтобы проекция целиком покрыла объект). А далее поступим следующим образом:
Перекрестная AR-проекция
Добавим второй проектор!
Использование двух проекторов позволит «прокачать» оригинальный вариант MagicInnovations, обеспечив больше свободы для творческого простора создателя контента и зрителей (благодаря увеличению площади поверхности, на которую попадает свет).
Выполним «замеры» помещения и объекта и сразу определимся, где будем устанавливать реальные проекторы. Воспользуемся результатами и расположим источники света примерно на уровне глаз среднего посетителя. Взглянем на результат:
На данном этапе оба проектора все еще проецируют плоскую текстуру шахматной доски и разница лишь в том, что теперь проекция полностью покрывает видимую область объекта для каждого источника света.
Но мы же не планируем показывать нашим зрителям это безобразие, верно?
Благодаря тому, что мы заранее выполнили замеры и расположение источников света в сцене строго совпадает с тем, где мы будем устанавливать проекторы, сделаем «финт ушами»:
Выключим источники света и включим текстуру (или запустим анимацию) на самом объекте. Т.е. подготовим все для того, чтобы можно было «записать все это действо» на камеру. Соответственно, создадим две камеры – по одной на каждый из излучателей – и расположим и соориентируем их точно так же, как наши «виртуальные проекторы». И что мы получим. Правильно! Готовую видеопроекцию для каждой из них!
Эти рендеры и используем в качестве текстур света для наших проекторов. И вуаля – готовая перекрестная AR-проекция на объемный объект!
Благодаря тому, что у нашего торта нет особо сильно нависающих элементов, проекторы можно подвесить и выше, на потолочную рельсу, спустив на нужную высоту на штанге, чтобы не смущать зрителей башнями или треногами с проекторами, установленными посреди зала.
В данном варианте мы расположили проекторы примерно на высоте полутора метров. На рисунке выше видно, что взглянув на сцену из точки выше, чем наши проекторы, можно заметить тени, образовавшиеся на верхних цилиндрах. Однако ввиду того, что среднестатистический зритель все же ниже двух метров ростом, тени – не проблема, в чем можно убедиться, взглянув на результат «из глаз» нашего зрителя в сцене:
Кроме того, вспомним, что мы «прокачали» оригинальный AR-маппинг, выполнив проекцию из двух точек, а не одной. Благодаря этому т.н. «терминатор» (линия светораздела) на поверхности нашего объекта появится лишь в самой дальней его части. Это дает большую свободу перемещения зрителям в зале.
Конечно, можно пойти еще дальше и засветить и этот участок третьим проектором. Тогда у нас получится AR-проекция, на которую можно смотреть вообще с любой стороны. Однако в таком случае логичнее будет распределить проекторы под углом 120° к друг другу, чтобы обеспечить равномерные покрытие и освещенность поверхности. Конечная схема установки, разумеется, будет зависеть в том числе и от формы самого объекта, особенно если у него имеется множество смен углов плоскости поверхности или значительная площадь состоит из нависающих элементов.
Прямоугольный торт!? Какое кощунство! ヽ༼ ಠ益ಠ ༽ﾉ
Дальше – свобода творчества!
Анимируем координаты текстур (или вообще вращаем сами объекты, но не меняя их формы), а также выполняем переход из сцены в сцену в проекциях камер с помощью обычной маски (в оригинальном ролике MagicInnovations, кстати, можно увидеть сетку геометрических фигур, что наверняка и использовалась в софте для создания проекции). Ну и немного motion design’а тут и там, чтобы немного «разбавить» и добавить разнообразия, чтоб смотрелось «дороже».
Подобное можно реализовать в Blender или любом другом более-менее «взрослом» 3D-софте. В нем же можно в принципе создать подобный виртуальный прототип для демонстрации заказчику, не имея информации о габаритах будущего объекта проекции. А для экономии времени и сил анимацию частиц можно вообще сделать либо стандартными средствами After Effects, либо чем-то помощнее, наподобие Trapcode Particular, Form или Mir, воспользовавшись нашими рендерами «из глаз» проекторов в качестве масок. Клиенту не нужно знать, как делался его заказ, если его устраивает цена и оговорен желаемый конечный результат. Ну… Как минимум, в рамках создания визуализаций.
Конечно, сложность зависит от задач, но ведь и стоимость работ зависит от сложности.
Примечание по слиянию (blending) нескольких проекций
В данном случае нам повезло: в качестве объектов использовались сфера и цилиндры, что вкупе с проекторами, расположенными под углом 90° обеспечило естественный световой градиент в области, где свет двух проекторов пересекается (т.е. в передней части «торта»). Однако такая «халява» будет не всегда и потребуется специально «гасить» яркость в соответствующих участках наших видеозаписи для маппинга, чтобы такие области не были пересвеченными.
Профессиональные (они же – инсталляционные проекторы Epson) специально для этого имеют встроенную поддержку Edge blending и ПО Epson Projector Professional Tool, которое позволяет делать тонкую коррекцию результата и компенсировать, скажем, искажения зум-объектива.
Хитрый план: катить колесо
Вот такая «идея бизнеса» от диванного аналитика. Со слов наших коллег, занимающихся проекционной техникой, подобный видеомаппинг планомерно набирает популярность. И на него есть спрос.
Само собой, взгляд очень поверхностный и остаются вопросы поиска заказчиков. Благо в эпоху соцсетей, ютюба и инстаграма, которые с каждым днем становятся все популярнее, площадки для поиска клиентуры имеются, вопрос за бюджетом и набором опыта и портфолио (куда ж без этого).
А еще есть?
А теперь обращусь к вам, уважаемые хабравчане: знаете ли вы примеры эффектных инсталляций, реализованных небольшими компаниями, например, в России? Свои-то, особенно крупные, что мы делали с партнерами, мы и так знаем. Было бы интересно, так сказать, и на других посмотреть.
Ваши рекомендации? А, может, у вас есть опыт подобной AR-проекции?