Камеры Lumens cоздали визуальный эффект замедления времени

MoonShine Animation — компания из Тайвани, которая специализируется на создании визуальных эффектов.

MoonShine – это целое сообщество творческих профессий, пребывающих в постоянной коллаборации по созданию видеоэффектов, анимации, рекламных роликов, фильмов и виртуальной реальности: режиссеры, дизайнеры, художники и технологи. За спиной у коллектива разработки новаторских соматосенсорных игр и иммерсивных 4D-опытов, создание дополненной анимации в режиме реального времени и виртуальных студий дополненной реальности. В 2020 году MoonShine построила на Тайване первый в мире кинотеатр смешанной реальности (MR).

Описание проекта

Последний проект MoonShine – это эксперимент по поиску универсального зрительного восприятия. Идея заключалась в том, чтобы организовать в музыкальном центре Тайбэя, Тайвань, эффект замедления времени (эффект Bullet Time из к/ф «Матрица») в рамках общедоступной прямой трансляции, которая позволила бы зрителям получать уникальное восприятие, построенное на собственных впечатлениях от просмотра контента на своих устройствах.

Особенности проекта:

Задача

Традиционно в эфире все редакционные решения принимаются продюсером и режиссером. Команда MoonShine решила по примеру фильма «Матрица» и его знаменитых сцен замедленного времени дать возможность зрителям контролировать и выбирать предпочтительные углы обзора и динамические движения виртуальной камеры в режиме реального времени.

В фильме 1999 года Киану Ривз как будто бы замедляет время, уклоняясь от пуль. В этот момент камера плавно перемещается вокруг актера. Данный эффект «Bullet time» на самом деле строится из серии отдельных изображений, объединенных в видеопоток. Команда MoonShine решила попробовать повторить эту концепцию и испытать ее в прямом эфире.

Решение

Вместо того, чтобы использовать неподвижные изображения, требующие длительной постобработки, Moonshine использовала 16 4K PTZ-устройств, работающих в режиме прямой трансляции. Построенная система объединяет несколько IP-потоков в один мобильный видео канал со свободной точкой обзора, которые вместе обеспечивают эффект «Bullet time» в режиме реального времени. Съемочная группа разместила полукругом несколько камер Lumens VC-A71PN с выходом NDI. Такое расположение позволило снимать одну точку одновременно с 16 разных ракурсов.

Несколько независимых потоков NDI – каждый со своего ракурса, – сливаются в единый сигнал. Затем зрители могут сами выбирать любой ракурс и, соответственно, менять его по своему желанию. Это выводить воспроизведение видео на новый захватывающий и увлекательный уровень, а также устраняет риск появления слепых зон. Команда инженеров MoonShine при помощи искусственного интеллекта обеспечила дополнительные кадровые вставки между камерами. Таким образом потоковая передача при переключении с одной камеры на другую становится более плавной.

«Мы установили 16 PTZ-камер NDI на бельэтаже Тайбэйского музыкального центра. При помощи технологии передачи видео по IP, потоки с этих 16 камер отправляются в единую систему видеозаписи и обработки для дальнейшей передачи в эфир. Мы использовали PTZ-камеры Lumens, которые уже зарекомендовали себя в работе с нашей системой видеозаписи. Программное обеспечение управляет фокусировкой, расфокусировкой камер, диафрагмой и так далее», – прокомментировал Джелли, руководитель проекта MoonShine Animation

Преимущество IP

В камерах Lumens серии PN используется технология NDI|HX. NDI — это усовершенствованный IP-протокол, который передает высококачественные видеосигналы по сетям на базе Ethernet со сравнительно небольшой задержкой. Экономичные, простые в установке и настройке сети NDI легко масштабируются и позволяют по мере необходимости добавлять в рабочий процесс больше камер, записывающих устройств, кодировщиков и видеомикшеров. Эффективное использование полос пропускания позволяет NDI работать в сетях 10G или 1G, одновременно передавая видеосигналы, обеспечивая питание камер и управление потоками данных.

Гибридный подход

NDI по-настоящему развязывает руки всей творческой команде. Роботизированные PTZ-камеры с дистанционным управлением позволяют мастерам кино задавать каждой отдельно взятой камере определенный ракурс. Это означает, что помимо независимого позиционирования шестнадцати камер в виде синхронизированной дуги, необходимой для эффекта «bullet time», съемочная группа на самом деле может взять на себя полный контроль над всем съемочным процессом традиционной многокамерной съемкой. Камерами VC-A71PN можно управлять при помощи программного обеспечения от MoonShine или с помощью аппаратного блока Lumens VS-KB30, интуитивно понятного тактильного интерфейса управления камерами, особенно удобного в осуществлении прямых трансляций.

«Поворотная камера Lumens VC-A71PN поддерживает NDI и PoE. Она может получать питание, передавать изображение и управляться через один провод, что, конечно, упрощает процессы работы и монтажа. Мы разместили наши камеры в 30 метрах от сцены. Но благодаря 30-кратному оптическому зуму, мы действительно можем запечатлеть всех исполнителей. VC-A71PN обеспечивает качество изображения 4K и хорошо работает даже в условиях низкой освещенности. VC-A71PN с технологией передачи NDI легко интегрируется в систему видеозаписи со свободной точкой обзора. Техническая поддержка Lumens оказывается своевременно, что, конечно, успокаивает в осуществлении съемочного процесса», – отметил Тед, инженер по системной интеграции MoonShine Animation.