Uso de Tilt Brush VR de Google para proyectos en Fulldome

Proyecto “Somnium  Largometraje 50 minutos, videomapping para domo.
Técnica de creación de videomapping para domo, usando el software de pintura virtual Tilt Brush VR de Google. 
 
Comisión por encargo de la Sinfónica de Bogotá, para el aniversario #50 del Planetario de Bogotá, se presentó en función privada en la gala de la celebración el viernes 13 de diciembre de 2019, y en dos funciones públicas el sábado 14 de diciembre en el domo del planetario de 
Bogotá.
Este
 documento ilustra muy brevemente mi uso de técnicas de pintura en VR para producción de contenidos usados en videomapping en Domo.

Preproducción: Se hicieron reuniones regulares presenciales y por 
skype, y se comenzó a trabajar en un brief que la directora de arte de la sinfónica, construyó basado en el tema de la historia de la observación del espacio.Se llegó a escribir música y crear video desde cero para 11 tracks, o escenas, 40 minutos.
El
 proceso de creación del guión se trabajó al estilo de mi trabajo habitual en tv y se crearon las líneas narrativas que fueron esenciales para la creación de ambientes virtuales. Así fué como se tomó la decisión de usar esta técnica en el lugar de video generativo como TouchD o Notch y tampoco el uso de CG o 3d o composición digital o registro 360, y se escogió la pintura virtual para la mayoría de las escenas.
Más
 que todo por su sentido escultórico.

Producción: la pintura virtual 
Se trabajó con 2 pintores digitales trabajando en Tilt Brush VR como aparece en la foto, Jose Guillermo  Díaz pintor virtual y Juan Andres Molano, artista plástico de la Universidad Nacional, con experiencia en escultura, y un técnico en 3d, Joan Baez, que usó Blender y Cinema4d, para trabajar con modelos nativos y externos del Tilt Brush VR.
Se comenzó el proceso de pintura virtual de la manera habitual en VR, en este caso se usaron 2 sistemas HTC VIVE, montando en 2 PC de 16 
gb RAM con tarjetas NVIDIA GTX 1800 de 11 Gb y una GTX 1060 de 6 Gb.Software: Win10, Steam VR, Google TiltBrush VR.
Se hicieron 
los primero sketch de tiltbrush de acuerdo a referencias visuales y a la maqueta musical, se hicieron un total de 100 pinturas virtuales entre pruebas y desarrollos finales.Elaborar un cuadro de estos toma un promedio de 3 horas.

El proceso de pintura digital incluye además de la creación plástica un proceso de creación cinematográfica en el sentido del uso de la cámara dentro de un espacio virtual, pero eso es otro tema.
Se calculó de acuerdo a experiencias anteriores un espacio de 5x5 metros para programar el espacio virtual necesario para poder mover la cámara y tener facilidad de movimientos.



Postproducción: 
Software: Win10, Google TiltBrushPremiere, After Effects, Media Encoder 
Para el el proceso de adaptar el contenido VR de tiltbrush a fulldome, se deben hacer cambios en el archivo .cfg de la carpeta de documentos del Tilt Brush VR, de acuerdo a las instrucciones en https://docs.google.com/document/d/11ZsHozYn9FnWG7y3s3WAyKIACfbfwb4PbaS8cZ_xjvo/preview# para poder hacer un render offline del VR en el tamaño ideal para finalizar en fulldomedesde el archivo .cfg se llega un frame estéreo 360 de 4086 px 1:1.  Una vez terminado cada "cuadro", desde el titlbrush se puede hacer este render offline, se ejecuta el archivo .bat y emplea un archivo .usda que contiene los datos de la ubicación de cámara en el VR, generando una secuencia .png y un a 4k en formato 360 estéreo. En dias recientes se resolvio el problema del clipping de camara usando esta respuesta https://support.google.com/tiltbrush/thread/25369203?hl=en


Este archivo es similar al producido por las cámaras de 360 estereoscopicas, y de forma similar a estos videos, obtuve archivos del formato fulldome, al pasar por AfterEffects y aplicar un VR converter estándar para convertir una imagen equidistante 2:1 stereo a una imagen fulldome 1:1 mono canal, eso si queda 2k. Una vez finalizado se obtiene un render en secuencia .png a un máximo de 4k, con el que tenemos el material que se finalizó en Premiere.
Videomapping
 en domo Durante el proceso de proyección se empleó el servidor PandoraPro conectado a 6 proyectores Barco de 32k. desde este sistema se hizo el blend y el mapping del domo.
 


Conclusiones La pintura digital es un trabajo de detalles, toma mucho más tiempo del calculado crear una de estas pinturas virtuales y más aún, prepararla para el formato fulldome. Sin embargo, el resultado es bastante efectivo y tiene un alto impacto visual, ademas permite delimitar la linea de creación y darle un estilo bien definido. El proyecto "Somnium" comenzó como una comisión del Planetario de Bogotá, para la celebración de sus 50 años de construcción y se convirtió en un experimento tanto para los músicos como para los que trabajamos en las visuales. Diríamos que Es un evento único y fue un privilegio y un honor elaborar las piezas visuales que acompañaron la música increíble en vivo de la sinfónica de Bogotá. 
Agradecimientos
 Este pequeño documento es una descripción corta de este proceso y como se llevó a cabo esta comisión, agradezco aquí a todos los que ayudaron para que el público nos honrara con sus aplausos y con su asistencia masiva.  Idartes, a Andres Garcia, Nicolas Rojas, a todo el planetario, a Ivan su Director,a Soledad Gamma, John Camacho, a la Sinfónica, a Adam a Maria Jose, a los de Llorona producciones, a Eddy, a German, Fernando y los proyeccionistas del planetario, a Leo, a Harold a Julián, a Edwin y a todos los que no me acuerdo. Los demás salen en los créditos del corto. 

Comentarios

Entradas populares de este blog

360 Vj, TouchD y Arena6, Visualizacion Immersiva 360 para Resolume Arena

Spout para After Effects y Resolume

Simulador VR de escenarios VJ en TouchDesigner