Uso de Tilt Brush VR de Google para proyectos en Fulldome

Proyecto “Somnium”  Largometraje 50 minutos, videomapping para domo.
Técnica de creación de videomapping para domo, usando el software de pintura virtual Tilt Brush VR de Google.  
Comisión por encargo de la Sinfónica de Bogotá, para el aniversario #50 del Planetario de Bogotá, se presentó en función privada en la gala de la celebración el viernes 13 de diciembre de 2019, y en dos funciones públicas el sábado 14 de diciembre en el domo de 23 mts y 388 sillas del planetario de Bogotá.
Este documento ilustra muy brevemente mi uso de técnicas de pintura en VR para producción de contenidos usados en videomapping en Domo.

Preproducción: Se hicieron reuniones regulares presenciales y por skype, y se comenzó a trabajar en un brief que la directora de arte de la sinfónica, construyó basado en el tema de la historia de la observación del espacio.Se llegó a escribir música y crear video desde cero para 11 tracks, o escenas, 40 minutos.
El proceso de creación del guión se trabajó al estilo de mi trabajo habitual en tv y se crearon las líneas narrativas que fueron esenciales para la creación de ambientes virtuales. Así fué como se tomó la decisión de usar esta técnica en el lugar de video generativo como TouchD o Notch y tampoco el uso de CG o 3d o composición digital o registro 360, y se escogió la pintura virtual para la mayoría de las escenas.
Más que todo por su sentido escultórico.

Producción: la pintura virtual Se trabajó con 2 pintores digitales trabajando en Tilt Brush VR como aparece en la foto, Jose Guillermo  Díaz pintor virtual y Juan Andres Molano, artista plástico de la Universidad Nacional, con experiencia en escultura, y un técnico en 3d, Joan Baez, que usó Blender y Cinema4d, para trabajar con modelos nativos y externos del Tilt Brush VR.
Se comenzó el proceso de pintura virtual de la manera habitual en VR, en este caso se usaron 2 sistemas HTC VIVE, montando en 2 PC de 16 gb RAM con tarjetas NVIDIA GTX 1800 de 11 Gb y una GTX 1060 de 6 Gb.Software: Win10, Steam VR, Google TiltBrush VR.
Se hicieron los primero sketch de tiltbrush de acuerdo a referencias visuales y a la maqueta musical, se hicieron un total de 100 pinturas virtuales entre pruebas y desarrollos finales.Elaborar un cuadro de estos toma un promedio de 3 horas.

El proceso de pintura digital incluye además de la creación plástica un proceso de creación cinematográfica en el sentido del uso de la cámara dentro de un espacio virtual, pero eso es otro tema.Se calculó de acuerdo a experiencias anteriores un espacio de 5x5 metros para programar el espacio virtual necesario para poder mover la cámara y tener facilidad de movimientos.

Postproducción: 

Software: Win10, Google TiltBrush, Premiere, After Effects, Media Encoder 

Para el el proceso de adaptar el contenido VR de tiltbrush a fulldome, se deben hacer cambios en el archivo .cfg de la carpeta de documentos del Tilt Brush VR, de acuerdo a las instrucciones en https://docs.google.com/document/d/11ZsHozYn9FnWG7y3s3WAyKIACfbfwb4PbaS8cZ_xjvo/preview# para poder hacer un render offline del VR en el tamaño ideal para finalizar en fulldome, desde el archivo .cfg se llega un frame estéreo 360 de 4086 px 1:1.  Una vez terminado cada "cuadro", desde el titlbrush se puede hacer este render offline, se ejecuta el archivo .bat y emplea un archivo .usda que contiene los datos de la ubicación de cámara en el VR, generando una secuencia .png y un a 4k en formato 360 estéreo. En dias recientes se resolvio el problema del clipping de camara usando esta respuesta https://support.google.com/tiltbrush/thread/25369203?hl=en

Este archivo es similar al producido por las cámaras de 360 estereoscopicas, y de forma similar a estos videos, obtuve archivos del formato fulldome, al pasar por AfterEffects y aplicar un VR converter estándar para convertir una imagen equidistante 2:1 stereo a una imagen fulldome 1:1 mono canal, eso si queda 2k. Una vez finalizado se obtiene un render en secuencia .png a un máximo de 4k, con el que tenemos el material que se finalizó en Premiere.
Videomapping en domo Durante el proceso de proyección se empleó el servidor PandoraPro conectado a 6 proyectores Barco de 32k. desde este sistema se hizo el blend y el mapping del domo. 

Conclusiones La pintura digital es un trabajo de detalles, toma mucho más tiempo del calculado crear una de estas pinturas virtuales y más aún, prepararla para el formato fulldome. Sin embargo, el resultado es bastante efectivo y tiene un alto impacto visual, ademas permite delimitar la linea de creación y darle un estilo bien definido. El proyecto "Somnium" comenzó como una comisión del Planetario de Bogotá, para la celebración de sus 50 años de construcción y se convirtió en un experimento tanto para los músicos como para los que trabajamos en las visuales. Diríamos que Es un evento único y fue un privilegio y un honor elaborar las piezas visuales que acompañaron la música increíble en vivo de la sinfónica de Bogotá. 
Agradecimientos Este pequeño documento es una descripción corta de este proceso y como se llevó a cabo esta comisión, agradezco aquí a todos los que ayudaron para que el público nos honrara con sus aplausos y con su asistencia masiva.  A Idartes, a Andres Garcia, Nicolas Rojas, a todo el planetario, a Ivan su Director,a Soledad Gamma, John Camacho, a la Sinfónica, a Adam a Maria Jose, a los de Llorona producciones, a Eddy, a German, Fernando y los proyeccionistas del planetario, a Leo, a Harold a Julián, a Edwin y a todos los que no me acuerdo. Los demás salen en los créditos del corto.