Simulador VR de escenarios VJ en TouchDesigner

Proyecto para simulación VR de stage VJ.
TD2020 y ResolumeArena6. Comparto este proyecto, como es, con los errores que pueda tener y es abierto a cualquier modificación. Agradezco el feedback.
Fue construido en 2017, y actualizado en la versión 2020 de TouchD.

PROYECTO PARA CREAR SIMULACIÓN EN VR DE INSTALACIONES LED PARA VJ USANDO TOUCHDESIGNER Y RESOLUMEARENA




Este proyecto se diseñó para visualizar prototipos de instalación de pantallas LED dentro de VR, usando Touch Designer y enviando señal desde Resolume Arena. Otros programas usados fueron Illustrator y Cinema 4d
La idea fué crear una solución de visualización inmersiva de escenarios en proceso de diseño para shows en vivo, de vj, de videomapping, stage design, etc. Y poder hacer pruebas, ensayar, etc.
Este proyecto esta basado en dos características fundamentales,
1. Usar cualquier modelo creado en cinema4d o en cualquier programa de 3d, como pantalla led y la suma de estos en un stage virtual
2. Permitir la mezcla en vivo de visuales desde Arena y explorar en VR este resultado ejecutado en las pantallas del stage virtual.
El resultado es la simulación de un rig de pantallas o un sistema led con alimentación por canales de señal de video via spout in. En este caso la visualización final es a través de un sistema de VR HTC VIVE.

EL PROCESO

EL MODELO DE STAGE Y LED ARRAY

Se modelo en Cinema4d unos .obj muy sencillos, adjuntos aquí.
Hubo que modificar el UVW


LA SEÑAL DE VR Y LA CONEXIÓN A TOUCHDESIGNER

Como la necesidad es crear un proyecto para poder ver en VR un la simulacion un de VJ Mix multicanal, cree un proyecto muy simple basado en el proyecto standard de VR en touchD como aparece en https://docs.derivative.ca/images/e/e4/TouchDesigner_VR_Development_Environment_for_HTC_Vive.pdf
Aquí explica como es el proceso de conectar el harwdare de VR, en mi caso un HTC VIVE. Es extenso así que dejo el link para revisión. En pocas palabras solo necesita estar funcionando el casco de VR de la forma habitual que se usa con la aplicación SteamVR.
Una vez funcionando el VR de forma regular para jugar en Steam, se pasa abrir el archivo vRSimulatorforVj.toe adjunto


EL PROYECTO DE TOUCHDESIGNER

Abrir el archivo del proyecto. vRSimulatorforVj.toe, fue creado en la version demo de TouchDesigner 2020.
Abre mostrando la UI muy básica que fue creada para 3 señales que provienen de 3 salidas de spout en este caso desde Resolume Arena 6. Si no arranca así darle F1, para perform mode.
Con el puntero del mouse se mueven los slides de selección de cada canal hacia la simulación, en este punto ya se puede uno meter a las gafas
El botón final el Viewer 3d es un render 2d de una cámara al interior de la escena VR, y permite un preview 2d en una ventana nueva sin gafas de VR.


Al ejecutar el archivo .toe arranca la simulación, los tres slides de control seleccionan las señales que llegan a cada led, son 4 POSICIONES, al mover el slide con el puntero del mouse, va de 0 a 3 en este caso 0 (o totalmente a la izquierda) es la señal de el grid HD_1_1080p_1.png. 1,2 y 3 son las señales de spout out salientes desde Arena.




En, el editor, vaya a /TDVR/world/geoGround es donde uno pone y arma su mundo VJ.
Aqui en los SOP FileIn, van los obj que hacen de pantalla LED, puede llamar los archivos si están desconectados, usando los .obj incluidos en este proyecto, junto a su respectivo .mtl
Se deben colocar en el orden y archivo que aparecen marcados, el SOP marcado como StageTut_Spout1 tiene el StageTut_Spout1.obj y así.





El proyecto tiene también los .png de la señal de prueba o grids, 3 marcados. También debe llamarlos al archivo. Con esto en su lugar ya podemos ver en el visualizador del fondo de touch, como sale la señal de prueba a las pantallas LED virtuales.



Mire el tag RenderGeo y VRGeo en las GEO y VRLight en luces para que se vean en el entorno VR

PROYECTO SIN CONTROLES VR
El proyecto de touchD esta construido dentro del .tox original adjunto también, en donde hay controladores para los mandos del HTC pero en este proyecto no se trabajaron.

SEÑAL SPOUT ARENA
En el proyecto esta adjunto también la composición en arena 6, y el archivo .xml de la configuración de la salida avanzada de Arena usados en este proyecto.
Son 3 layers dirigidos a 3 salidas de Spout en hd1080.


En TouchD el operador de Spout in pueden aparecer con una x o en rojo se debe dar la ruta correcta a las salidas de Arena nuevamente una vez se eche a andar el proyecto en Resolume.



ANOTACIONES
Por demás es darle F1 y a mezclar en Resolume, las gafas de HTC tienen una configuración que permite tener una experiencia AR, pero con cierto delay puede ser mi sistema.
Este proyecto se hizo en un PC WIN 10 PRO, 16gb i7, nvidia1060ti 6gb, HTC VIVE, TD2020, Arena6, con un viejo APC40.
La suma de los adjuntos es: El proyecto .toe, imagenes, modelos 3d, el .tox original del blog de touch para VR. Los modelos del stage y de la barra truss son de libre circulación en la web.


RESULTADO FINAL
Finalmente lo que se logra es que al darle perform (F1) al proyecto de TouchD2020 se cargue el o los modelos 3d y en ellos las zonas determinadas como pantallas muestren las salidas del canal avanzado en ResolumeArena


La visalizacion es muy inmersiva en VR y el delay entre el Resolume y la instalación virtual de pantallas es zero, asi que la performance es muy intuitiva, desde el control midi es inmediato el efecto en las pantallas.

Un saludo.

Imagenes y modelos 3d
https://drive.google.com/open?id=19isBb6H43rkCphyLNDGCLNTThrEIyOR0
https://drive.google.com/open?id=1WZx_opwk_-11JfwyGdJA9aIu6J8RZG6G
https://drive.google.com/open?id=1wt6fJyfNw1A1YsW23w4vujMf_SnJXP3K
https://drive.google.com/open?id=1dCAOWfVjlGxZZomtsEgQainQD4wf8Wjr
https://drive.google.com/open?id=15uQKbjSRttrSWG0pGwY6t3fqykJkK08M
https://drive.google.com/open?id=1Mpk0VdmyZUQ-nRUbjk1YegR8gBTeeO0U
https://drive.google.com/open?id=155s_76_z_WqL93muPAm2nlBHKQtdnhWT
https://drive.google.com/open?id=10Mwc3CM9Xe7pVl2YxkXCZy-QT4woMcP0
https://drive.google.com/open?id=1knPVMJlJtsjHthm7pe8oyfXWJFkq66Ab
https://drive.google.com/open?id=1sfLMDtFWvufQQ9XUUpo_DD6veZQPLrt8
https://drive.google.com/open?id=1ahmI7mxE3L2y4I17N8y8Bv9e9_KViU7S
https://drive.google.com/open?id=1caS-8QwKTGiLkS0q_fUvncN0IWg1BpcE
https://drive.google.com/open?id=1dtSBtSeJAd6ESq3dkfJZJBmnL-ZhigDe
https://drive.google.com/open?id=1Ra-59zqPMny1sRWlr5po4ETcLG7X_OmS

Archivos Arena
https://drive.google.com/open?id=1VC2io2qZmxlcPl9zGjpm0dxrFyIDe3QH
https://drive.google.com/open?id=1MB65rgl7Qy7ymT5P5mCha8IR-YpKfGds

Este el archivo .toe
https://drive.google.com/open?id=1Zc2zFFkSa3hVJaKVryfiieJN_6qB2QA9

El .tox original para TDVR
https://drive.google.com/open?id=10yICPbSytdZKrz6uyDvy3yZDfLAMCYAT

Comentarios

Entradas populares de este blog

360 Vj, TouchD y Arena6, Visualizacion Immersiva 360 para Resolume Arena

Spout para After Effects y Resolume