Simulador VR de escenarios VJ en TouchDesigner

Proyecto para simulación VR de stage VJ.
TD2020 y ResolumeArena6. Comparto este proyecto, como es, con los errores que pueda tener y es abierto a cualquier modificación. Agradezco el feedback.
Fue construido en 2017, y actualizado en la versión 2020 de TouchD.

PROYECTO PARA CREAR SIMULACIÓN EN VR DE INSTALACIONES LED PARA VJ USANDO TOUCHDESIGNER Y RESOLUMEARENA

Este proyecto se diseñó para visualizar prototipos de instalación de pantallas LED dentro de VR, usando Touch Designer y enviando señal desde Resolume Arena. Otros programas usados fueron Illustrator y Cinema 4d
La idea fué crear una solución de visualización inmersiva de escenarios en proceso de diseño para shows en vivo, de vj, de videomapping, stage design, etc. Y poder hacer pruebas, ensayar, etc.
Este proyecto esta basado en dos características fundamentales,
1. Usar cualquier modelo creado en cinema4d o en cualquier programa de 3d, como pantalla led y la suma de estos en un stage virtual
2. Permitir la mezcla en vivo de visuales desde Arena y explorar en VR este resultado ejecutado en las pantallas del stage virtual.
El resultado es la simulación de un rig de pantallas o un sistema led con alimentación por canales de señal de video via spout in. En este caso la visualización final es a través de un sistema de VR HTC VIVE.

EL PROCESO

EL MODELO DE STAGE Y LED ARRAY

Se modelo en Cinema4d unos .obj muy sencillos, adjuntos aquí.
Hubo que modificar el UVW

LA SEÑAL DE VR Y LA CONEXIÓN A TOUCHDESIGNER

Como la necesidad es crear un proyecto para poder ver en VR un la simulacion un de VJ Mix multicanal, cree un proyecto muy simple basado en el proyecto standard de VR en touchD como aparece en https://docs.derivative.ca/images/e/e4/TouchDesigner_VR_Development_Environment_for_HTC_Vive.pdf
Aquí explica como es el proceso de conectar el harwdare de VR, en mi caso un HTC VIVE. Es extenso así que dejo el link para revisión. En pocas palabras solo necesita estar funcionando el casco de VR de la forma habitual que se usa con la aplicación SteamVR.
Una vez funcionando el VR de forma regular para jugar en Steam, se pasa abrir el archivo vRSimulatorforVj.toe adjunto

EL PROYECTO DE TOUCHDESIGNER

Abrir el archivo del proyecto. vRSimulatorforVj.toe, fue creado en la version demo de TouchDesigner 2020.
Abre mostrando la UI muy básica que fue creada para 3 señales que provienen de 3 salidas de spout en este caso desde Resolume Arena 6. Si no arranca así darle F1, para perform mode.
Con el puntero del mouse se mueven los slides de selección de cada canal hacia la simulación, en este punto ya se puede uno meter a las gafas
El botón final el Viewer 3d es un render 2d de una cámara al interior de la escena VR, y permite un preview 2d en una ventana nueva sin gafas de VR.

Al ejecutar el archivo .toe arranca la simulación, los tres slides de control seleccionan las señales que llegan a cada led, son 4 POSICIONES, al mover el slide con el puntero del mouse, va de 0 a 3 en este caso 0 (o totalmente a la izquierda) es la señal de el grid HD_1_1080p_1.png. 1,2 y 3 son las señales de spout out salientes desde Arena.

En, el editor, vaya a /TDVR/world/geoGround es donde uno pone y arma su mundo VJ.
Aqui en los SOP FileIn, van los obj que hacen de pantalla LED, puede llamar los archivos si están desconectados, usando los .obj incluidos en este proyecto, junto a su respectivo .mtl
Se deben colocar en el orden y archivo que aparecen marcados, el SOP marcado como StageTut_Spout1 tiene el StageTut_Spout1.obj y así.

El proyecto tiene también los .png de la señal de prueba o grids, 3 marcados. También debe llamarlos al archivo. Con esto en su lugar ya podemos ver en el visualizador del fondo de touch, como sale la señal de prueba a las pantallas LED virtuales.

Mire el tag RenderGeo y VRGeo en las GEO y VRLight en luces para que se vean en el entorno VR

PROYECTO SIN CONTROLES VR
El proyecto de touchD esta construido dentro del .tox original adjunto también, en donde hay controladores para los mandos del HTC pero en este proyecto no se trabajaron.

SEÑAL SPOUT ARENA

En el proyecto esta adjunto también la composición en arena 6, y el archivo .xml de la configuración de la salida avanzada de Arena usados en este proyecto.

Son 3 layers dirigidos a 3 salidas de Spout en hd1080.

En TouchD el operador de Spout in pueden aparecer con una x o en rojo se debe dar la ruta correcta a las salidas de Arena nuevamente una vez se eche a andar el proyecto en Resolume.

ANOTACIONES
Por demás es darle F1 y a mezclar en Resolume, las gafas de HTC tienen una configuración que permite tener una experiencia AR, pero con cierto delay puede ser mi sistema.
Este proyecto se hizo en un PC WIN 10 PRO, 16gb i7, nvidia1060ti 6gb, HTC VIVE, TD2020, Arena6, con un viejo APC40.
La suma de los adjuntos es: El proyecto .toe, imagenes, modelos 3d, el .tox original del blog de touch para VR. Los modelos del stage y de la barra truss son de libre circulación en la web.

RESULTADO FINAL
Finalmente lo que se logra es que al darle perform (F1) al proyecto de TouchD2020 se cargue el o los modelos 3d y en ellos las zonas determinadas como pantallas muestren las salidas del canal avanzado en ResolumeArena

Buscar este blog

vjFred