Las cámaras de profundidad permiten capturar la presencia y posición del cuerpo. Junto con el actor de Isadora OpenNITracker, nos permiten reconstruir un esqueleto de cada cuerpo mostrando con precisión la posición en el espacio (x,y,z) de cada parte del cuerpo (manos, cabeza, pies, tronco, codos, rodillas, etc.).
Este tipo de tecnología comenzó usándose en la creación de videojuegos, para animar personajes 3D a partir de movimientos reales de un actor. Así mismo son una tecnología muy asequible para la creación de instalaciones interactivas que trabajan con la interacción de personas.
Las cámaras compatibles con Isadora 3, a fecha de hoy son Microsoft para Xbox 360, Orbbec Astra Pro y Astra Mini e Intel Realsense D435.
Actualmente, el actor de Isadora OpenNI Tracker admite tres cámaras con sensor de profundidad
- Microsoft Kinect para Xbox 360
- Orbbec Astra
- Intel Realsense D435.
Cámara de profundidad y tracking Microsoft Kinect para Xbox 360 (también conocida como Kinect v1)
Es la omnipresente cámara de seguimiento presentada en 2005 y que popularizó el seguimiento de esqueleto. Ha estado fuera de producción durante mucho tiempo, pero se puede comprar de segunda mano en Ebay o sitios similares.
En Isadora usamos el actor OpenNI Tracker que permite capturar una imagen de mapa de profundidad y realizar un seguimiento del cuerpo / esqueleto, utilizando cámaras de mapa de profundidad como Kinect v1, Orbbec Astra e Intel Realsense. Antes de existir este actor, utilizábamos algún programa tipo Delicode NI Mate para extraer los datos de captura de Kinect, y enviarlos a Isadora por OSC y mediante vídeo utilizando Shyphon. El nuevo actor OpenNI Tracker, simplifica enormemente la captura de movimiento y de profundidad.
Todo el proceso de captura de movimiento, tracking de rostro o de cuerpos, lo vemos en el Curso de Isadora para la Creación Artística. Los participantes en el taller, interesados en realizar instalaciones interactivas, o crear instrumentos visuales o sonoros que se activen con vuestro cuerpo, pueden adquirir una Kinect V1 usada, por un precio en torno a 12 ó 20 EUR. No es imprescindible adquirirla para el curso, pero es recomendable si se van a usar este tipo de técnicas, dado que tiene un precio muy bajo, y con ella puedes comenzar a trabajar con el tracking de cuerpos. Con la experiencia que os va a proporcionar la Kinect, podréis plantearos si os interesa adquirir algún dispositivo más avanzado. Para instalaciones sigue siendo un dispositivo totalmente válido.
Los nuevos OpenNI Tracker Actor y Skeleton Decoder Actors integran completamente el seguimiento corporal en Isadora 3. Una vez que haya instalado los complementos, no es necesario ejecutar software de terceros, configurar datos OSC o MIDI o configurar fuentes Syphon.
Microsoft Kinect para Xbox 360 (también conocido como el Kinect v1) es la cámara de seguimiento ubicuo introducida en 2005, que popularizó el tracking o seguimiento del esqueleto. Ha estado fuera de producción durante mucho tiempo, pero puedes comprarla usada en eBay o sitios similares por un precio muy razonable. Es muy importante que adquieras la fuente de alimentación adjunta, ya que de lo contrario no se conectará a tu ordenador.
Al tratarse de una tecnología que ya no usa la Xbox 360, podéis encontrar muy baratos los modelos de Kinect V1.
Dos cuestiones importantes a la hora de comprar:
- Es importante que esos sean los modelos 1414 y 1473, ya que los otros no funcionan.
- Debe venir con la fuente de alimentación adjunta o bien tener la posibilidad de comprarla por separado.
Las cámaras de profundidad y tracking Orbbec Astra Pro y Astra Mini
El sistema de detección es casi idéntico al Kiinect para Xbox 360 y, por lo tanto, funciona muy bien con el actor OpenNI Tracker. Otra de las ventajas del Orbbec Astra es que no requiere una fuente de alimentación externa. El Astra Pro tiene la ventaja de ofrecer una imagen en color RGB de 1280p de mayor resolución, pero está limitado por el hecho de que no puede proporcionar esta transmisión directamente al actor de OpenNI Tracker. (Sin embargo, Isadora la verá como una cámara web normal en la ventana Live Capture Settings) Por el contrario, el Astra Mini proporciona la transmisión de la cámara en color RGB directamente al actor de OpenNI Tracker con su limitación de que la imagen en color es solo de 640×480.
Web ASTRA PRO: https://orbbec3d.com/product-astra-pro/
Web Orbbec: https://orbbec3d.com/astra-mini-series/
El sensor de profundidad y tracking Intel Realsense D435
Utiliza una tecnología diferente a la de Kinect o Astra, y se basa en un par estéreo de cámaras infrarrojas para generar la imagen del mapa de profundidad. No es tan precisa en el tracking de esqueletos, pero ofrece una gran ventaja al alcanzar velocidades de hasta 90 fps. Eso significa una latencia más baja y un flujo de datos de seguimiento de mayor densidad. Si necesitas realizar un seguimiento del esqueleto en varios cuerpos, probablemente sea mejor con una Kinect v1 o un Astra. Pero si deseas utilizar la imagen del mapa de profundidad para realizar un seguimiento con los actores de Isadora’s Eyes o Eyes ++, las altas tasas de fotogramas que ofrece Realsense podrían ofrecer una ventaja notable.
Es importante que tengáis en cuenta que las cámaras de profundidad no son la única forma de hacer tracking de cuerpos u objetos en una escena. También podemos hacer tracking con los actores Eyes y Eyes++ con y sin infrarrojos, y capturando desde cualquier tipo de cámara. En el curso de Isadora par la creación artística vemos como crear un sistema de captura y tracking con Isadora, utilizando una webcam o una cámara de vídeo con luz infrarroja.