Así va la alianza entre Meta y BMW en AR/VR

Nada es tan emocionante como la idea de viajar. Casi todo el mundo tiene recuerdos felices de haber sido conductor o pasajero, ya sea durante una conversación sincera con un amigo o familiar en un viaje épico por carretera, escuchando un podcast o su álbum favorito mientras conduce solo, o una combinación de ambos. . Pero, ¿y si pudiéramos hacer que el tiempo que pasamos en nuestros autos sea más útil, agradable y social que nunca?

Esta pregunta es la base de nuestra colaboración con BMW. Anunciado en 2021, el objetivo de este proyecto de investigación conjunta es explorar cómo la realidad virtual (VR) y la realidad aumentada (AR) podrían algún día estar integradas en los vehículos inteligentes para mejorar de forma segura la experiencia de los pasajeros. Durante mucho tiempo, BMW ha sido líder en tecnología automotriz innovadora —no por nada la llaman la máquina definitiva de conducción — y su grupo de investigación empezó a explorar las posibilidades de integrar AR en sus vehículos hace más de una década. De modo que el próximo paso natural era asociarse con Reality Labs Research y aunar fuerzas para intentar resolver este problema y elevar el nivel del futuro de los viajes.

Oculus Insight vs. la carretera abierta

Es posible que, en un inicio, no sea obvio el porqué ofrecer contenidos de AR/VR de calidad a los pasajeros de un automóvil es un reto. Después de todo, los visores de VR modernos están equipados con varios sensores. Y desde el debut comercial de la tecnología Oculus Insight de Meta en 2019, que combinó visión artificial con tecnología de punta en estimación de estado, pudimos “cortar el cable” y ofrecer un sistema de seguimiento que se puede adaptar al rango completo de movimientos de una persona (conocido como los seis grados de libertad o 6DOF), al tiempo que localiza la ubicación de dos controles, así como del visor en el espacio, todo con un rango de precisión de menos de un milímetro.

Pero los vehículos en movimiento imponen un desafío complicado: la tecnología de seguimiento como Oculus Insight usa tanto sensores inerciales (IMU por sus siglas en inglés) como cámaras para estimar con precisión la ubicación y el movimiento del visor. Sin embargo, en un entorno en movimiento —específicamente en un sistema de referencia no inercial—, estas dos modalidades entran en conflicto, ya que las cámaras observan el movimiento en relación con el interior del automóvil, mientras que los IMU miden la aceleración y la velocidad rotacional del vehículo en relación con el mundo. Esta incompatibilidad significa que los visores de VR actuales no pueden mostrar contenido virtual estable al viajar en un automóvil cuando este gira o acelera.

Al menos, hasta ahora.

Desafío aceptado

Para resolver este problema, colaboramos con BMW a fin de incorporar datos de IMU de la matriz de sensores de un automóvil BMW en tiempo real, al sistema de seguimiento de nuestros lentes de investigación del Proyecto Aria. Esta información adicional permite al sistema calcular la ubicación de los lentes en relación con el vehículo. Eso fue una gran hazaña porque, después de transferir el sistema de seguimiento a un Quest Pro, logramos anclar con precisión objetos virtuales en un automóvil en movimiento usando un gemelo digital del mismo. Esto nos permitió probar algunas experiencias atractivas para pasajeros, con realidad virtual y realidad mixta (MR, por sus siglas en inglés) en vehículos en movimiento usando este nuevo sistema de seguimiento y Meta Quest Pro. El próximo paso será agregar la ubicación del automóvil en relación con el camino y el espacio físico, lo que permitiría renderizar contenido anclado en el mundo real.

«Nuestro prototipo de investigación muestra que podemos brindar experiencias cómodas y entretenidas para pasajeros, con VR y MR, que estén ancladas en el propio automóvil, como videojuegos, entretenimiento, productividad e incluso experiencias de meditación”, señaló Richard Newcombe, vicepresidente de investigación científica de Reality Labs Research. “La tecnología tiene el potencial de transformar la manera en que podemos interactuar de forma segura con nuestro entorno mientras viajamos y, a medida que avanzamos en el desarrollo de contenido anclado en el mundo real y en el camino en lentes de AR y de manera confiable, creemos que será posible que los pasajeros vean cosas como marcadores para puntos de referencia, restaurantes, lugares de interés y mucho más».

Resultados iniciales de la investigación

Nuestro trabajo con BMW ha demostrado que, con las mediciones de IMU adicionales desde el vehículo, podemos ofrecer a los pasajeros contenido estable de VR y MR anclado en el automóvil mientras está en movimiento e incluso cuando gira rápidamente, pasa por reductores de velocidad o cuando acelera.

«Es muy pronto para decir exactamente cómo o cuándo llegará esta tecnología a los clientes, pero vemos diversos casos de uso potenciales de dispositivos de realidad extendida (XR, por sus siglas en inglés) en vehículos: desde asistir al conductor para encontrar su automóvil en un estacionamiento repleto, hasta alertarle de peligros en la carretera y mostrar información importante sobre la condición del vehículo», afirmó Claus Dorrer, líder de la oficina de tecnología del grupo BMW en Mountain View. «El alcance de los lentes de AR y los dispositivos de VR futuros, tanto para los pasajeros como para los conductores, es prometedor. La colaboración de investigación con Meta nos permitirá descubrir cómo podrían ser las experiencias de XR inmersivas en los vehículos en el futuro y liderar la integración eficaz de estos dispositivos en los automóviles».

El camino por delante

A largo plazo, esperamos poder seguir trabajando con BMW para aprovechar aún más las siempre crecientes capacidades de percepción computacional en los autos modernos, con el fin de permitir futuros casos de uso. El acceso al sistema de posicionamiento preciso (6DOF) del auto, podría permitir renderizar contenido virtual anclado en el espacio físico fuera del vehículo, como identificar puntos de referencia y otros de interés. Esperamos que esta capacidad sea invaluable para futuros lentes de AR y asistentes de inteligencia artificial personalizados.

Si lo logramos, esta tecnología podría revolucionar los viajes en autos, trenes, aviones y otros medios de transporte, además de brindar nuevas formas de comunicación, entretenimiento y servicios manos libres. Todo esto nos dará mucho más valor que las pantallas e instrumentos a los que estamos acostumbrados a ver en los vehículos actualmente.

Es una visión emocionante, sin duda. Y es un camino que estamos comprometidos a recorrer.

El metaverso no será creado por una sola empresa. Necesitará del trabajo conjunto de empresas pequeñas y grandes, desarrolladores, creadores, académicos y legisladores. Nuestra colaboración con BMW es un ejemplo de esto en Europa. Las instituciones académicas y de investigación industrial que estén interesadas en participar en el proyecto Aria pueden enviar sus propuestas aquí.

Al igual que nuestros socios académicos, BMW y cualquier futuro socio del sector deben de cumplir con nuestras Normas comunitarias de investigación del proyecto Aria.

* Nota: Los productos de Meta Quest no deben de usarse en vehículos en movimiento o al aire libre. Esta es una investigación de vanguardia que imagina qué posibilidades podría ofrecernos el futuro.