Hace un tiempo, vi a alguien trabajando en la generación de imágenes con IA en tiempo real en VR y tuve que llamar su atención sobre ello porque, francamente, no puedo expresar lo majestuoso que es ver cómo la RA modulada por IA transforma el mundo ante nosotros en gloriosos paisajes oníricos emergentes.

La aplicación de la IA a la realidad aumentada o virtual no es un concepto nuevo, pero ha habido ciertas limitaciones en su aplicación: la potencia computacional es una de las principales barreras para su uso práctico. Sin embargo, el software de generación de imágenes Stable Diffusion es un algoritmo simplificado para su uso en hardware de consumo y se ha publicado bajo una licencia Creative ML OpenRAIL-M. Esto significa que los desarrolladores no sólo pueden utilizar la tecnología para crear y lanzar programas sin alquilar grandes cantidades de silicio de servidor, sino que también pueden obtener ganancias de sus creaciones.

TTV de Scottie Fox (se abre en una nueva pestaña) es un creador que ha estado mostrando su trabajo con el algoritmo VR en Twitter. “Me desperté en mitad de la noche para conceptualizar este proyecto”, dice. Como creador, entiendo que a las Musas les gusta atacar en momentos impíos.

Lo que aportaron fue una amalgama de Stable Diffusion VR y Diseñador táctil (se abre en una nueva pestaña) motor de creación de aplicaciones, cuyos resultados denomina “espacio latente inmersivo en tiempo real”. Puede que esto parezca una tontería hippie para algunos, pero el espacio latente es un concepto que fascina al mundo en este momento.

En un nivel básico, es una frase que en este contexto describe el potencial de expansión que la inteligencia artificial aporta a la realidad aumentada, ya que reúne ideas de la inmensidad de lo desconocido. Si bien es un concepto interesante, lo abordaremos en una etapa posterior. Actualmente me interesa cómo Stable Diffusion VR logra funcionar tan bien en tiempo real sin activar ninguna GPU de consumo (ni siquiera la reciente RTX 4090). (se abre en una nueva pestaña)) en un charco humeante.

“Difundir pequeños trozos en el medio ambiente ahorra recursos”, explica Scotty. “Desde el motor se envían pequeños clips para su difusión. Una vez listos, se vuelven a alinear en la proyección”. Los cuadros azules en las imágenes aquí muestran las partes de la imagen en las que el algoritmo está trabajando en un momento dado. Es una forma mucho más eficiente de hacerlo funcionar en tiempo real.

Cualquiera que haya utilizado una herramienta de generación de imágenes en línea comprenderá que una sola imagen puede tardar hasta un minuto en crearse, pero aunque lleva un tiempo trabajar en cada sección individual, los resultados aún parecen estar sucediendo inmediatamente ya que no se está concentrando en esperar a que una sola imagen termine de difundirse. Y aunque no alcanzan el nivel de fotorrealismo que algún día podrían alcanzar, los videos que Scotty publica son absolutamente impresionantes.

Peces voladores en la sala de estar, ideas de diseño de interiores en constante cambio, bosques exuberantes y paisajes nocturnos que evolucionan ante tus ojos. Con una IA capaz de hacer proyecciones en nuestro mundo físico en tiempo real, existe un gran potencial de uso en el ámbito de los juegos.

David Holz, director ejecutivo de Midjourney, describe el potencial de que algún día los juegos se conviertan en “sueños” (se abre en una nueva pestaña) Y ciertamente parece que nos estamos moviendo precipitadamente en esa dirección. Sin embargo, el siguiente paso importante es navegar por el campo minado que son las cuestiones de derechos de autor y protección de datos. (se abre en una nueva pestaña) surgiendo alrededor de los conjuntos de datos en los que se han entrenado algoritmos como Stable Diffusion.