Um tempo atrás eu vi alguém trabalhando na geração de imagens de IA em tempo real em VR e eu tive que chamar sua atenção porque, francamente, não posso expressar o quão majestoso é assistir AR modulado por IA transformando o mundo diante de nós em gloriosas paisagens de sonho emergentes .

A aplicação de IA à realidade aumentada ou virtual não é um conceito novo, mas houve certas limitações na aplicação – o poder de computação é uma das principais barreiras ao seu uso prático. O software de geração de imagem Stable Diffusion, no entanto, é um algoritmo resumido para uso em hardware de nível de consumidor e foi lançado em uma licença Creative ML OpenRAIL-M. Isso significa que os desenvolvedores não apenas podem usar a tecnologia para criar e lançar programas sem alugar grandes quantidades de silício de servidor, mas também podem lucrar com suas criações.

ScottieFox TTV (si apre in una nuova scheda) é um criador que vem mostrando seu trabalho com o algoritmo em VR no twitter. “Fui acordado no meio da noite para conceituar este projeto”, diz ele. Como criador, entendo que as Musas gostam de atacar em horas ímpias.

O que eles trouxeram para ele foi uma amálgama de Stable Diffusion VR e TouchDesigner (si apre in una nuova scheda) mecanismo de construção de aplicativos, cujos resultados ele chama de “espaço latente imersivo em tempo real”. Isso pode soar como um absurdo hippie para alguns, mas o espaço latente é um conceito que fascina o mundo agora.

Em um nível básico, é uma frase que neste contexto descreve o potencial de expansão que a inteligência artificial traz para a realidade aumentada, pois reúne ideias da vastidão do desconhecido. Embora seja um conceito interessante, é um para um recurso em uma data posterior. No momento estou interessado em como o Stable Diffusion VR consegue funcionar tão bem em tempo real sem ativar nenhuma GPU do consumidor (mesmo o recente RTX 4090 (si apre in una nuova scheda)) em uma poça fumegante.

“Difundir pequenos pedaços no ambiente economiza recursos”, explica Scotty. “Pequenos clipes são enviados do motor para serem difundidos. Uma vez prontos, eles são enfileirados de volta na projeção.” As caixas azuis nas imagens aqui mostram as partes da imagem que estão sendo trabalhadas pelo algoritmo a qualquer momento. É uma maneira muito mais eficiente de fazê-lo funcionar em tempo real.

Qualquer pessoa que tenha usado uma ferramenta de geração de imagens on-line entenderá que uma única imagem pode levar até um minuto para ser criada, mas mesmo que demore um pouco para trabalhar em cada seção individual, os resultados ainda parecem estar acontecendo imediatamente, pois você não está focando esperando que uma única imagem termine de difundir. E, embora não no nível de fotorrealismo que possam ser um dia, os vídeos que Scotty está postando são absolutamente de tirar o fôlego.

Peixes-voadores na sala de estar, idéias de design de interiores em constante mudança, florestas exuberantes e paisagens noturnas evoluindo diante de seus olhos. Com a IA capaz de fazer projeções em nosso mundo físico em tempo real, há muito potencial para uso no espaço de jogos.

O CEO da Midjourney, David Holz, descreve o potencial dos jogos para um dia serem “sonhos” (si apre in una nuova scheda) e certamente parece que estamos nos movendo apressadamente nessa direção. No entanto, o próximo passo importante é navegar no campo minado que são os problemas de direitos autorais e proteção de dados (si apre in una nuova scheda) surgindo em torno dos conjuntos de dados que algoritmos como Stable Diffusion treinaram.