L’interesse per l’uso dell’intelligenza artificiale generativa nella creazione di spazi 3D per la realtà virtuale (VR) è in crescita. Tuttavia, i modelli attuali creano ambienti artificiali che non supportano bene le attività collaborative legate al contesto fisico dell’utente. Per migliorare la telepresenza VR, presentiamo SpaceBlender, una pipeline innovativa che utilizza l’IA generativa per integrare l’ambiente fisico degli utenti in spazi virtuali unificati.
Questa pipeline trasforma immagini 2D in ambienti 3D ricchi di contesto attraverso stima della profondità, allineamento della mesh e completamento dello spazio basato su diffusione, guidato da priorità geometriche e prompt di testo adattivi. In uno studio preliminare con 20 partecipanti, che hanno svolto un’attività collaborativa di diagrammazione di affinità VR in coppia, abbiamo confrontato SpaceBlender con un ambiente virtuale generico e un framework di generazione di scene avanzato.
I partecipanti hanno apprezzato la maggiore familiarità e il contesto di SpaceBlender, ma hanno anche rilevato che la complessità degli ambienti generativi poteva distrarre dal compito. Basandoci sul feedback, proponiamo miglioramenti alla pipeline e discutiamo il valore e la progettazione di spazi misti per vari scenari.
SpaceBlender (in allegato) è un innovativo strumento sviluppato da Microsoft Research che sfrutta l’intelligenza artificiale generativa per migliorare la collaborazione in realtà virtuale (VR). Questo strumento è progettato per elaborare immagini 2D caricate dagli utenti, trasformandole in ambienti 3D immersivi. In questo modo, facilita esperienze collaborative in tempo reale.