Dress-1-to-3 è una pipeline innovativa che consente la ricostruzione di abiti 3D separati, fisicamente plausibili e pronti per la simulazione, a partire da una singola immagine catturata in ambienti reali.
Questo approccio supera le limitazioni dei modelli precedenti, che spesso generavano abiti fusi in un unico pezzo, limitandone l’applicabilità in applicazioni come il virtual try-on e le animazioni dinamiche degli indumenti.
Il processo inizia con l’utilizzo di un modello pre-addestrato che genera un pattern di cucitura grezzo dall’immagine iniziale. Successivamente, un modello di diffusione multi-view pre-addestrato produce immagini da diverse angolazioni.
Queste immagini multi-view vengono utilizzate per affinare il pattern di cucitura attraverso un simulatore di abiti differenziabile, garantendo una rappresentazione accurata e pronta per la simulazione.
Esperimenti approfonditi hanno dimostrato che questo approccio migliora significativamente l’allineamento geometrico degli abiti e dei modelli umani ricostruiti rispetto all’immagine di input.
Integrando un modulo di generazione di texture e un modulo di generazione di movimenti umani, è possibile produrre dimostrazioni dinamiche di abiti che sono sia fisicamente plausibili che realistiche.
Per ulteriori dettagli e risorse, è possibile visitare la pagina del progetto:
https://arxiv.org/abs/2502.03449