NVIDIA sta cercando di eliminare la difficoltà di creare mondi virtuali in 3D con un nuovo modello di intelligenza artificiale. GET3D è in grado di generare personaggi, edifici, veicoli e altri tipi di oggetti 3D, afferma NVIDIA. Il modello dovrebbe anche essere in grado di creare forme in modo rapido. L’azienda fa notare che GET3D può generare circa 20 oggetti al secondo utilizzando una singola GPU.
I ricercatori hanno addestrato il modello utilizzando immagini 2D sintetiche di forme 3D prese da più angolazioni. NVIDIA afferma che ci sono voluti solo due giorni per alimentare GET3D con circa 1 milione di immagini utilizzando le GPU Tensor Core A100. Il modello può creare oggetti con “texture ad alta fedeltà e dettagli geometrici complessi”, ha scritto Isha Salian di NVIDIA in un post sul blog. Le forme create da GET3D “hanno la forma di una maglia triangolare, come un modello di cartapesta, ricoperto da un materiale testurizzato”, ha aggiunto Salian.
Gli utenti dovrebbero essere in grado di importare rapidamente gli oggetti nei motori di gioco, nei modellatori 3D e nei renderizzatori cinematografici per la modifica, poiché GET3D li creerà in formati compatibili. Ciò significa che per gli sviluppatori potrebbe essere molto più facile creare mondi virtuali per i giochi e il metaverso. NVIDIA ha citato la robotica e l’architettura come altri casi d’uso.
L’azienda ha dichiarato che, sulla base di un set di dati di formazione di immagini di automobili, GET3D è stata in grado di generare berline, camion, auto da corsa e furgoni. È anche in grado di generare volpi, rinoceronti, cavalli e orsi dopo essere stata addestrata su immagini di animali. Come ci si potrebbe aspettare, NVIDIA osserva che quanto più ampio e diversificato è il set di addestramento alimentato da GET3D, “tanto più vario e dettagliato sarà l’output”.
Con l’aiuto di un altro strumento di intelligenza artificiale di NVIDIA, StyleGAN-NADA, è possibile applicare vari stili a un oggetto con suggerimenti basati su testo. È possibile applicare un look bruciato a un’auto, convertire un modello di casa in una casa infestata o come suggerisce un video che mostra la tecnologia, applicare strisce di tigre a qualsiasi animale.
Il team di ricerca NVIDIA che ha creato GET3D ritiene che le versioni future potrebbero essere addestrate su immagini del mondo reale anziché su dati sintetici. Potrebbe anche essere possibile addestrare il modello su vari tipi di forme 3D contemporaneamente, invece di doversi concentrare su una categoria di oggetti alla volta.
