Point E è la nuova AI di OpenAI per la generazione di immagini
OpenAI ha ampliato le capacità del suo software di conversione testo-immagine da due a tre dimensioni con il rilascio di Point-E, un'intelligenza artificiale in grado di generare immagini 3D a partire da input testuali. Secondo un documento pubblicato insieme al codice sorgente, Point-E non richiede un computer di fascia alta per funzionare e può generare un modello in meno di due minuti utilizzando una singola GPU Nvidia V100.
Con questo possiamo vedere che i generatori di modelli 3D potrebbero essere la prossima svolta che prenderà d'assalto il mondo dell'IA. OpenAI è stata molto attiva quest'anno, visto che ad esempio qui sul blog abbiamo parlato dell'azienda per i suoi due grandi progetti: Dall-E 2 e ChatGPT.
Grazie a queste due enormi piattaforme di intelligenza artificiale, l'azienda è riuscita a generare immagini e lunghi testi a partire da un semplice messaggio di testo. Ora, lanciata poco prima di Natale per suscitare interesse, presenta un terzo progetto, chiamato Point-E, che segue uno schema simile, creando contenuti 3D a partire da semplici input.
Annunciato in un articolo di ricerca pubblicato dal team OpenAI, Point-E funziona in due fasi: in primo luogo utilizza un'intelligenza artificiale di conversione testo-immagine per trasformare la richiesta verbale in un'immagine, quindi utilizza una seconda funzione per trasformare quest'immagine in un modello 3D.
Point-E è open source e il codice sorgente è disponibile su GitHub . Ciononostante, iniziare può risultare un po' complicato, poiché gli utenti devono avere una discreta familiarità con gli strumenti da riga di comando e il sistema deve avere Python installato, a differenza di ChatGPT, dove gli utenti possono registrarsi su un sito web e mettere alla prova le proprie competenze.
Point-E non crea oggetti 3D nel senso tradizionale del termine; piuttosto, genera nuvole di punti, ovvero insiemi discreti di punti dati nello spazio che rappresentano una forma 3D, da cui l'abbreviazione ironica.
(La "E" in Point-E è l'abbreviazione di "efficienza" poiché è apparentemente più veloce dei precedenti approcci al rendering di oggetti 3D.) Secondo gli sviluppatori, le nuvole di punti sono computazionalmente più facili da sintetizzare, ma non catturano la forma o la trama fine di un oggetto, che è attualmente una delle principali limitazioni di Point-E.
Per superare questa limitazione , il team di Point-E ha addestrato un ulteriore sistema di intelligenza artificiale per convertire le nuvole di punti di Point-E in mesh. (Le mesh, ovvero insiemi di vertici, spigoli e facce che definiscono un oggetto, sono comunemente utilizzate nella modellazione e nella progettazione 3D). Tuttavia, i ricercatori osservano nel loro articolo che il modello a volte può tralasciare parti degli oggetti , con conseguenti forme distorte o incomplete. Oltre al modello di generazione delle mesh, che è autonomo, Point-E è composto da due modelli: un modello di testo-immagine e un modello di immagine 3D.
Il modello di conversione testo-immagine, simile ai sistemi di generazione di opere d'arte come DALL-E 2 e Stable Diffusion, è stato addestrato su immagini etichettate per comprendere le associazioni tra parole e concetti visivi . Il modello di immagine 3D, d'altra parte, è stato alimentato con un set di immagini associate a oggetti 3D per imparare a tradurre efficacemente i due elementi. Ad esempio, quando viene fornito un messaggio di testo, "un ingranaggio stampabile in 3D, un singolo ingranaggio di 7 cm di diametro e 1 cm di spessore", il modello di conversione testo-immagine di Point-E genera un oggetto sintetico renderizzato che viene poi passato al modello di immagine 3D.
Quest'ultimo genera quindi una nuvola di punti. Dopo aver addestrato i modelli su un set di dati di "diversi milioni" di oggetti 3D e metadati associati, Point-E è stato in grado di produrre nuvole di punti colorate che spesso corrispondevano a messaggi di testo, affermano i ricercatori di OpenAI. Non perfetto: il modello di immagine 3D di Point-E a volte non comprende l'immagine dal modello di immagine di testo, risultando in una forma che non corrisponde al messaggio di testo. Tuttavia, è molto più veloce del precedente stato dell'arte, almeno secondo il team OpenAI.
Il risultato è ben lungi dal raggiungere la qualità di un rendering 3D commerciale in un film o in un videogioco. Ma non dovrebbe esserlo. Una volta inseriti in un'applicazione 3D come Blender, possono essere trasformati in mesh strutturate che assomigliano più a normali immagini 3D.
"Sebbene il nostro metodo non sia ancora all'altezza in termini di qualità del campionamento, è uno o due ordini di grandezza più veloce, il che è un compromesso pratico per alcuni casi d'uso", spiegano i ricercatori di OpenAI nel documento che descrive il progetto.
Infine, se siete interessati a saperne di più su Point-E o sul codice sorgente, potete trovare i dettagli al seguente link.