Point-E novo OpenAI rješenje koje generira 3D slike

OpenAI je proširio mogućnosti svog softvera za pretvaranje teksta u sliku s dvije na tri dimenzije izdavanjem Point-E, umjetne inteligencije koja generira 3D slike iz tekstualnih upita. Prema dokumentu objavljenom s kodnom bazom, Point-E ne zahtijeva vrhunsko računalo za rad i može generirati model za manje od dvije minute koristeći jednu Nvidia V100 GPU.

Ovime možemo vidjeti da bi generatori 3D modela mogli biti sljedeće otkriće koje će osvojiti svijet umjetne inteligencije. OpenAI je bio vrlo aktivan ove godine, jer smo na primjer ovdje na blogu govorili o tvrtki za njena dva velika projekta: Dall-E 2 i ChatGPT.

Između ove dvije masivne AI platforme, tvrtka je pomogla u generiranju slika i dugih dijelova teksta iz jednostavne tekstualne poruke, a sada se tvrtka vraća s trećim konceptom, lansiranim neposredno prije Božića kako bi izazvala pomutnju. Ovaj treći koncept, nazvan Point-E, slijedi sličan obrazac, stvarajući 3D sadržaj iz jednostavnih upita.

Kako je najavljeno u istraživačkom članku koji je objavio OpenAI tim, Point-E radi u dvije faze: prvo koristi umjetnu inteligenciju za pretvaranje teksta u sliku kako bi pretvorila vaš verbalni zahtjev u sliku, a zatim koristi drugu funkciju za transformaciju te slike u 3D model.

Point-E je otvorenog koda, a izvorni kod je dostupan na GitHubu . Unatoč tome, početak može biti malo kompliciran jer korisnici moraju biti razumno upoznati s alatima naredbenog retka, a sustav mora imati instaliran Python, za razliku od ChatGPT-a, gdje se korisnici mogu registrirati na web stranici i testirati svoje vještine.

Point-E ne stvara 3D objekte u tradicionalnom smislu; radije generira oblake točaka, odnosno diskretne skupove podatkovnih točaka u prostoru koji predstavljaju 3D oblik, otuda i ta drska kratica.

("E" u Point-E je skraćenica za "efficiency" jer je očito brži od prethodnih pristupa prikazivanju 3D objekata.) Prema programerima, oblake točaka je računalno lakše sintetizirati, ali oni ne hvataju oblik ili finu teksturu objekta, što je trenutno glavno ograničenje Point-E.

Kako bi prevladali ovo ograničenje , tim Point-E obučio je dodatni AI sustav za pretvaranje oblaka točaka Point-E u mreže. (Mreže - skupovi vrhova, rubova i površina koji definiraju objekt - često se koriste u 3D modeliranju i dizajnu.) No, istraživači u svom radu napominju da model ponekad može propustiti dijelove objekata , što rezultira iskrivljenim ili blokiranim oblicima. Osim modela koji generira mrežu, koji je samostalan, Point-E se sastoji od dva modela: modela teksta i slike i 3D modela slike.

Model pretvaranja teksta u sliku, sličan sustavima za generiranje umjetničkih djela poput DALL-E 2 i Stable Diffusion, treniran je na označenim slikama kako bi se razumjele veze između riječi i vizualnih koncepata . S druge strane, 3D model slike dobio je skup slika povezanih s 3D objektima kako bi se naučilo kako učinkovito prevesti to dvoje. Kada se zada tekstualna poruka, na primjer, "zupčanik za 3D ispis, jedan zupčanik promjera 7 cm i debljine 1 cm", Point-E-ov model pretvaranja teksta u sliku generira renderirani sintetički objekt koji se zatim prosljeđuje 3D modelu slike.

Potonji zatim generira oblak točaka. Nakon uvježbavanja modela na skupu podataka od "nekoliko milijuna" 3D objekata i povezanih metapodataka, Point-E je uspio proizvesti oblake točaka u boji koji su često odgovarali tekstualnim upitima, kažu istraživači OpenAI-ja. Nije savršeno: model 3D slike tvrtke Point-E ponekad ne razumije sliku iz modela tekstualne slike, što rezultira oblikom koji ne odgovara tekstualnoj poruci. Ipak, puno je brži od prethodnog stanja tehnike, barem prema OpenAI timu.

Rezultat je daleko od kvalitete komercijalnog 3D prikaza u filmu ili videoigri. Ali ne bi trebalo biti. Nakon što se unesu u 3D aplikaciju poput Blendera, mogu se pretvoriti u teksturirane mreže koje više nalikuju normalnim 3D slikama.

"Iako naša metoda još uvijek nije na visokoj razini u smislu kvalitete uzorkovanja, ona je jedan ili dva reda veličine brža, što je praktični kompromis za neke slučajeve upotrebe", objašnjavaju istraživači OpenAI-ja u radu koji opisuje projekt.

Konačno, ako ste zainteresirani saznati više o Point-E ili izvornom kodu, detalje možete pronaći na sljedećoj poveznici.