Point E je novi AI OpenAI za generiranje slika
OpenAI je proširio mogućnosti svog softvera za pretvaranje teksta u sliku sa dvije na tri dimenzije izdavanjem Point-E, umjetne inteligencije koja generira 3D slike iz tekstualnih upita. Prema dokumentu objavljenom s kodnom bazom, Point-E ne zahtijeva vrhunski računar za rad i može generirati model za manje od dvije minute koristeći jednu Nvidia V100 grafičku karticu.
Sa ovim možemo vidjeti da bi generatori 3D modela mogli biti sljedeći proboj koji će osvojiti svijet AI olujom. OpenAI je bio vrlo aktivan ove godine, jer smo na primjer ovdje na blogu govorili o kompaniji za njena dva velika projekta: Dall-E 2 i ChatGPT.
Između ove dvije masivne AI platforme, kompanija je pomogla u generiranju slika i dugih dijelova teksta iz jednostavne tekstualne poruke, a sada se kompanija vraća s trećim konceptom, lansiranim neposredno prije Božića kako bi izazvala pažnju. Ovaj treći koncept, nazvan Point-E, slijedi sličan obrazac, kreirajući 3D sadržaj iz jednostavnih uputa.
Kako je najavljeno u istraživačkom članku koji je objavio OpenAI tim, Point-E radi u dvije faze: prvo koristi umjetnu inteligenciju koja pretvara tekst u sliku kako bi pretvorila vaš verbalni zahtjev u sliku, a zatim koristi drugu funkciju za transformaciju ove slike u 3D model.
Point-E je otvorenog koda, a izvorni kod je dostupan na GitHub-u . Uprkos tome, početak može biti malo nezgodno, jer korisnici moraju biti razumno upoznati s alatima komandne linije, a sistem mora imati instaliran Python, za razliku od ChatGPT-a, gdje se korisnici mogu registrirati na web stranici i testirati svoje vještine.
Point-E ne kreira 3D objekte u tradicionalnom smislu; umjesto toga, generira oblake tačaka, odnosno diskretne skupove tačaka podataka u prostoru koji predstavljaju 3D oblik, otuda i ta drska skraćenica.
("E" u Point-E je skraćenica za "efikasnost" jer je očigledno brža od prethodnih pristupa prikazivanju 3D objekata.) Prema programerima, oblake tačaka je računarski lakše sintetizirati, ali oni ne hvataju oblik ili finu teksturu objekta, što je trenutno glavno ograničenje Point-E.
Da bi prevazišli ovo ograničenje , tim Point-E je obučio dodatni AI sistem da pretvori Point-E oblake tačaka u mreže. (Mreže - kolekcije vrhova, ivica i površina koje definišu objekat - se često koriste u 3D modeliranju i dizajnu.) Ali istraživači u svom radu napominju da model ponekad može propustiti dijelove objekata , što rezultira iskrivljenim ili blokiranim oblicima. Pored modela koji generiše mrežu, koji je samostalan, Point-E se sastoji od dva modela: modela teksta i slike i 3D modela slike.
Model pretvaranja teksta u sliku, sličan sistemima za generiranje umjetničkih djela poput DALL-E 2 i Stable Diffusion, obučavan je na označenim slikama kako bi se razumjele veze između riječi i vizualnih koncepata . S druge strane, 3D model slike dobio je skup slika povezanih s 3D objektima kako bi se naučilo kako efikasno prevesti ta dva pojma. Kada se primi tekstualna poruka, na primjer, "zupčanik koji se može printati u 3D formatu, jedan zupčanik promjera 7 cm i debljine 1 cm", Point-E-ov model pretvaranja teksta u sliku generira renderirani sintetički objekt koji se zatim prosljeđuje 3D modelu slike.
Potonji onda generiše oblak tačaka. Nakon obučavanja modela na skupu podataka od "nekoliko miliona" 3D objekata i povezanih metapodataka, Point-E je bio u mogućnosti da proizvede obojene oblake tačaka koji se često podudaraju sa tekstualnim upitima, kažu istraživači OpenAI. Nije savršeno: 3D model slike Point-E ponekad ne razumije sliku iz modela tekstualne slike, što rezultira oblikom koji ne odgovara tekstualnoj poruci. Ipak, mnogo je brži od prethodnog stanja tehnike, barem prema OpenAI timu.
Rezultat je daleko od dostizanja kvaliteta komercijalnog 3D renderiranja u filmu ili video igrici. Ali ne bi trebalo da bude. Kada se unesu u 3D aplikaciju kao što je Blender, mogu se pretvoriti u teksturirane mreže koje više liče na normalne 3D slike.
"Iako naša metoda još uvijek nije na visini zadatka u pogledu kvaliteta uzorkovanja, ona je brža za jedan ili dva reda veličine, što je praktičan kompromis za neke slučajeve upotrebe", objašnjavaju istraživači OpenAI u radu koji opisuje projekat.
Konačno, ako ste zainteresirani da saznate više o Point-E ili izvornom kodu, detalje možete pronaći na sljedećem linku.