Point E je novi AI OpenAI-ja za generiranje slika
OpenAI ima proširene mogućnosti vašeg softvera za AI tekstdvo- do trodimenzionalnu sliku sa lansiranje Točka-E, u AI koja generira 3D slike iz tekstualnih upita. Prema objavljenom dokumentu baze kodova, Point-E ne zahtijeva vrhunsko računalo za rad i može generirati model za manje od dvije minute s jednim Nvidia V100 GPU-om.
Ovime možemo vidjeti da bi generatori 3D modela mogli biti sljedeće otkriće koje će osvojiti svijet umjetne inteligencije. OpenAI je bio vrlo aktivan ove godine, jer smo na primjer ovdje na blogu govorili o tvrtki za njena dva velika projekta: Dall-E 2 i ChatGPT.
Između ove dvije masivne AI platforme, tvrtka je pomogla generirati slike i dugačak tekst iz jednostavne tekstualne poruke, a sada se tvrtka vratila s trećim konceptom koji je lansirala neposredno prije Božića kako bi pobudila interes svih. Ovaj treći koncept, nazvan Point-E, slijedi sličan obrazac, stvarajući 3D sadržaj iz jednostavnih upita.
Najavljeno u istraživačkom radu koji je objavio tim OpenAI, Point-E radi u dvije faze: prvi koristi AI tekst-u-sliku pretvoriti vaš usmeni zahtjev u sliku, zatim upotrijebite drugu funkciju za transformaciju ove slike u 3D model.
Point-E je otvorenog koda i izvorni kod je dostupan na Githubu. Ipak, može biti malo nezgodno pokušati, jer će korisnici morati biti prilično upoznati s alatima naredbenog retka, a sustav mora imati Python, za razliku od ChatGPT-a, gdje se korisnici mogu prijaviti na web mjesto i testirati svoje vještine. .
Point-E ne stvara 3D objekte u tradicionalnom smislu, nego generira oblake točaka, to jest diskretne skupove podatkovnih točaka u prostoru koje predstavljaju 3D oblik, otuda i drska kratica.
("E" u Point-E je skraćenica za "efficiency" jer je očito brži od prethodnih pristupa prikazivanju 3D objekata.) Prema programerima, oblake točaka je računalno lakše sintetizirati, ali oni ne hvataju oblik ili finu teksturu objekta, što je trenutno glavno ograničenje Point-E.
Da biste izbjegli ovo ograničenje, Point-E tim je istrenirao dodatni AI sustav za pretvaranje oblaka točaka Point-E u mreže. (Mreže, zbirke vrhova, rubova i lica koje definiraju objekt, obično se koriste u 3D modeliranju i dizajnu.) Ali istraživači ističu u svom članku koji je model ponekad može propustiti dijelove objekata, što rezultira iskrivljenim ili blokiranim oblicima. Osim modela generiranja mreže, koji je samostalan, Point-E se sastoji od dva modela: modela tekstualne slike i 3D modela slike.
Model teksta i slike, sličan sustavima za generiranje umjetničkih djela kao što su DALL-E 2 i Stable Diffusion, obučeni na označenim slikama za razumijevanje asocijacija između riječi i vizualnih koncepata. Model 3D slike, s druge strane, dobio je skup slika povezanih s 3D objektima kako bi naučio kako ih učinkovito prevesti. Kada se dobije tekstualna poruka, na primjer "3D zupčanik koji se može ispisati, jedan zupčanik promjera 7 cm i debljine 1 cm", model teksta u sliku tvrtke Point-E generira renderirani sintetički objekt koji ide na sliku. -3d model.
Potonji zatim generira oblak točaka. Nakon uvježbavanja modela na skupu podataka od "nekoliko milijuna" 3D objekata i povezanih metapodataka, Point-E je uspio proizvesti oblake točaka u boji koji su često odgovarali tekstualnim upitima, kažu istraživači OpenAI-ja. Nije savršeno: model 3D slike tvrtke Point-E ponekad ne razumije sliku iz modela tekstualne slike, što rezultira oblikom koji ne odgovara tekstualnoj poruci. Ipak, puno je brži od prethodnog stanja tehnike, barem prema OpenAI timu.
Rezultat je daleko od kvalitete komercijalnog 3D prikaza u filmu ili videoigri. Ali ne bi trebalo biti. Nakon što se unesu u 3D aplikaciju poput Blendera, mogu se pretvoriti u teksturirane mreže koje više nalikuju normalnim 3D slikama.
"Iako naša metoda još uvijek nije na visokoj razini u smislu kvalitete uzorkovanja, ona je jedan ili dva reda veličine brža, što je praktični kompromis za neke slučajeve upotrebe", objašnjavaju istraživači OpenAI-ja u radu koji opisuje projekt.
Napokon da želite znati izvorni kod ili više o Point-E možete provjeriti detalje u sljedeći link.