Point E je nova umetna inteligenca OpenAI za ustvarjanje slik
OpenAI je razširil zmogljivosti svoje programske opreme za pretvorbo besedila v sliko z dveh na tri dimenzije z izdajo Point-E, umetne inteligence, ki iz besedilnih pozivov ustvarja 3D-slike. Glede na dokument, objavljen skupaj s kodno bazo, Point-E za delovanje ne potrebuje zmogljivega računalnika in lahko z eno samo grafično kartico Nvidia V100 ustvari model v manj kot dveh minutah.
S tem lahko vidimo, da bi lahko bili generatorji 3D modelov naslednji preboj, ki bo prevzel svet umetne inteligence. OpenAI je bil letos zelo aktiven, saj smo na primer tukaj na blogu govorili o podjetju za njegova dva velika projekta: Dall-E 2 in ChatGPT.
S tema dvema ogromnima platformama umetne inteligence je podjetje pomagalo ustvarjati slike in dolge dele besedila iz preprostega besedilnega sporočila, zdaj pa se je podjetje vrnilo s tretjim konceptom, ki ga je predstavilo tik pred božičem, da bi povzročilo veliko zanimanja. Ta tretji koncept, imenovan Point-E, sledi podobnemu vzorcu in ustvarja 3D-vsebino iz preprostih pozivov.
Kot je bilo objavljeno v raziskovalnem članku, ki ga je objavila ekipa OpenAI, Point-E deluje v dveh fazah: najprej z umetno inteligenco, ki pretvarja besedilo v sliko , pretvori vašo ustno zahtevo v sliko, nato pa z drugo funkcijo to sliko pretvori v 3D-model.
Point-E je odprtokoden in izvorna koda je na voljo na GitHubu . Kljub temu je lahko začetek nekoliko zapleten, saj morajo biti uporabniki dokaj seznanjeni z orodji ukazne vrstice, sistem pa mora imeti nameščen Python, za razliko od ChatGPT, kjer se lahko uporabniki registrirajo na spletnem mestu in preizkusijo svoje znanje.
Point-E ne ustvarja 3D-objektov v tradicionalnem smislu; temveč ustvarja oblake točk, torej diskretne nabore podatkovnih točk v prostoru, ki predstavljajo 3D-oblikovanje, od tod tudi predrzna okrajšava.
(»E« v Point-E je okrajšava za »učinkovitost«, saj je očitno hitrejši od prejšnjih pristopov k upodabljanju 3D-predmetov.) Po mnenju razvijalcev je oblake točk računalniško lažje sintetizirati, vendar ne zajamejo oblike ali fine teksture predmeta, kar je trenutno glavna omejitev Point-E.
Da bi premagali to omejitev , je ekipa Point-E usposobila dodaten sistem umetne inteligence za pretvorbo oblakov točk Point-E v mreže. (Mreže – zbirke oglišč, robov in ploskev, ki definirajo objekt – se pogosto uporabljajo pri 3D-modeliranju in oblikovanju.) Vendar pa raziskovalci v svojem članku ugotavljajo , da lahko model včasih zgreši dele objektov , kar povzroči popačene ali blokirane oblike. Poleg modela za ustvarjanje mreže, ki je samostojen, Point-E sestavljata dva modela: model s tekstom in sliko ter model s 3D-sliko.
Model pretvorbe besedila v sliko, podoben sistemom za ustvarjanje umetniških del, kot sta DALL-E 2 in Stable Diffusion, je bil usposobljen na označenih slikah, da bi razumel povezave med besedami in vizualnimi koncepti . Model 3D-slike pa je bil posredovan z nizom slik, povezanih s 3D-predmeti, da bi se naučil, kako učinkovito prevesti oboje. Ko prejme besedilno sporočilo, na primer »zobnik, ki ga je mogoče natisniti v 3D, en zobnik s premerom 7 cm in debelino 1 cm«, model pretvorbe besedila v sliko Point-E ustvari upodobljen sintetični objekt, ki se nato posreduje modelu 3D-slike.
Slednji nato ustvari oblak točk. Po urjenju modelov na naboru podatkov "nekaj milijonov" 3D-predmetov in povezanih metapodatkov je Point-E uspel izdelati barvne oblake točk, ki so se pogosto ujemali z besedilnimi pozivi, pravijo raziskovalci OpenAI. Ni popolno: 3D slikovni model Point-E včasih ne razume slike iz besedilnega slikovnega modela, zaradi česar se oblika ne ujema z besedilnim sporočilom. Kljub temu je veliko hitrejši od prejšnjega stanja tehnike, vsaj glede na ekipo OpenAI.
Rezultat še zdaleč ne dosega kakovosti komercialnega 3D upodabljanja v filmu ali videoigri. Ampak ne bi smelo biti. Ko se vnesejo v 3D-aplikacijo, kot je Blender, jih je mogoče spremeniti v teksturirane mreže, ki so videti bolj kot običajne 3D-slike.
"Čeprav naša metoda še vedno ni na ravni kakovosti vzorčenja, je za en ali dva reda velikosti hitrejša, kar je praktičen kompromis za nekatere primere uporabe," pojasnjujejo raziskovalci OpenAI v dokumentu, ki opisuje projekt.
Če vas zanima več o Point-E ali izvorni kodi, lahko podrobnosti najdete na naslednji povezavi.