Point E je nová AI OpenAI na generovanie obrázkov
Spoločnosť OpenAI rozšírila možnosti svojho softvéru na prevod textu na obrázok z dvoch na tri rozmery vydaním Point-E, umelej inteligencie, ktorá generuje 3D obrázky z textových pokynov. Podľa dokumentu publikovaného spolu s kódovou základňou Point-E nevyžaduje na spustenie špičkový počítač a dokáže vygenerovať model za menej ako dve minúty pomocou jedinej grafickej karty Nvidia V100.
Vďaka tomu môžeme vidieť, že generátory 3D modelov by mohli byť ďalším prielomom, ktorý vezme svet AI útokom. OpenAI je tento rok veľmi aktívna, pretože napríklad tu na blogu sme hovorili o spoločnosti pre jej dva veľké projekty: Dall-E 2 a ChatGPT.
Vďaka týmto dvom masívnym platformám umelej inteligencie spoločnosť pomohla generovať obrázky a dlhé úseky textu z jednoduchej textovej správy a teraz sa spoločnosť vracia s tretím konceptom, ktorý uviedla na trh tesne pred Vianocami, aby vyvolala rozruch. Tento tretí koncept s názvom Point-E sa riadi podobným vzorom a vytvára 3D obsah z jednoduchých pokynov.
Ako bolo oznámené vo výskumnom článku publikovanom tímom OpenAI, Point-E pracuje v dvoch fázach: najprv použije umelú inteligenciu na prevod textu na obrázok na konverziu vašej slovnej požiadavky na obrázok a potom použije druhú funkciu na transformáciu tohto obrázka na 3D model.
Point-E je open source a zdrojový kód je dostupný na GitHub . Napriek tomu môže byť začiatok trochu zložitý, pretože používatelia musia byť primerane oboznámení s nástrojmi príkazového riadku a systém musí mať nainštalovaný Python, na rozdiel od ChatGPT, kde sa používatelia môžu zaregistrovať na webovej stránke a otestovať si svoje zručnosti.
Bod E nevytvára 3D objekty v tradičnom zmysle; skôr generuje mračná bodov, teda diskrétne súbory dátových bodov v priestore, ktoré predstavujú 3D tvar, odtiaľ pochádza tá drzá skratka.
("E" v bode-E je skratka pre "efektívnosť", pretože je zjavne rýchlejšia ako predchádzajúce prístupy k vykresľovaniu 3D objektov.) Podľa vývojárov sa oblaky bodov dajú výpočtovo ľahšie syntetizovať, ale nezachytávajú tvar alebo jemnú textúru objektu, čo je v súčasnosti hlavným obmedzením Point-E.
Aby sa toto obmedzenie prekonalo , tím Point-E natrénoval ďalší systém umelej inteligencie na konverziu mračien bodov Point-E na siete. (Sieť – súbory vrcholov, hrán a plôch, ktoré definujú objekt – sa bežne používajú v 3D modelovaní a dizajne.) Výskumníci však vo svojom článku poznamenávajú , že model môže niekedy vynechať časti objektov , čo má za následok skreslené alebo zablokované tvary. Okrem modelu generujúceho sieť, ktorý je samostatný, Point-E pozostáva z dvoch modelov: textovo-obrazového modelu a 3D obrazového modelu.
Model prevodu textu na obrázok, podobný systémom na generovanie umeleckých diel, ako sú DALL-E 2 a Stable Diffusion, bol trénovaný na označených obrázkoch, aby pochopil súvislosti medzi slovami a vizuálnymi konceptmi . 3D obrazový model bol na druhej strane privádzaný do sady obrázkov spojených s 3D objektmi, aby sa naučil, ako tieto dva pojmy efektívne preložiť. Keď je zadaná textová správa, napríklad „3D tlačiteľné ozubené koleso, jedno ozubené koleso s priemerom 7 cm a hrúbkou 1 cm“, model prevodu textu na obrázok od Point-E vygeneruje vykreslený syntetický objekt, ktorý sa potom odošle do 3D obrazového modelu.
Ten potom generuje mračno bodov. Po tréningu modelov na súbore údajov „niekoľko miliónov“ 3D objektov a súvisiacich metadát dokázal Point-E vytvoriť farebné mračná bodov, ktoré sa často zhodovali s textovými výzvami, hovoria výskumníci z OpenAI. Nie je dokonalý: 3D obrazový model Point-E niekedy nerozumie obrazu z textového obrazového modelu, výsledkom čoho je tvar, ktorý nezodpovedá textovej správe. Napriek tomu je oveľa rýchlejší ako predchádzajúci stav techniky, aspoň podľa tímu OpenAI.
Výsledok ani zďaleka nedosahuje kvalitu komerčného 3D stvárnenia vo filme či videohre. Ale vraj to tak nie je. Akonáhle sú vložené do 3D aplikácie, ako je Blender, môžu sa zmeniť na textúrované siete, ktoré vyzerajú skôr ako bežné 3D obrázky.
"Aj keď naša metóda stále nie je na špičkovej úrovni, pokiaľ ide o kvalitu vzorkovania, je o jeden alebo dva rády rýchlejšia, čo je pre niektoré prípady použitia praktický kompromis," vysvetľujú výskumníci OpenAI v dokumente popisujúcom projekt.
Nakoniec, ak máte záujem dozvedieť sa viac o Point-E alebo o zdrojovom kóde, podrobnosti nájdete na nasledujúcom odkaze.