Punkts E ir jaunais OpenAI AI attēlu ģenerēšanai
OpenAI ir paplašinājis savas teksta-attēla programmatūras iespējas no divām uz trim dimensijām, izlaižot Point-E — mākslīgo intelektu, kas ģenerē 3D attēlus no teksta uzvednēm. Saskaņā ar dokumentu, kas publicēts kopā ar koda bāzi, Point-E darbībai nav nepieciešams augstas klases dators, un tas var ģenerēt modeli mazāk nekā divās minūtēs, izmantojot vienu Nvidia V100 grafisko karti.
Tādējādi mēs varam redzēt, ka 3D modeļu ģeneratori varētu būt nākamais sasniegums, kas pārņems AI pasauli. OpenAI šogad ir bijis ļoti aktīvs, jo, piemēram, šeit emuārā mēs esam runājuši par uzņēmumu tā diviem galvenajiem projektiem: Dall-E 2 un ChatGPT.
Ar šo divu milzīgo mākslīgā intelekta platformu palīdzību uzņēmums palīdzēja ģenerēt attēlus un garus teksta fragmentus no vienkāršas īsziņas, un tagad uzņēmums ir atgriezies ar trešo koncepciju, kas tika laista klajā tieši pirms Ziemassvētkiem, lai radītu ažiotāžu. Šī trešā koncepcija ar nosaukumu Point-E seko līdzīgam modelim, radot 3D saturu no vienkāršām norādēm.
Pētījuma rakstā, ko publicēja OpenAI komanda, paziņots, ka Point-E darbojas divos posmos: vispirms tas izmanto teksta pārveidošanas attēlu mākslīgo intelektu, lai jūsu verbālo pieprasījumu pārvērstu attēlā, un pēc tam izmanto otro funkciju, lai pārveidotu šo attēlu 3D modelī.
Point-E ir atvērtā koda programmatūra, un pirmkods ir pieejams vietnē GitHub . Tomēr sākt darbu var būt nedaudz sarežģīti, jo lietotājiem ir jābūt samērā labi pārzinātiem komandrindas rīkus, un sistēmā ir jābūt instalētam Python, atšķirībā no ChatGPT, kur lietotāji var reģistrēties tīmekļa vietnē un pārbaudīt savas prasmes.
Point-E nerada 3D objektus tradicionālajā izpratnē; drīzāk tas ģenerē punktu mākoņus, tas ir, atsevišķus datu punktu kopumus telpā, kas attēlo 3D formu, tāpēc cēlies nekaunīgais saīsinājums.
("E" punktā E ir saīsinājums no "efektivitātes", jo tas acīmredzot ir ātrāks nekā iepriekšējās pieejas 3D objektu renderēšanai.) Pēc izstrādātāju domām, punktu mākoņus ir skaitļošanas ziņā vieglāk sintezēt, taču tie neuztver objekta formu vai smalko tekstūru, kas pašlaik ir galvenais Point-E ierobežojums.
Lai pārvarētu šo ierobežojumu , Point-E komanda apmācīja papildu mākslīgā intelekta sistēmu, lai pārveidotu Point-E punktu mākoņus režģos. (Režģi — virsotņu, malu un skaldņu kopumi, kas definē objektu — parasti tiek izmantoti 3D modelēšanā un dizainā.) Taču pētnieki savā rakstā norāda , ka modelī dažreiz var trūkt objektu daļu , kā rezultātā formas var būt izkropļotas vai bloķētas. Papildus režģa ģenerēšanas modelim, kas ir autonoms, Point-E sastāv no diviem modeļiem: teksta-attēla modeļa un 3D attēla modeļa.
Teksta-attēla modelis, līdzīgs mākslas darbu ģenerēšanas sistēmām, piemēram, DALL-E 2 un Stable Diffusion, tika apmācīts ar marķētiem attēliem, lai izprastu saistību starp vārdiem un vizuāliem jēdzieniem . Savukārt 3D attēla modelim tika padots ar 3D objektiem saistītu attēlu kopums, lai iemācītos efektīvi abus tulkot. Piemēram, ja tiek dots īsziņas ziņojums "3D drukājams zobrats, viens zobrats 7 cm diametrā un 1 cm biezumā", Point-E teksta-attēla modelis ģenerē atveidotu sintētisku objektu, kas pēc tam tiek nodots 3D attēla modelim.
Pēc tam pēdējais ģenerē punktu mākoni. Pēc modeļu apmācības datu kopā ar "vairākiem miljoniem" 3D objektu un saistīto metadatu, Point-E spēja radīt krāsainus punktu mākoņus, kas bieži saskanēja ar teksta uzvednēm, saka OpenAI pētnieki. Nav ideāls: Point-E 3D attēla modelis dažreiz nesaprot attēlu no teksta attēla modeļa, kā rezultātā veidojas forma, kas neatbilst īsziņai. Tomēr tas ir daudz ātrāk nekā iepriekšējais jaunākais sasniegums, vismaz saskaņā ar OpenAI komandu.
Rezultāts ir tālu no komerciāla 3D renderēšanas kvalitātes filmā vai videospēlē. Bet tā tam nav jābūt. Kad tie ir ievadīti 3D lietojumprogrammā, piemēram, Blender, tos var pārvērst par teksturētu sietu, kas vairāk izskatās pēc parastiem 3D attēliem.
"Lai gan mūsu metode joprojām nav līdz nullei attiecībā uz paraugu ņemšanas kvalitāti, tā ir par vienu vai divām kārtām ātrāka, kas ir praktisks kompromiss dažiem lietošanas gadījumiem," OpenAI pētnieki skaidro rakstā, kurā aprakstīts projekts.
Visbeidzot, ja vēlaties uzzināt vairāk par Point-E vai pirmkodu, informāciju varat atrast šajā saitē.