Titik E minangka AI anyar saka OpenAI kanggo nggawe gambar
OpenAI wis nambah kapabilitas saka piranti lunak teks ai sampeyangambar loro kanggo telung dimensi karo peluncuran saka Titik-E, siji AI sing ngasilake gambar 3D saka pituduh teks. Miturut dokumen basis kode sing diterbitake, Point-E ora mbutuhake komputer dhuwur-dhuwur kanggo mbukak lan bisa ngasilake model kurang saka rong menit kanthi GPU Nvidia V100 siji.
Kanthi iki, kita bisa ndeleng manawa generator model 3D bisa dadi terobosan sabanjure sing bakal njupuk jagad AI kanthi badai. OpenAI wis aktif banget ing taun iki, amarga contone ing blog kita wis ngomong babagan perusahaan kanggo rong proyek utama: Dall-E 2 lan ChatGPT.
Ing antarane rong platform AI gedhe iki, perusahaan mbantu ngasilake gambar lan teks dawa saka pesen teks sing prasaja, lan saiki perusahaan bali karo konsep katelu, kang dibukak sadurunge Natal kanggo nggugah kapentingan everyone. Konsep katelu iki, dijuluki Point-E, nderek pola sing padha, nggawe konten 3D saka pituduh prasaja.
Diumumake ing makalah riset sing diterbitake dening tim OpenAI, Point-E dianggo ing rong tahap: pisanan nggunakake AI teks-kanggo-gambar kanggo ngowahi panjalukan lisan dadi gambar, banjur gunakake fungsi liya kanggo ngowahi gambar iki dadi model 3D.
Point-E minangka sumber terbuka lan kode sumber kasedhiya ing Github. Nanging, bisa uga rada angel kanggo nyoba amarga pangguna kudu ngerti alat baris perintah lan sistem kasebut kudu duwe Python, ora kaya ChatGPT ing ngendi pangguna bisa mlebu menyang situs web lan nyoba katrampilan. .
Point-E ora nggawe obyek 3D ing pangertèn tradisional, rodo, iku njedulake awan titik, yaiku, set diskrèt saka titik data ing papan sing makili wangun 3D, Empu singkatan cheeky.
("E" ing Point-E singkatan saka "efisiensi" amarga ketoke luwih cepet tinimbang pendekatan sadurunge kanggo nerjemahake obyek 3D.) Miturut pangembang, awan titik luwih gampang disintesis sacara komputasi, nanging ora bisa nangkep wujud utawa tekstur obyek sing apik, sing saiki dadi watesan utama Point-E.
Kanggo ngindhari watesan iki, tim Point-E nglatih sistem AI tambahan kanggo ngowahi awan titik Point-E dadi bolong. (Meshes, koleksi vertex, pinggir, lan pasuryan sing nemtokake obyek, biasane digunakake ing modeling lan desain 3D.) Nanging peneliti padha nuduhake ing artikel kang model kadhangkala bisa kantun bagean obyek, nyebabake wangun sing kleru utawa diblokir. Saliyane model generasi bolong, sing mandhiri, Point-E kasusun saka rong model: model gambar teks lan model gambar 3D.
Model gambar teks, padha karo sistem generasi karya seni kaya DALL-E 2 lan Stable Diffusion, dilatih ing gambar labeled kanggo mangerteni asosiasi antarane tembung lan konsep visual. Model gambar 3D, ing sisih liya, diwenehi set gambar sing ana gandhengane karo obyek 3D kanggo sinau babagan nerjemahake loro kasebut kanthi efektif. Nalika diwenehi pesen teks, contone "pinter cetak 3D, gear siji diameteripun 7cm lan kandel 1cm", model teks-kanggo-gambar Point-E ngasilake obyek sintetik render menyang gambar. -Model 3d.
Sing terakhir banjur ngasilake awan poin. Sawise nglatih model ing set data "sawetara yuta" obyek 3D lan metadata sing gegandhengan, Point-E bisa ngasilake awan titik berwarna sing asring cocog karo pituduh teks, ujare peneliti OpenAI. Ora sampurna: Model gambar 3D Point-E kadhangkala ora ngerti gambar saka model gambar teks, nyebabake wangun sing ora cocog karo pesen teks. Isih, luwih cepet tinimbang negara sadurunge, paling ora miturut tim OpenAI.
Asil adoh saka tekan kualitas rendering 3D komersial ing film utawa video game. Nanging ora mesthine. Sawise disedhiyakake menyang aplikasi 3D kaya Blender, bisa diowahi dadi bolong tekstur sing katon kaya gambar 3D normal.
"Sanajan cara kita isih ora nganti ngeruk babagan kualitas sampling, iku siji utawa rong urutan gedhene luwih cepet, sing minangka kompromi praktis kanggo sawetara kasus panggunaan," peneliti OpenAI nerangake ing kertas sing nggambarake proyek kasebut.
Akhire ya sampeyan kasengsem ing bisa ngerti kode sumber utawa liyane babagan Point-E sampeyan bisa mriksa rincian ing link ing ngisor iki.
Dadi pisanan komentar