Titik E ialah AI baharu OpenAI untuk penjanaan imej
OpenAI telah mengembangkan keupayaan perisian teks-ke-imejnya daripada dua kepada tiga dimensi dengan pelancaran Point-E, sejenis AI yang menjana imej 3D daripada gesaan teks. Menurut dokumen yang diterbitkan bersama pangkalan kod, Point-E tidak memerlukan komputer canggih untuk dijalankan dan boleh menjana model dalam masa kurang daripada dua minit menggunakan GPU Nvidia V100 tunggal.
Dengan ini kita dapat melihat bahawa penjana model 3D boleh menjadi kejayaan seterusnya yang akan membawa dunia AI dengan ribut. OpenAI telah sangat aktif tahun ini, kerana sebagai contoh di sini di blog kami telah bercakap tentang syarikat untuk dua projek utamanya: Dall-E 2 dan ChatGPT.
Antara dua platform AI yang besar ini, syarikat itu membantu menjana imej dan teks yang panjang daripada mesej teks yang ringkas, dan kini syarikat itu kembali dengan konsep ketiga, yang dilancarkan sejurus sebelum Krismas untuk menjana berita. Konsep ketiga ini, yang dipanggil Point-E, mengikuti corak yang serupa, mencipta kandungan 3D daripada gesaan mudah.
Diumumkan dalam artikel penyelidikan yang diterbitkan oleh pasukan OpenAI, Point-E berfungsi dalam dua peringkat: pertama ia menggunakan AI teks-ke-imej untuk menukar permintaan lisan anda kepada imej, kemudian ia menggunakan fungsi kedua untuk mengubah imej ini kepada model 3D.
Point-E ialah sumber terbuka dan kod sumbernya tersedia di GitHub . Walaupun begitu, ia mungkin agak sukar untuk bermula, kerana pengguna perlu agak biasa dengan alatan baris arahan dan sistem mesti memasang Python, tidak seperti ChatGPT, di mana pengguna boleh mendaftar di laman web dan menguji kemahiran mereka.
Titik-E tidak mencipta objek 3D dalam erti kata tradisional; sebaliknya, ia menghasilkan awan titik, iaitu set titik data diskret dalam ruang yang mewakili bentuk 3D, oleh itu singkatan yang nakal itu.
("E" dalam Point-E adalah singkatan untuk "kecekapan" kerana ia nampaknya lebih pantas daripada pendekatan sebelumnya untuk memaparkan objek 3D.) Menurut pembangun, awan titik adalah lebih mudah untuk disintesis dari segi pengiraan, tetapi ia tidak menangkap bentuk atau tekstur halus objek, yang merupakan had utama Point-E pada masa ini.
Untuk mengatasi batasan ini , pasukan Point-E melatih sistem AI tambahan untuk menukar awan titik Point-E menjadi jejaring. (Jejaring—koleksi bucu, tepi dan permukaan yang mentakrifkan objek—biasanya digunakan dalam pemodelan dan reka bentuk 3D.) Tetapi para penyelidik menyatakan dalam kertas kerja mereka bahawa model tersebut kadangkala boleh terlepas bahagian objek , mengakibatkan bentuk yang herot atau tersekat. Selain model penjana jejaring, yang tersendiri, Point-E terdiri daripada dua model: model imej teks dan model imej 3D.
Model teks-ke-imej, serupa dengan sistem penjanaan karya seni seperti DALL-E 2 dan Stable Diffusion, dilatih menggunakan imej berlabel untuk memahami perkaitan antara perkataan dan konsep visual . Sebaliknya, model imej 3D diberi makan satu set imej yang berkaitan dengan objek 3D untuk mempelajari cara menterjemahkan kedua-duanya dengan berkesan. Apabila diberi mesej teks, contohnya, "gear boleh cetak 3D, gear tunggal berdiameter 7 cm dan tebal 1 cm," model teks-ke-imej Point-E menghasilkan objek sintetik yang dihasilkan yang kemudiannya dihantar kepada model imej 3D.
Yang terakhir kemudian menjana awan mata. Selepas melatih model pada set data objek 3D "beberapa juta" dan metadata yang berkaitan, Point-E dapat menghasilkan awan titik berwarna yang sering dipadankan dengan gesaan teks, kata penyelidik OpenAI. Tidak sempurna: Model imej 3D Point-E kadangkala tidak memahami imej daripada model imej teks, menyebabkan bentuk yang tidak sepadan dengan mesej teks. Namun, ia jauh lebih pantas daripada keadaan terkini, sekurang-kurangnya menurut pasukan OpenAI.
Hasilnya jauh daripada mencapai kualiti pemaparan 3D komersial dalam filem atau permainan video. Tetapi ia tidak sepatutnya. Sebaik sahaja ia dimasukkan ke dalam aplikasi 3D seperti Blender, ia boleh diubah menjadi jerat bertekstur yang kelihatan lebih seperti imej 3D biasa.
"Walaupun kaedah kami masih belum tercalar dari segi kualiti pensampelan, ia adalah satu atau dua urutan magnitud lebih cepat, yang merupakan kompromi praktikal untuk beberapa kes penggunaan, " jelas penyelidik OpenAI dalam kertas yang menerangkan projek itu.
Akhir sekali, jika anda berminat untuk mengetahui lebih lanjut tentang Point-E atau kod sumbernya, anda boleh mendapatkan butirannya di pautan berikut.