Point E adalah AI baru dari OpenAI untuk pembuatan gambar
OpenAI telah memperluas kemampuan perangkat lunak teks-ke-gambar dari dua dimensi menjadi tiga dimensi dengan merilis Point-E, sebuah AI yang menghasilkan gambar 3D dari perintah teks. Menurut dokumen yang diterbitkan bersama kode sumbernya, Point-E tidak memerlukan komputer kelas atas untuk dijalankan dan dapat menghasilkan model dalam waktu kurang dari dua menit menggunakan satu GPU Nvidia V100.
Dengan ini kita dapat melihat bahwa generator model 3D bisa menjadi terobosan berikutnya yang akan menggemparkan dunia AI. OpenAI sangat aktif tahun ini, karena misalnya di sini di blog kami telah berbicara tentang perusahaan untuk dua proyek utamanya: Dall-E 2 dan ChatGPT.
Di antara dua platform AI raksasa ini, perusahaan tersebut membantu menghasilkan gambar dan teks panjang dari pesan teks sederhana, dan sekarang perusahaan tersebut kembali dengan konsep ketiga, yang diluncurkan tepat sebelum Natal untuk menciptakan sensasi. Konsep ketiga ini, yang disebut Point-E, mengikuti pola serupa, yaitu menciptakan konten 3D dari perintah sederhana.
Diumumkan dalam sebuah artikel penelitian yang diterbitkan oleh tim OpenAI, Point-E bekerja dalam dua tahap: pertama , ia menggunakan AI teks-ke-gambar untuk mengubah permintaan verbal Anda menjadi gambar, kemudian menggunakan fungsi kedua untuk mengubah gambar ini menjadi model 3D.
Point-E adalah perangkat lunak sumber terbuka dan kode sumbernya tersedia di GitHub . Meskipun demikian, memulai penggunaannya bisa sedikit rumit, karena pengguna perlu cukup familiar dengan alat baris perintah dan sistem harus memiliki Python yang terpasang, tidak seperti ChatGPT, di mana pengguna dapat mendaftar di situs web dan menguji keterampilan mereka.
Point-E tidak menciptakan objek 3D dalam pengertian tradisional; melainkan, ia menghasilkan awan titik, yaitu, kumpulan titik data diskrit di ruang angkasa yang merepresentasikan bentuk 3D, oleh karena itu singkatan yang agak nakal tersebut.
("E" di Point-E adalah kependekan dari "efisiensi" karena tampaknya lebih cepat daripada pendekatan sebelumnya untuk merender objek 3D.) Menurut pengembang, point cloud secara komputasi lebih mudah untuk disintesis, tetapi mereka tidak menangkap bentuk atau tekstur halus dari suatu objek, yang merupakan batasan utama Point-E saat ini.
Untuk mengatasi keterbatasan ini , tim Point-E melatih sistem AI tambahan untuk mengubah awan titik Point-E menjadi jala (mesh). (Jala—kumpulan simpul, tepi, dan permukaan yang mendefinisikan suatu objek—umumnya digunakan dalam pemodelan dan desain 3D.) Namun, para peneliti mencatat dalam makalah mereka bahwa model tersebut terkadang dapat melewatkan bagian-bagian objek , sehingga menghasilkan bentuk yang terdistorsi atau terblokir. Selain model penghasil jala, yang berdiri sendiri, Point-E terdiri dari dua model: model teks-gambar dan model gambar 3D.
Model teks-ke-gambar, mirip dengan sistem pembuatan karya seni seperti DALL-E 2 dan Stable Diffusion, dilatih menggunakan gambar berlabel untuk memahami hubungan antara kata dan konsep visual . Model gambar 3D, di sisi lain, diberi serangkaian gambar yang terkait dengan objek 3D untuk mempelajari cara menerjemahkan keduanya secara efektif. Misalnya, ketika diberi pesan teks, "roda gigi yang dapat dicetak 3D, roda gigi tunggal berdiameter 7 cm dan tebal 1 cm," model teks-ke-gambar Point-E menghasilkan objek sintetis yang dirender yang kemudian diteruskan ke model gambar 3D.
Yang terakhir kemudian menghasilkan awan poin. Setelah melatih model pada kumpulan data "beberapa juta" objek 3D dan metadata terkait, Point-E mampu menghasilkan awan titik berwarna yang sering kali cocok dengan perintah teks, kata peneliti OpenAI. Tidak sempurna: Model gambar 3D Point-E terkadang tidak memahami gambar dari model gambar teks, sehingga menghasilkan bentuk yang tidak sesuai dengan pesan teks. Tetap saja, ini jauh lebih cepat daripada yang canggih sebelumnya, setidaknya menurut tim OpenAI.
Hasilnya jauh dari kualitas rendering 3D komersial dalam film atau video game. Tapi itu tidak seharusnya. Begitu mereka dimasukkan ke dalam aplikasi 3D seperti Blender, mereka dapat diubah menjadi jaring bertekstur yang lebih mirip gambar 3D normal.
"Meskipun metode kami masih belum sempurna dalam hal kualitas pengambilan sampel, ini adalah satu atau dua kali lipat lebih cepat, yang merupakan kompromi praktis untuk beberapa kasus penggunaan," para peneliti OpenAI menjelaskan dalam makalah yang menjelaskan proyek tersebut.
Terakhir, jika Anda tertarik untuk mempelajari lebih lanjut tentang Point-E atau kode sumbernya, Anda dapat menemukan detailnya di tautan berikut.