Point-E โซลูชัน OpenAI ใหม่ที่สร้างภาพ 3 มิติ

จุด E

Point E เป็น AI ใหม่ของ OpenAI สำหรับการสร้างภาพ

OpenAI ได้ขยายขีดความสามารถของซอฟต์แวร์แปลงข้อความเป็นภาพจากสองมิติเป็นสามมิติ ด้วยการเปิดตัวPoint-E ซึ่งเป็น AI ที่สร้างภาพ 3 มิติจากข้อความที่กำหนด ตามเอกสารที่เผยแพร่พร้อมกับโค้ดเบส Point-E ไม่จำเป็นต้องใช้คอมพิวเตอร์ระดับสูงในการทำงาน และสามารถสร้างแบบจำลองได้ภายในเวลาไม่ถึงสองนาทีโดยใช้ GPU Nvidia V100 เพียงตัวเดียว

ด้วยสิ่งนี้ เราจะเห็นว่าเครื่องกำเนิดโมเดล 3 มิติอาจเป็นความก้าวหน้าครั้งถัดไปที่จะทำให้โลกของ AI พังทลาย OpenAI มีบทบาทอย่างมากในปีนี้ เนื่องจากในบล็อกนี้เราได้พูดคุยเกี่ยวกับบริษัทสำหรับโครงการหลักสองโครงการ: Dall-E 2 และ ChatGPT

ด้วยแพลตฟอร์ม AI ขนาดใหญ่ทั้งสองนี้บริษัทได้ช่วยสร้างภาพและข้อความยาวๆ จากข้อความตัวอักษรธรรมดาและตอนนี้บริษัทกลับมาอีกครั้งด้วยแนวคิดที่สาม ซึ่งเปิดตัวก่อนวันคริสต์มาสเพื่อสร้างกระแส แนวคิดที่สามนี้เรียกว่า Point-E โดยใช้รูปแบบเดียวกัน คือสร้างเนื้อหา 3 มิติจากคำสั่งง่ายๆ

Point-E ซึ่งได้รับการประกาศในบทความวิจัยที่เผยแพร่โดยทีม OpenAI ทำงานเป็นสองขั้นตอนขั้นแรกใช้ AI แปลงข้อความเป็นภาพเพื่อแปลงคำขอด้วยเสียงของคุณให้เป็นภาพจากนั้นใช้ฟังก์ชันที่สองเพื่อแปลงภาพนี้ให้เป็นโมเดล 3มิติ

Point-E เป็นซอฟต์แวร์โอเพนซอร์ส และซอร์สโค้ดมีให้ใช้งานบน GitHubถึงกระนั้น การเริ่มต้นใช้งานอาจจะยุ่งยากเล็กน้อย เนื่องจากผู้ใช้จำเป็นต้องมีความคุ้นเคยกับเครื่องมือบรรทัดคำสั่งพอสมควร และระบบต้องติดตั้ง Python ไว้ด้วย ซึ่งแตกต่างจาก ChatGPT ที่ผู้ใช้สามารถลงทะเบียนบนเว็บไซต์และทดสอบทักษะของตนได้

โปรแกรม Point-E ไม่ได้สร้างวัตถุ 3 มิติในความหมายดั้งเดิมแต่สร้างกลุ่มจุด (point cloud) ซึ่งก็คือชุดข้อมูลจุดที่ไม่ต่อเนื่องในพื้นที่ที่แสดงถึงรูปร่าง 3 มิติ จึงเป็นที่มาของชื่อย่อที่ดูขี้เล่นนี้

("E" ใน Point-E ย่อมาจาก "ประสิทธิภาพ" เนื่องจากเห็นได้ชัดว่าเร็วกว่าวิธีก่อนหน้าในการเรนเดอร์วัตถุ 3 มิติ) ตามที่นักพัฒนาระบุว่า cloud point สามารถสังเคราะห์ด้วยคอมพิวเตอร์ได้ง่ายกว่า แต่ไม่สามารถจับรูปร่างหรือพื้นผิวที่ละเอียดของวัตถุได้ ซึ่งเป็นข้อจำกัดที่สำคัญของ Point-E ในปัจจุบัน

เพื่อเอาชนะข้อจำกัดนี้ทีมงาน Point-E ได้ฝึกระบบ AI เพิ่มเติมเพื่อแปลงกลุ่มจุดของ Point-E ให้เป็นตาข่าย (ตาข่าย—ชุดของจุดยอด ขอบ และพื้นผิวที่กำหนดวัตถุ—มักใช้ในการสร้างแบบจำลองและการออกแบบ 3 มิติ) แต่ผู้วิจัยตั้งข้อสังเกตในบทความของพวกเขาว่าบางครั้งแบบจำลองอาจพลาดบางส่วนของวัตถุส่งผลให้รูปร่างบิดเบี้ยวหรือเป็นบล็อก นอกจากแบบจำลองการสร้างตาข่ายซึ่งเป็นแบบครบวงในตัวเองแล้ว Point-E ยังประกอบด้วยแบบจำลองอีกสองแบบ ได้แก่ แบบจำลองข้อความ-ภาพ และแบบจำลองภาพ 3 มิติ

โมเดลแปลงข้อความเป็นภาพ ซึ่งคล้ายกับระบบสร้างงานศิลปะอย่าง DALL-E 2 และ Stable Diffusion ได้รับการฝึกฝนด้วยภาพที่มีป้ายกำกับเพื่อทำความเข้าใจความสัมพันธ์ระหว่างคำและแนวคิดเชิงภาพในทางกลับกัน โมเดลภาพ 3 มิติ ได้รับชุดภาพที่เกี่ยวข้องกับวัตถุ 3 มิติ เพื่อเรียนรู้วิธีการแปลงทั้งสองอย่างให้มีประสิทธิภาพ ตัวอย่างเช่น เมื่อได้รับข้อความ "เฟืองที่พิมพ์ได้ด้วยเครื่องพิมพ์ 3 มิติ เฟืองเดี่ยวขนาดเส้นผ่านศูนย์กลาง 7 ซม. และหนา 1 ซม." โมเดลแปลงข้อความเป็นภาพของ Point-E จะสร้างวัตถุสังเคราะห์ที่แสดงผลแล้วส่งต่อไปยังโมเดลภาพ 3 มิติ

หลังจากนั้นจะสร้างกลุ่มเมฆของคะแนน หลังจากฝึกฝนโมเดลในชุดข้อมูลของวัตถุ 3 มิติ "หลายล้าน" และข้อมูลเมตาที่เกี่ยวข้องแล้ว Point-E ก็สามารถสร้างพอยต์คลาวด์สีที่ตรงกับข้อความแจ้งบ่อยครั้ง นักวิจัยของ OpenAI กล่าว ไม่สมบูรณ์แบบ: โมเดลภาพ 3 มิติของ Point-E บางครั้งไม่เข้าใจภาพจากโมเดลภาพข้อความ ส่งผลให้รูปร่างไม่ตรงกับข้อความ ถึงกระนั้นก็เร็วกว่าเทคโนโลยีขั้นสูงก่อนหน้านี้มาก อย่างน้อยก็ตามที่ทีม OpenAI กล่าว

ผลลัพธ์ที่ได้นั้นห่างไกลจากคุณภาพของการเรนเดอร์ 3 มิติเชิงพาณิชย์ในภาพยนตร์หรือวิดีโอเกม แต่ก็ไม่ควรจะเป็นเช่นนั้น เมื่อป้อนเข้าไปในแอปพลิเคชัน 3 มิติ เช่น Blender แล้ว ก็สามารถเปลี่ยนเป็นตาข่ายที่มีพื้นผิวซึ่งดูเหมือนภาพ 3 มิติทั่วไปมากขึ้น

"แม้ว่าวิธีการของเราจะยังไม่ถึงขีดสุดในแง่ของคุณภาพการสุ่มตัวอย่าง แต่ก็เร็วขึ้นหนึ่งหรือสองลำดับความสำคัญ ซึ่งเป็นการประนีประนอมในทางปฏิบัติสำหรับกรณีการใช้งานบางกรณี" นักวิจัยของ OpenAI อธิบายในบทความที่อธิบายโครงการ

สุดท้ายนี้ หากคุณสนใจเรียนรู้เพิ่มเติมเกี่ยวกับ Point-E หรือซอร์สโค้ด คุณสามารถดูรายละเอียดได้ที่ลิงก์ต่อไปนี้


เพิ่มเป็นแหล่งข้อมูลที่ต้องการใน Google