Điểm E là AI mới của OpenAI để tạo ảnh
OpenAI đã mở rộng khả năng của phần mềm chuyển đổi văn bản thành hình ảnh từ hai chiều lên ba chiều với việc phát hành Point-E, một trí tuệ nhân tạo tạo ra hình ảnh 3D từ các lời nhắc bằng văn bản. Theo một tài liệu được công bố cùng với mã nguồn, Point-E không yêu cầu máy tính cấu hình cao để chạy và có thể tạo ra một mô hình trong vòng chưa đầy hai phút bằng một GPU Nvidia V100 duy nhất.
Với điều này, chúng ta có thể thấy rằng các trình tạo mô hình 3D có thể là bước đột phá tiếp theo sẽ đưa thế giới AI vào cơn bão. OpenAI đã hoạt động rất tích cực trong năm nay, ví dụ như ở đây trên blog, chúng tôi đã nói về công ty cho hai dự án lớn của mình: Dall-E 2 và ChatGPT.
Nhờ hai nền tảng trí tuệ nhân tạo khổng lồ này, công ty đã giúp tạo ra hình ảnh và những đoạn văn bản dài từ một tin nhắn đơn giản, và giờ đây công ty trở lại với một ý tưởng thứ ba, được ra mắt ngay trước Giáng sinh để tạo sự chú ý. Ý tưởng thứ ba này, có tên là Point-E, hoạt động theo mô hình tương tự, tạo ra nội dung 3D từ những lời nhắc đơn giản.
Theo một bài báo nghiên cứu được công bố bởi nhóm OpenAI, Point-E hoạt động theo hai giai đoạn: đầu tiên , nó sử dụng trí tuệ nhân tạo chuyển đổi văn bản thành hình ảnh để chuyển yêu cầu bằng lời nói của bạn thành hình ảnh, sau đó sử dụng một chức năng thứ hai để biến đổi hình ảnh này thành mô hình 3D.
Point-E là phần mềm mã nguồn mở và mã nguồn có sẵn trên GitHub . Tuy nhiên, việc bắt đầu sử dụng có thể hơi khó khăn, vì người dùng cần phải khá quen thuộc với các công cụ dòng lệnh và hệ thống phải được cài đặt Python, khác với ChatGPT, nơi người dùng có thể đăng ký trên một trang web và kiểm tra kỹ năng của mình.
Point-E không tạo ra các vật thể 3D theo nghĩa truyền thống; thay vào đó, nó tạo ra các đám mây điểm, tức là các tập hợp điểm dữ liệu rời rạc trong không gian đại diện cho một hình dạng 3D, do đó mới có tên viết tắt khá hài hước này.
(Chữ "E" trong Điểm-E là viết tắt của "hiệu quả" vì nó dường như nhanh hơn các phương pháp hiển thị đối tượng 3D trước đây.) Theo các nhà phát triển, các đám mây điểm được tổng hợp dễ dàng hơn về mặt tính toán, nhưng chúng không nắm bắt được hình dạng hoặc kết cấu mịn của vật thể, đây là một hạn chế lớn của Point-E hiện tại.
Để khắc phục hạn chế này , nhóm Point-E đã huấn luyện thêm một hệ thống AI để chuyển đổi đám mây điểm của Point-E thành lưới. (Lưới—tập hợp các đỉnh, cạnh và mặt xác định một đối tượng—thường được sử dụng trong mô hình hóa và thiết kế 3D.) Nhưng các nhà nghiên cứu lưu ý trong bài báo của họ rằng mô hình đôi khi có thể bỏ sót các phần của đối tượng , dẫn đến hình dạng bị biến dạng hoặc bị chặn. Ngoài mô hình tạo lưới, vốn là một hệ thống độc lập, Point-E còn bao gồm hai mô hình: mô hình văn bản-hình ảnh và mô hình hình ảnh 3D.
Mô hình chuyển đổi văn bản thành hình ảnh, tương tự như các hệ thống tạo tác phẩm nghệ thuật như DALL-E 2 và Stable Diffusion, được huấn luyện trên các hình ảnh đã được gắn nhãn để hiểu mối liên hệ giữa từ ngữ và các khái niệm trực quan . Mặt khác, mô hình hình ảnh 3D được cung cấp một tập hợp các hình ảnh liên quan đến các đối tượng 3D để học cách chuyển đổi hai loại hình ảnh này một cách hiệu quả. Ví dụ, khi nhận được một tin nhắn văn bản, chẳng hạn như "một bánh răng có thể in 3D, một bánh răng đơn có đường kính 7 cm và dày 1 cm", mô hình chuyển đổi văn bản thành hình ảnh của Point-E sẽ tạo ra một đối tượng tổng hợp được dựng hình, sau đó được chuyển đến mô hình hình ảnh 3D.
Sau đó, cái sau tạo ra một đám mây điểm. Các nhà nghiên cứu OpenAI cho biết, sau khi đào tạo các mô hình trên tập dữ liệu gồm "vài triệu" đối tượng 3D và siêu dữ liệu liên quan, Point-E có thể tạo ra các đám mây điểm màu thường khớp với lời nhắc văn bản. Không hoàn hảo: Mô hình hình ảnh 3D của Point-E đôi khi không hiểu được hình ảnh từ mô hình hình ảnh văn bản, dẫn đến hình dạng không khớp với nội dung văn bản. Tuy nhiên, nó nhanh hơn nhiều so với công nghệ hiện đại trước đây, ít nhất là theo nhóm OpenAI.
Kết quả còn lâu mới đạt được chất lượng kết xuất 3D thương mại trong phim hoặc trò chơi điện tử. Nhưng nó không phải như vậy. Khi chúng được đưa vào một ứng dụng 3D như Blender, chúng có thể được biến thành các lưới có kết cấu trông giống hình ảnh 3D bình thường hơn.
Các nhà nghiên cứu của OpenAI giải thích trong bài báo mô tả dự án: “Mặc dù phương pháp của chúng tôi vẫn chưa hoàn hảo về chất lượng lấy mẫu, nhưng nó nhanh hơn một hoặc hai bậc độ lớn, đây là một sự thỏa hiệp thực tế đối với một số trường hợp sử dụng”.
Cuối cùng, nếu bạn muốn tìm hiểu thêm về Point-E hoặc mã nguồn, bạn có thể xem chi tiết tại liên kết sau.