Point E — це новий ШІ OpenAI для створення зображень
OpenAI розширила можливості свого програмного забезпечення для перетворення тексту в зображення з двох до трьох вимірів з випуском Point-E, штучного інтелекту, який генерує 3D-зображення з текстових підказок. Згідно з документом, опублікованим разом з кодовою базою, Point-E не потребує високопродуктивного комп'ютера для роботи та може створити модель менш ніж за дві хвилини, використовуючи один графічний процесор Nvidia V100.
З цього ми бачимо, що генератори 3D-моделей можуть стати наступним проривом, який захопить світ штучного інтелекту штурмом. Цього року OpenAI був дуже активним, оскільки, наприклад, тут, у блозі, ми говорили про компанію для її двох великих проектів: Dall-E 2 і ChatGPT.
Завдяки цим двом масивним платформам штучного інтелекту компанія допомагала генерувати зображення та довгі фрагменти тексту з простого текстового повідомлення, а тепер компанія повертається з третьою концепцією, запущеною безпосередньо перед Різдвом, щоб викликати ажіотаж. Ця третя концепція під назвою Point-E дотримується аналогічної схеми, створюючи 3D-контент з простих підказок.
Як було оголошено в дослідницькій статті, опублікованій командою OpenAI, Point-E працює у два етапи: спочатку він використовує штучний інтелект для перетворення тексту в зображення , щоб перетворити ваш усний запит на зображення, а потім використовує другу функцію для перетворення цього зображення на 3D-модель.
Point-E має відкритий вихідний код, а вихідний код доступний на GitHub . Незважаючи на це, розпочати роботу може бути дещо складно, оскільки користувачі повинні бути достатньо знайомі з інструментами командного рядка, а в системі має бути встановлено Python, на відміну від ChatGPT, де користувачі можуть зареєструватися на веб-сайті та перевірити свої навички.
Point-E не створює 3D-об'єкти у традиційному розумінні; радше, він генерує хмари точок, тобто дискретні набори точок даних у просторі, які представляють 3D-форму, звідси й зухвала абревіатура.
(Буква «E» у Point-E є абревіатурою від «ефективність», оскільки це, очевидно, швидше, ніж попередні підходи до візуалізації 3D-об’єктів.) За словами розробників, хмари точок обчислювально легше синтезувати, але вони не вловлюють форму або тонку текстуру об’єкта, що є головним обмеженням Point-E на даний момент.
Щоб подолати це обмеження , команда Point-E навчила додаткову систему штучного інтелекту для перетворення хмар точок Point-E на сітки. (Сітки — колекції вершин, ребер та граней, що визначають об'єкт, — зазвичай використовуються в 3D-моделюванні та дизайні.) Але дослідники зазначають у своїй статті, що модель іноді може пропускати частини об'єктів , що призводить до спотворених або заблокованих форм. Окрім моделі, що генерує сітку та є автономною, Point-E складається з двох моделей: моделі текст-зображення та моделі 3D-зображення.
Модель перетворення тексту на зображення, подібна до систем генерації художніх творів, таких як DALL-E 2 та Stable Diffusion, навчалася на позначених зображеннях, щоб зрозуміти зв'язки між словами та візуальними поняттями . З іншого боку, 3D-модель зображення отримувала набір зображень, пов'язаних з 3D-об'єктами, щоб навчитися ефективно інтерпретувати ці два поняття. Коли їй надається текстове повідомлення, наприклад, «шестерня, яку можна надрукувати на 3D-принтері, одна шестерня діаметром 7 см та товщиною 1 см», модель перетворення тексту на зображення Point-E генерує візуалізований синтетичний об'єкт, який потім передається до 3D-моделі зображення.
Останній потім генерує хмару точок. Після навчання моделей на наборі даних із «декількох мільйонів» 3D-об’єктів і пов’язаних метаданих Point-E зміг створити кольорові хмари точок, які часто відповідали текстовим підказкам, кажуть дослідники OpenAI. Не ідеально: модель 3D-зображення Point-E іноді не розпізнає зображення з моделі текстового зображення, що призводить до форми, яка не відповідає текстовому повідомленню. Тим не менш, це набагато швидше, ніж попередній рівень техніки, принаймні за словами команди OpenAI.
Результат далекий від якості комерційного 3D-рендерінгу у фільмі чи відеогрі. Але це не повинно бути. Після того, як вони подані в 3D-програму, як-от Blender, їх можна перетворити на текстуровані сітки, які більше схожі на звичайні 3D-зображення.
«Хоча наш метод все ще не на висоті з точки зору якості вибірки, він на один-два порядки швидший, що є практичним компромісом для деяких випадків використання», — пояснюють дослідники OpenAI у статті, що описує проект.
Зрештою, якщо ви зацікавлені дізнатися більше про Point-E або вихідний код, ви можете знайти деталі за наступним посиланням.