Point E — это новый ИИ OpenAI для создания изображений.
Компания OpenAI расширила возможности своего программного обеспечения для преобразования текста в изображения, выпустив Point-E — систему искусственного интеллекта, генерирующую 3D-изображения на основе текстовых запросов, — с двухмерного до трехмерного . Согласно документу, опубликованному вместе с исходным кодом, для работы Point-E не требуется высокопроизводительный компьютер, и она может создать модель менее чем за две минуты, используя один графический процессор Nvidia V100.
Таким образом, мы видим, что генераторы 3D-моделей могут стать следующим прорывом, который покорит мир искусственного интеллекта. OpenAI был очень активен в этом году, так как, например, здесь, в блоге, мы рассказали о двух крупных проектах компании: Dall-E 2 и ChatGPT.
Благодаря этим двум масштабным платформам искусственного интеллекта компания помогла создавать изображения и длинные текстовые фрагменты из простого текстового сообщения, а теперь компания возвращается с третьей концепцией, запущенной незадолго до Рождества, чтобы привлечь внимание. Эта третья концепция, получившая название Point-E, следует аналогичной схеме, создавая 3D-контент из простых подсказок.
В исследовательской статье, опубликованной командой OpenAI, анонсирована технология Point-E, работающая в два этапа: сначала она использует искусственный интеллект для преобразования текста в изображение, а затем с помощью второй функции преобразует это изображение в 3D-модель.
Point-E — это проект с открытым исходным кодом, и его исходный код доступен на GitHub . Тем не менее, начать работу с ним может быть немного сложно, поскольку пользователям необходимо иметь достаточный опыт работы с инструментами командной строки, а в системе должен быть установлен Python, в отличие от ChatGPT, где пользователи могут зарегистрироваться на веб-сайте и проверить свои навыки.
Point-E не создает трехмерные объекты в традиционном смысле; вместо этого он генерирует облака точек, то есть дискретные наборы точек данных в пространстве, которые представляют собой трехмерную форму, отсюда и шутливое сокращение.
(«E» в Point-E — это сокращение от «efficiency», так как это явно быстрее, чем предыдущие подходы к рендерингу 3D-объектов.) По словам разработчиков, облака точек легче синтезировать в вычислительном отношении, но они не фиксируют форму или тонкую текстуру объекта, что в настоящее время является основным ограничением Point-E.
Чтобы преодолеть это ограничение , команда Point-E обучила дополнительную систему искусственного интеллекта для преобразования облаков точек Point-E в сетки. (Сетки — совокупности вершин, ребер и граней, определяющие объект, — широко используются в 3D-моделировании и проектировании.) Однако исследователи отмечают в своей статье, что модель иногда может пропускать части объектов , что приводит к искаженным или блочным формам. В дополнение к модели генерации сетки, которая является самодостаточной, Point-E состоит из двух моделей: текстово-графической модели и 3D-графической модели.
Модель преобразования текста в изображение, подобная системам генерации изображений, таким как DALL-E 2 и Stable Diffusion, обучалась на размеченных изображениях, чтобы понимать взаимосвязь между словами и визуальными понятиями . Модель 3D-изображений, с другой стороны, получала на вход набор изображений, связанных с 3D-объектами, чтобы научиться эффективно преобразовывать их. Например, при получении текстового сообщения «шестерня для 3D-печати, одна шестерня диаметром 7 см и толщиной 1 см», модель преобразования текста в изображение Point-E генерирует визуализированный синтетический объект, который затем передается в модель 3D-изображений.
Последний затем генерирует облако точек. По словам исследователей OpenAI, после обучения моделей на наборе данных из «нескольких миллионов» 3D-объектов и связанных с ними метаданных, Point-E смогла создать цветные облака точек, которые часто совпадали с текстовыми подсказками. Не идеально: модель 3D-изображения Point-E иногда не понимает изображение из модели текстового изображения, в результате чего форма не соответствует текстовому сообщению. Тем не менее, это намного быстрее, чем предыдущий уровень техники, по крайней мере, по словам команды OpenAI.
Результат далек от качества коммерческого 3D-рендеринга в кино или видеоигре. Но этого не должно быть. Как только они загружаются в 3D-приложение, такое как Blender, их можно превратить в текстурированные сетки, которые больше похожи на обычные 3D-изображения.
«Хотя наш метод все еще не на высоте с точки зрения качества выборки, он на один или два порядка быстрее, что является практическим компромиссом для некоторых вариантов использования», — объясняют исследователи OpenAI в документе, описывающем проект.
Наконец, если вас интересует более подробная информация о Point-E или исходном коде, вы можете найти ее по следующей ссылке.