Point E是OpenAI的圖像生成新AI
OpenAI發布了Point-E，將其文字轉圖像軟體的功能從二維擴展到三維。 Point -E 是一款人工智慧程序，能夠根據文字提示產生 3D 圖像。根據隨程式碼庫發布的文檔，Point-E 無需高階電腦即可運行，只需一塊 Nvidia V100 GPU 即可在兩分鐘內產生模型。
由此我們可以看到，3D 模型生成器可能成為席捲 AI 世界的下一個突破。 OpenAI 今年非常活躍，因為例如在博客上，我們討論了該公司的兩個主要項目：Dall-E 2 和 ChatGPT。
憑藉這兩大人工智慧平台，該公司能夠根據簡單的簡訊生成圖像和長篇文字。如今，該公司又推出了第三個概念產品，並在聖誕節前夕發布，旨在製造話題。這個名為 Point-E 的第三個概念產品遵循類似的模式，能夠根據簡單的提示創建 3D 內容。
OpenAI 團隊在一篇研究文章中宣布，Point-E 的工作原理分為兩個階段：首先，它使用文字到圖像的 AI將你的口頭請求轉換為圖像；然後，它使用第二個函數將此圖像轉換為 3D 模型。
Point-E 是開源的，原始碼可在 GitHub 上找到。即便如此，入門仍然可能有點棘手，因為用戶需要對命令列工具有一定的了解，而且系統必須安裝 Python，這與 ChatGPT 不同，後者用戶可以在網站上註冊並測試自己的技能。
Point-E 並未以傳統意義上的方式創建 3D 物件；相反，它產生點雲，即空間中代表 3D 形狀的離散資料點集，因此得名 Point-E。
（Point-E 中的“E”是“效率”的縮寫，因為它顯然比以前渲染 3D 對象的方法更快。） 根據開發人員的說法，點雲在計算上更容易合成，但它們無法捕捉物體的形狀或精細紋理，這是目前 Point-E 的主要限制。
為了克服這個局限性，Point-E團隊訓練了一個額外的AI系統，用於將Point-E的點雲轉換為網格。（網格——由頂點、邊和麵組成的集合，用於定義物體——常用於3D建模和設計。）但研究人員在論文中指出，該模型有時會遺漏物體的部分區域，導致形狀扭曲或出現塊狀區域。除了獨立的網格生成模型外，Point-E還包含兩個模型：文字影像模型和3D影像模型。
類似於 DALL-E 2 和 Stable Diffusion 等藝術作品生成系統，文字到圖像模型使用標籤的圖像進行訓練，以理解詞彙和視覺概念之間的關聯。另一方面，3D 影像模型則使用一組與 3D 物件相關的影像進行訓練，以學習如何有效地轉換兩者。例如，當輸入一條文字訊息「一個可 3D 列印的齒輪，單個齒輪直徑 7 厘米，厚度 1 厘米」時，Point-E 的文字到圖像模型會產生一個渲染的合成物體，然後將其傳遞給 3D 圖像模型。
後者然後生成點雲。 OpenAI 研究人員表示，在“數百萬”3D 對象和相關元數據的數據集上訓練模型後，Point-E 能夠生成經常匹配文本提示的彩色點雲。 不完美：Point-E 的 3D 圖像模型有時無法理解文本圖像模型中的圖像，導致形狀與文本消息不匹配。 不過，至少根據 OpenAI 團隊的說法，它比以前的技術水平要快得多。
結果遠未達到電影或視頻遊戲中商業 3D 渲染的質量。 但它不應該是。 一旦將它們輸入到 Blender 等 3D 應用程序中，它們就可以變成看起來更像普通 3D 圖像的紋理網格。
OpenAI 研究人員在描述該項目的論文中解釋說：“儘管我們的方法在採樣質量方面仍未達到標準，但它的速度要快一到兩個數量級，這對於某些用例來說是一種實際的折衷方案。”
最後，如果您有興趣了解更多關於 Point-E 或原始程式碼的信息，您可以在以下連結中找到詳細資訊。