Point E は、画像生成用の OpenAI の新しい AI です
OpenAIは、テキスト入力から3D画像を生成するAI「Point-E」のリリースにより、テキストから画像を生成するソフトウェアの機能を2次元から3次元へと拡張した。コードベースとともに公開されたドキュメントによると、Point-Eは高性能なコンピュータを必要とせず、Nvidia V100 GPUを1基使用すれば2分以内にモデルを生成できるという。
これにより、3D モデル ジェネレーターが AI の世界を席巻する次のブレークスルーになる可能性があることがわかります。 OpenAI は今年、非常に活発に活動しています。たとえば、このブログでは、Dall-E 2 と ChatGPT という XNUMX つの主要なプロジェクトについて会社について話しました。
同社はこれら2つの大規模AIプラットフォームを活用し、シンプルなテキストメッセージから画像や長文テキストを生成することに成功した。そして今回、クリスマス直前に話題を呼ぶべく、3つ目のコンセプトを発表した。Point-Eと呼ばれるこの3つ目のコンセプトは、シンプルな指示から3Dコンテンツを生成するという、従来と同様の手法を採用している。
OpenAIチームが発表した研究論文で明らかにされたPoint-Eは、2つの段階で動作します。まず、テキストから画像への変換AIを使用して、音声によるリクエストを画像に変換し、次に、2つ目の機能を使用してこの画像を3Dモデルに変換します。
Point-Eはオープンソースであり、ソースコードはGitHubで公開されています。とはいえ、使い始めるには少しコツが必要です。ユーザーはコマンドラインツールにある程度精通している必要があり、システムにPythonがインストールされている必要があります。これは、ユーザーがウェブサイトに登録してスキルをテストできるChatGPTとは異なります。
Point-Eは、従来の意味での3Dオブジェクトを作成するのではなく、点群、つまり空間内の離散的なデータ点の集合を生成します。これらの点群は3D形状を表すため、この洒落た略称が付けられています。
(Point-E の「E」は「効率」の略です。これは、3D オブジェクトをレンダリングする以前のアプローチより明らかに高速であるためです。) 開発者によると、ポイント クラウドは合成が計算上簡単ですが、現在の Point-E の主な制限であるオブジェクトの形状や細かいテクスチャをキャプチャできません。
この制限を克服するために、Point-E チームは、Point-E の点群をメッシュに変換する追加の AI システムをトレーニングしました。（メッシュとは、オブジェクトを定義する頂点、エッジ、面の集合であり、3D モデリングや設計で一般的に使用されます。）しかし、研究者らは論文の中で、このモデルがオブジェクトの一部を見落とすことがあり、その結果、形状が歪んだりブロックされたりすることがあると指摘しています。自己完結型のメッシュ生成モデルに加えて、Point-E はテキスト画像モデルと 3D 画像モデルの 2 つのモデルで構成されています。
DALL-E 2やStable Diffusionといったアートワーク生成システムと同様に、テキストから画像への変換モデルは、ラベル付き画像を用いて学習され、単語と視覚的概念の関連性を理解するように設計されました。一方、3D画像モデルは、3Dオブジェクトに関連付けられた一連の画像を用いて、両者を効果的に変換する方法を学習しました。例えば、「直径7cm、厚さ1cmの3Dプリント可能な歯車」というテキストメッセージが与えられると、Point-Eのテキストから画像への変換モデルは、レンダリングされた合成オブジェクトを生成し、それを3D画像モデルに渡します。
後者は点群を生成します。 「数百万」の 3D オブジェクトと関連するメタデータのデータセットでモデルをトレーニングした後、Point-E はテキスト プロンプトと頻繁に一致する色付きの点群を生成することができたと、OpenAI の研究者は述べています。 完璧ではない: Point-E の 3D 画像モデルは、テキスト画像モデルからの画像を理解できない場合があり、その結果、テキスト メッセージと一致しない形状になります。 それでも、少なくとも OpenAI チームによると、これまでの最先端技術よりもはるかに高速です。
その結果は、映画やビデオ ゲームの商用 3D レンダリングの品質にはほど遠いものです。 しかし、そんなはずはありません。 Blender などの 3D アプリケーションに入力すると、通常の 3D 画像に近いテクスチャ メッシュに変換できます。
「私たちの方法は、サンプリングの品質に関してはまだ完璧ではありませんが、XNUMX ～ XNUMX 桁速くなりました。これは、一部のユース ケースでは実用的な妥協点です」と、OpenAI の研究者はプロジェクトについて説明している論文で説明しています。
最後に、 Point-Eやソースコードについてさらに詳しく知りたい場合は、以下のリンクから詳細をご覧いただけます。