Point E ist die neue KI von OpenAI zur Bilderzeugung
OpenAI hat die Fähigkeiten seiner Text-zu-Bild-Software mit der Veröffentlichung von Point-E erweitert , einer KI, die 3D-Bilder aus Texteingaben generiert. Laut einem mit dem Quellcode veröffentlichten Dokument benötigt Point-E keinen High-End-Computer und kann mit einer einzelnen Nvidia V100 GPU in weniger als zwei Minuten ein Modell erstellen.
Damit können wir sehen, dass 3D-Modellgeneratoren der nächste Durchbruch sein könnten, der die Welt der KI im Sturm erobern wird. OpenAI war dieses Jahr sehr aktiv, da wir zum Beispiel hier im Blog über das Unternehmen für seine zwei großen Projekte gesprochen haben: Dall-E 2 und ChatGPT.
Mithilfe dieser beiden großen KI-Plattformen konnte das Unternehmen aus einfachen Textnachrichten Bilder und längere Texte generieren. Nun präsentiert es kurz vor Weihnachten ein drittes Konzept, das für Aufsehen sorgen soll. Dieses Konzept namens Point-E verfolgt ein ähnliches Muster und erstellt 3D-Inhalte aus einfachen Eingaben.
Point-E , das in einem Forschungsartikel des OpenAI-Teams vorgestellt wurde, arbeitet in zwei Schritten: Zuerst wandelt es mithilfe einer Text-zu-Bild-KI Ihre verbale Anfrage in ein Bild um, dann verwendet es eine zweite Funktion, um dieses Bild in ein 3D-Modell zu transformieren.
Point-E ist Open Source und der Quellcode ist auf GitHub verfügbar . Trotzdem kann der Einstieg etwas knifflig sein, da Benutzer mit Kommandozeilentools einigermaßen vertraut sein müssen und Python auf dem System installiert sein muss, anders als bei ChatGPT, wo sich Benutzer auf einer Website registrieren und ihre Fähigkeiten testen können.
Point-E erzeugt keine 3D-Objekte im herkömmlichen Sinne; vielmehr generiert es Punktwolken, also diskrete Mengen von Datenpunkten im Raum, die eine 3D-Form darstellen, daher die freche Abkürzung.
(Das „E“ in Point-E ist die Abkürzung für „Effizienz“, da es offenbar schneller ist als frühere Ansätze zum Rendern von 3D-Objekten.) Laut den Entwicklern sind Punktwolken rechnerisch einfacher zu synthetisieren, aber sie erfassen nicht die Form oder feine Textur eines Objekts, was derzeit eine große Einschränkung von Point-E darstellt.
Um diese Einschränkung zu überwinden , trainierte das Point-E-Team ein zusätzliches KI-System, das die Punktwolken von Point-E in Netze umwandelt. (Netze – Ansammlungen von Eckpunkten, Kanten und Flächen, die ein Objekt definieren – werden häufig in der 3D-Modellierung und im Design verwendet.) Die Forscher weisen jedoch in ihrer Veröffentlichung darauf hin, dass das Modell manchmal Teile von Objekten nicht erfasst , was zu verzerrten oder blockierten Formen führt. Neben dem in sich geschlossenen Modell zur Netzgenerierung besteht Point-E aus zwei weiteren Modellen: einem Text-Bild-Modell und einem 3D-Bildmodell.
Das Text-zu-Bild-Modell, ähnlich wie Systeme zur Bildgenerierung wie DALL-E 2 und Stable Diffusion, wurde anhand von beschrifteten Bildern trainiert, um die Zusammenhänge zwischen Wörtern und visuellen Konzepten zu verstehen . Das 3D-Bildmodell hingegen wurde mit einer Reihe von Bildern trainiert, die 3D-Objekte darstellen, um die effektive Übersetzung beider zu erlernen. Bei einer Textnachricht, beispielsweise „ein 3D-druckbares Zahnrad, ein einzelnes Zahnrad mit 7 cm Durchmesser und 1 cm Dicke“, generiert das Text-zu-Bild-Modell von Point-E ein gerendertes synthetisches Objekt, das anschließend an das 3D-Bildmodell übergeben wird.
Letztere erzeugt dann eine Punktwolke. Nach dem Training der Modelle mit einem Datensatz von „mehreren Millionen“ 3D-Objekten und zugehörigen Metadaten war Point-E in der Lage, farbige Punktwolken zu erzeugen, die häufig mit Texteingabeaufforderungen übereinstimmten, sagen die OpenAI-Forscher. Nicht perfekt: Das 3D-Bildmodell von Point-E versteht manchmal das Bild aus dem Textbildmodell nicht, was zu einer Form führt, die nicht mit der Textnachricht übereinstimmt. Trotzdem ist es viel schneller als der bisherige Stand der Technik, zumindest laut dem OpenAI-Team.
Das Ergebnis erreicht bei weitem nicht die Qualität eines kommerziellen 3D-Renderings in einem Film oder einem Videospiel. Aber es soll nicht sein. Sobald sie in eine 3D-Anwendung wie Blender eingespeist werden, können sie in texturierte Netze umgewandelt werden, die eher wie normale 3D-Bilder aussehen.
„Obwohl unsere Methode in Sachen Sampling-Qualität noch nicht ganz auf der Höhe der Zeit ist, ist sie ein bis zwei Größenordnungen schneller, was für manche Anwendungsfälle ein praktikabler Kompromiss ist“, erläutern die OpenAI-Forscher in dem Paper, das das Projekt beschreibt.
Sollten Sie mehr ĂĽber Point-E oder den Quellcode erfahren wollen , finden Sie die Details unter folgendem Link.