Point E is de nieuwe AI van OpenAI voor het genereren van afbeeldingen
OpenAI heeft de mogelijkheden van zijn tekst-naar-beeld-software uitgebreid van twee naar drie dimensies met de release van Point-E, een AI die 3D-afbeeldingen genereert op basis van tekstuele aanwijzingen. Volgens een document dat bij de code is gepubliceerd, vereist Point-E geen krachtige computer om te draaien en kan het een model in minder dan twee minuten genereren met een enkele Nvidia V100 GPU.
Hiermee kunnen we zien dat 3D-modelgeneratoren de volgende doorbraak kunnen zijn die de wereld van AI stormenderhand zal veroveren. OpenAI is dit jaar erg actief geweest, omdat we bijvoorbeeld hier op de blog over het bedrijf hebben gesproken voor zijn twee grote projecten: Dall-E 2 en ChatGPT.
Met behulp van deze twee enorme AI-platforms genereerde het bedrijf al afbeeldingen en lange stukken tekst op basis van een simpel sms-bericht. Nu is het bedrijf terug met een derde concept, dat vlak voor Kerstmis werd gelanceerd om de aandacht te trekken. Dit derde concept, genaamd Point-E, volgt een vergelijkbaar patroon en creëert 3D-content op basis van eenvoudige aanwijzingen.
Point-E , dat is aangekondigd in een onderzoeksartikel gepubliceerd door het OpenAI-team, werkt in twee fasen: eerst gebruikt het een tekst-naar-beeld-AI om je gesproken verzoek om te zetten in een afbeelding, vervolgens gebruikt het een tweede functie om deze afbeelding om te zetten in een 3D-model.
Point-E is open source en de broncode is beschikbaar op GitHub . Toch kan het even wennen zijn om ermee aan de slag te gaan, omdat gebruikers redelijk bekend moeten zijn met commandoregelprogramma's en Python op het systeem geïnstalleerd moet zijn, in tegenstelling tot ChatGPT, waar gebruikers zich kunnen registreren op een website en hun vaardigheden kunnen testen.
Point-E creëert geen 3D-objecten in de traditionele zin; het genereert eerder puntenwolken, dat wil zeggen discrete verzamelingen van datapunten in de ruimte die een 3D-vorm representeren, vandaar de ietwat ludieke afkorting.
(De "E" in Point-E is een afkorting van "efficiency", aangezien het blijkbaar sneller is dan eerdere benaderingen voor het weergeven van 3D-objecten.) Volgens de ontwikkelaars zijn puntenwolken computationeel eenvoudiger te synthetiseren, maar geven ze niet de vorm of fijne textuur van een object weer, wat momenteel een belangrijke beperking is van Point-E.
Om deze beperking te overkomen , trainde het Point-E-team een ​​extra AI-systeem om de puntenwolken van Point-E om te zetten in meshes. (Meshes – verzamelingen van hoekpunten, randen en vlakken die een object definiëren – worden veel gebruikt in 3D-modellering en -ontwerp.) De onderzoekers merken echter in hun artikel op dat het model soms delen van objecten kan missen , wat resulteert in vervormde of blokvormige structuren. Naast het mesh-genererende model, dat op zichzelf staat, bestaat Point-E uit twee modellen: een tekst-afbeeldingmodel en een 3D-afbeeldingmodel.
Het tekst-naar-beeldmodel, vergelijkbaar met systemen voor het genereren van kunstwerken zoals DALL-E 2 en Stable Diffusion, werd getraind met gelabelde afbeeldingen om de verbanden tussen woorden en visuele concepten te begrijpen . Het 3D-beeldmodel daarentegen werd gevoed met een set afbeeldingen die geassocieerd waren met 3D-objecten om te leren hoe de twee effectief te vertalen. Wanneer bijvoorbeeld een tekstbericht wordt gegeven, zoals "een 3D-printbaar tandwiel, een enkel tandwiel met een diameter van 7 cm en een dikte van 1 cm", genereert het tekst-naar-beeldmodel van Point-E een gerenderd synthetisch object dat vervolgens wordt doorgegeven aan het 3D-beeldmodel.
Die laatste genereert dan een puntenwolk. Na het trainen van de modellen op een dataset van "enkele miljoenen" 3D-objecten en bijbehorende metadata, was Point-E in staat om gekleurde puntenwolken te produceren die vaak overeenkwamen met tekstprompts, aldus de OpenAI-onderzoekers. Niet perfect: het 3D-beeldmodel van Point-E begrijpt soms de afbeelding van het tekstbeeldmodel niet, wat resulteert in een vorm die niet overeenkomt met het tekstbericht. Toch is het veel sneller dan de vorige stand van de techniek, althans volgens het OpenAI-team.
Het resultaat bereikt bij lange na niet de kwaliteit van een commerciële 3D-weergave in een film of een videogame. Maar het hoort niet zo te zijn. Als ze eenmaal in een 3D-toepassing zoals Blender zijn ingevoerd, kunnen ze worden omgezet in getextureerde mazen die meer op normale 3D-afbeeldingen lijken.
"Hoewel onze methode nog steeds niet op peil is in termen van bemonsteringskwaliteit, is het een of twee ordes van grootte sneller, wat een praktisch compromis is voor sommige gebruikssituaties", leggen de OpenAI-onderzoekers uit in de paper die het project beschrijft.
Mocht u tot slot meer willen weten over Point-E of de broncode, dan vindt u de details via de volgende link.