Point E är OpenAIs nya AI för bildgenerering
OpenAI har utökat funktionerna i sin text-till-bild-programvara från två till tre dimensioner med lanseringen av Point-E, en AI som genererar 3D-bilder från textmeddelanden. Enligt ett dokument som publicerats med kodbasen kräver Point-E inte en avancerad dator för att köras och kan generera en modell på under två minuter med hjälp av en enda Nvidia V100 GPU.
Med detta kan vi se att 3D-modellgeneratorer kan bli nästa genombrott som kommer att ta AI-världen med storm. OpenAI har varit väldigt aktiva i år, då vi till exempel här på bloggen har pratat om företaget för dess två stora projekt: Dall-E 2 och ChatGPT.
Mellan dessa två massiva AI-plattformar hjälpte företaget till att generera bilder och långa textsträckor från ett enkelt textmeddelande, och nu är företaget tillbaka med ett tredje koncept, som lanserades strax före jul för att skapa uppmärksamhet. Detta tredje koncept, kallat Point-E, följer ett liknande mönster och skapar 3D-innehåll från enkla uppmaningar.
I en forskningsartikel publicerad av OpenAI-teamet tillkännagavs att Point-E fungerar i två steg: först använder den en text-till-bild-AI för att konvertera din verbala förfrågan till en bild, sedan använder den en andra funktion för att omvandla denna bild till en 3D-modell.
Point-E är öppen källkod och källkoden finns tillgänglig på GitHub . Ändå kan det vara lite knepigt att komma igång, eftersom användarna måste vara någorlunda bekanta med kommandoradsverktyg och systemet måste ha Python installerat, till skillnad från ChatGPT, där användare kan registrera sig på en webbplats och testa sina färdigheter.
Point-E skapar inte 3D-objekt i traditionell bemärkelse; snarare genererar det punktmoln, det vill säga diskreta uppsättningar datapunkter i rymden som representerar en 3D-form, därav den fräcka förkortningen.
(E:t i Point-E är en förkortning för "effektivitet" eftersom det uppenbarligen är snabbare än tidigare metoder för att rendera 3D-objekt.) Enligt utvecklarna är punktmoln beräkningsmässigt enklare att syntetisera, men de fångar inte formen eller den fina strukturen hos ett objekt, vilket är en stor begränsning för Point-E för närvarande.
För att övervinna denna begränsning tränade Point-E-teamet ett ytterligare AI-system för att konvertera Point-E:s punktmoln till nät. (Nät – samlingar av noder, kanter och ytor som definierar ett objekt – används ofta i 3D-modellering och design.) Men forskarna noterar i sin artikel att modellen ibland kan missa delar av objekt , vilket resulterar i förvrängda eller blockerade former. Förutom den nätgenererande modellen, som är fristående, består Point-E av två modeller: en text-bildmodell och en 3D-bildmodell.
Text-till-bild-modellen, liknande system för att generera konstverk som DALL-E 2 och Stable Diffusion, tränades på märkta bilder för att förstå sambanden mellan ord och visuella koncept . 3D-bildmodellen, å andra sidan, matades med en uppsättning bilder associerade med 3D-objekt för att lära sig hur man översätter de två effektivt. När ett textmeddelande ges, till exempel "ett 3D-utskrivbart kugghjul, ett enda kugghjul 7 cm i diameter och 1 cm tjockt", genererar Point-E:s text-till-bild-modell ett renderat syntetiskt objekt som sedan skickas till 3D-bildmodellen.
Den senare genererar sedan ett moln av poäng. Efter att ha tränat modellerna på en datauppsättning av "flera miljoner" 3D-objekt och tillhörande metadata, kunde Point-E producera färgade punktmoln som ofta matchade textuppmaningar, säger OpenAI-forskarna. Inte perfekt: Point-E:s 3D-bildmodell förstår ibland inte bilden från textbildmodellen, vilket resulterar i en form som inte matchar textmeddelandet. Ändå är det mycket snabbare än den tidigare tekniken, åtminstone enligt OpenAI-teamet.
Resultatet är långt ifrån att nå kvaliteten på en kommersiell 3D-rendering i en film eller ett videospel. Men det ska det inte vara. När de väl matats in i en 3D-applikation som Blender kan de förvandlas till texturerade maskor som ser mer ut som vanliga 3D-bilder.
"Även om vår metod fortfarande inte är på noll när det gäller provtagningskvalitet, är den en eller två storleksordningar snabbare, vilket är en praktisk kompromiss för vissa användningsfall", förklarar OpenAI-forskarna i artikeln som beskriver projektet.
Slutligen, om du är intresserad av att lära dig mer om Point-E eller källkoden, kan du hitta detaljerna på följande länk.