Point E er den nye AI af OpenAI til billedgenerering
OpenAI har udvidet mulighederne i sin tekst-til-billede-software fra to til tre dimensioner med udgivelsen af ​​Point-E, en AI, der genererer 3D-billeder fra tekstprompter. Ifølge et dokument udgivet med kodebasen kræver Point-E ikke en avanceret computer for at køre og kan generere en model på under to minutter ved hjælp af en enkelt Nvidia V100 GPU.
Med dette kan vi se, at 3D-modelgeneratorer kan blive det næste gennembrud, der vil tage AI-verdenen med storm. OpenAI har været meget aktive i år, da vi for eksempel her på bloggen har talt om virksomheden for dens to store projekter: Dall-E 2 og ChatGPT.
Mellem disse to massive AI-platforme hjalp virksomheden med at generere billeder og lange tekststykker fra en simpel tekstbesked, og nu er virksomheden tilbage med et tredje koncept, der blev lanceret lige før jul for at skabe opmærksomhed. Dette tredje koncept, kaldet Point-E, følger et lignende mønster og skaber 3D-indhold ud fra simple prompts.
Point-E , som blev annonceret i en forskningsartikel udgivet af OpenAI-teamet, fungerer i to faser: først bruger den en tekst-til-billede AI til at konvertere din verbale anmodning til et billede, derefter bruger den en anden funktion til at transformere dette billede til en 3D-model.
Point-E er open source, og kildekoden er tilgængelig på GitHub . Alligevel kan det være lidt vanskeligt at komme i gang, da brugerne skal være rimeligt fortrolige med kommandolinjeværktøjer, og systemet skal have Python installeret, i modsætning til ChatGPT, hvor brugerne kan registrere sig på en hjemmeside og teste deres færdigheder.
Point-E opretter ikke 3D-objekter i traditionel forstand; snarere genererer det punktskyer, det vil sige diskrete sæt af datapunkter i rummet, der repræsenterer en 3D-form, deraf den frække forkortelse.
("E" i Point-E er en forkortelse for "effektivitet", da det tilsyneladende er hurtigere end tidligere tilgange til gengivelse af 3D-objekter.) Ifølge udviklerne er punktskyer beregningsmæssigt nemmere at syntetisere, men de fanger ikke formen eller den fine tekstur af et objekt, hvilket er en væsentlig begrænsning af Point-E i øjeblikket.
For at overvinde denne begrænsning trænede Point-E-teamet et ekstra AI-system til at konvertere Point-E's punktskyer til masker. (Masker – samlinger af hjørner, kanter og flader, der definerer et objekt – bruges almindeligvis i 3D-modellering og -design.) Men forskerne bemærker i deres artikel, at modellen nogle gange kan overse dele af objekter , hvilket resulterer i forvrængede eller blokerede former. Ud over den maskerende model, som er selvstændig, består Point-E af to modeller: en tekst-billedmodel og en 3D-billedmodel.
Tekst-til-billede-modellen, der ligner systemer til generering af kunstværker som DALL-E 2 og Stable Diffusion, blev trænet på mærkede billeder for at forstå sammenhængene mellem ord og visuelle koncepter . 3D-billedmodellen fik derimod tilført et sæt billeder tilknyttet 3D-objekter for at lære, hvordan man effektivt oversætter de to. Når Point-E's tekst-til-billede-model får en tekstbesked, for eksempel "et 3D-printbart tandhjul, et enkelt tandhjul på 7 cm i diameter og 1 cm tykt", genererer den et gengivet syntetisk objekt, der derefter sendes til 3D-billedmodellen.
Sidstnævnte genererer så en sky af point. Efter at have trænet modellerne på et datasæt med "flere millioner" 3D-objekter og tilhørende metadata, var Point-E i stand til at producere farvede punktskyer, der ofte matchede tekstprompter, siger OpenAI-forskerne. Ikke perfekt: Point-E's 3D-billedmodel forstår nogle gange ikke billedet fra tekstbilledmodellen, hvilket resulterer i en form, der ikke matcher tekstmeddelelsen. Alligevel er det meget hurtigere end den tidligere state of the art, i det mindste ifølge OpenAI-teamet.
Resultatet er langt fra at nå kvaliteten af ​​en kommerciel 3D-gengivelse i en film eller et videospil. Men det er ikke meningen. Når de først er ført ind i en 3D-applikation som Blender, kan de omdannes til teksturerede masker, der ligner mere normale 3D-billeder.
"Selvom vores metode stadig ikke er op til bunden med hensyn til prøveudtagningskvalitet, er den en eller to størrelsesordener hurtigere, hvilket er et praktisk kompromis for nogle use cases," forklarer OpenAI-forskerne i papiret, der beskriver projektet.
Endelig, hvis du er interesseret i at lære mere om Point-E eller kildekoden, kan du finde detaljerne på følgende link.