Point E er den nye AI-en til OpenAI for bildegenerering
OpenAI har utvidet mulighetene til tekst-til-bilde-programvaren sin fra to til tre dimensjoner med lanseringen av Point-E, en AI som genererer 3D-bilder fra tekstmeldinger. I følge et dokument publisert med kodebasen krever ikke Point-E en avansert datamaskin for å kjøre, og kan generere en modell på under to minutter ved hjelp av en enkelt Nvidia V100 GPU.
Med dette kan vi se at 3D-modellgeneratorer kan bli det neste gjennombruddet som vil ta AI-verdenen med storm. OpenAI har vært veldig aktive i år, siden vi for eksempel her på bloggen har snakket om selskapet for sine to store prosjekter: Dall-E 2 og ChatGPT.
Mellom disse to massive AI-plattformene bidro selskapet til å generere bilder og lange tekststrekninger fra en enkel tekstmelding, og nå er selskapet tilbake med et tredje konsept, lansert like før jul for å skape blest. Dette tredje konseptet, kalt Point-E, følger et lignende mønster, og lager 3D-innhold fra enkle instruksjoner.
Point-E , som ble annonsert i en forskningsartikkel publisert av OpenAI-teamet, fungerer i to trinn: først bruker den en tekst-til-bilde-AI for å konvertere din verbale forespørsel til et bilde, deretter bruker den en andre funksjon for å transformere dette bildet til en 3D-modell.
Point-E er åpen kildekode, og kildekoden er tilgjengelig på GitHub . Likevel kan det være litt vanskelig å komme i gang, ettersom brukere må være rimelig kjent med kommandolinjeverktøy, og systemet må ha Python installert, i motsetning til ChatGPT, hvor brukere kan registrere seg på et nettsted og teste ferdighetene sine.
Point-E lager ikke 3D-objekter i tradisjonell forstand; snarere genererer det punktskyer, det vil si diskrete sett med datapunkter i rommet som representerer en 3D-form, derav den frekke forkortelsen.
(E-en i Point-E er en forkortelse for "effektivitet", da den tilsynelatende er raskere enn tidligere tilnærminger til å gjengi 3D-objekter.) Ifølge utviklerne er punktskyer beregningsmessig enklere å syntetisere, men de fanger ikke opp formen eller den fine teksturen til et objekt, noe som er en stor begrensning for Point-E for tiden.
For å overvinne denne begrensningen trente Point-E-teamet et ekstra AI-system for å konvertere Point-Es punktskyer til masker. (Masker – samlinger av hjørner, kanter og flater som definerer et objekt – brukes ofte i 3D-modellering og design.) Men forskerne bemerker i artikkelen sin at modellen noen ganger kan overse deler av objekter , noe som resulterer i forvrengte eller blokkerte former. I tillegg til den maskeringsgenererende modellen, som er selvstendig, består Point-E av to modeller: en tekst-bildemodell og en 3D-bildemodell.
Tekst-til-bilde-modellen, i likhet med kunstgenereringssystemer som DALL-E 2 og Stable Diffusion, ble trent på merkede bilder for å forstå assosiasjonene mellom ord og visuelle konsepter . 3D-bildemodellen, derimot, ble matet med et sett med bilder tilknyttet 3D-objekter for å lære hvordan man oversetter de to effektivt. Når Point-Es tekst-til-bilde-modell får en tekstmelding, for eksempel «et 3D-utskrivbart tannhjul, et enkelt tannhjul 7 cm i diameter og 1 cm tykt», genererer den et gjengitt syntetisk objekt som deretter sendes til 3D-bildemodellen.
Sistnevnte genererer da en sky av poeng. Etter å ha trent modellene på et datasett med "flere millioner" 3D-objekter og tilhørende metadata, var Point-E i stand til å produsere fargede punktskyer som ofte samsvarte med tekstmeldinger, sier OpenAI-forskerne. Ikke perfekt: Point-Es 3D-bildemodell forstår noen ganger ikke bildet fra tekstbildemodellen, noe som resulterer i en form som ikke samsvarer med tekstmeldingen. Likevel er det mye raskere enn den forrige toppmoderne, i det minste ifølge OpenAI-teamet.
Resultatet er langt fra å nå kvaliteten til en kommersiell 3D-gjengivelse i en film eller et videospill. Men det skal ikke være det. Når de er matet inn i en 3D-applikasjon som Blender, kan de gjøres om til teksturerte netting som ser mer ut som vanlige 3D-bilder.
"Selv om metoden vår fortsatt ikke er opp til bunnen av når det gjelder prøvetakingskvalitet, er den en eller to størrelsesordener raskere, noe som er et praktisk kompromiss for noen brukstilfeller," forklarer OpenAI-forskerne i artikkelen som beskriver prosjektet.
Til slutt, hvis du er interessert i å lære mer om Point-E eller kildekoden, kan du finne detaljene på følgende lenke.