Punkt E on OpenAI uus tehisintellekt piltide genereerimiseks
OpenAI on laiendanud oma tekstist pildiks teisendava tarkvara võimalusi kahemõõtmeliselt kolmemõõtmeliseks, avaldades Point-E, tehisintellekti , mis genereerib tekstikäskudest 3D-pilte. Koodibaasiga avaldatud dokumendi kohaselt ei vaja Point-E töötamiseks tipptasemel arvutit ja suudab ühe Nvidia V100 graafikaprotsessori abil mudeli luua vähem kui kahe minutiga.
Selle põhjal näeme, et 3D-mudeli generaatorid võivad olla järgmine läbimurre, mis AI maailma tormiliselt haarab. OpenAI on sel aastal olnud väga aktiivne, kuna näiteks siin blogis oleme rääkinud ettevõttest kahe suurema projekti puhul: Dall-E 2 ja ChatGPT.
Nende kahe tohutu tehisintellekti platvormi abil aitas ettevõte lihtsast tekstisõnumist genereerida pilte ja pikki tekstilõike ning nüüd on ettevõte tagasi kolmanda kontseptsiooniga, mis toodi turule vahetult enne jõule, et elevust tekitada. See kolmas kontseptsioon nimega Point-E järgib sarnast mustrit, luues lihtsatest küsimustest 3D-sisu.
OpenAI meeskonna avaldatud uurimisartiklis teatati, et Point-E töötab kahes etapis: esiteks kasutab see tekstist pildiks teisendavat tehisintellekti teie suulise taotluse pildiks teisendamiseks ja seejärel teise funktsiooni abil selle pildi 3D-mudeliks teisendamiseks.
Point-E on avatud lähtekoodiga ja lähtekood on saadaval GitHubis . Sellegipoolest võib alustamine olla pisut keeruline, kuna kasutajad peavad olema käsureatööriistadega mõistlikult tuttavad ja süsteemis peab olema installitud Python, erinevalt ChatGPT-st, kus kasutajad saavad veebisaidil registreeruda ja oma oskusi testida.
Point-E ei loo traditsioonilises mõttes 3D-objekte; pigem genereerib see punktpilvi, st diskreetseid andmepunktide komplekte ruumis, mis esindavad 3D-kuju, sellest ka see naljakas lühend.
("E" punktis E on lühend "tõhususest", kuna see on ilmselt kiirem kui varasemad lähenemisviisid 3D-objektide renderdamisel.) Arendajate sõnul on punktipilvi arvutuslikult lihtsam sünteesida, kuid need ei jäädvusta objekti kuju ega peent tekstuuri, mis on praegu Point-E peamine piirang.
Selle piirangu ületamiseks treenis Point-E meeskond täiendava tehisintellekti süsteemi, et teisendada Point-E punktpilved võrkudeks. (Võrgusilmad – objekti määratlevate tippude, servade ja tahkude kogumid – on 3D-modelleerimisel ja -disainis tavaliselt kasutatavad.) Kuid teadlased märgivad oma artiklis, et mudel võib mõnikord objektide osi vahele jätta , mille tulemuseks on moonutatud või blokeeritud kujundid. Lisaks võrgusilma genereerivale mudelile, mis on iseseisev, koosneb Point-E kahest mudelist: teksti-pildi mudelist ja 3D-pildi mudelist.
Tekstist pildiks teisendatud mudel, mis sarnaneb kunstiteoste genereerimise süsteemidega nagu DALL-E 2 ja Stable Diffusion, treeniti märgistatud piltide põhjal, et mõista sõnade ja visuaalsete kontseptsioonide vahelisi seoseid . 3D-pildimudelile seevastu söödeti 3D-objektidega seotud piltide komplekt, et õppida, kuidas neid kahte tõhusalt tõlkida. Näiteks kui Point-E tekstist pildiks teisendatud mudel annab tekstisõnumi "3D-prinditav hammasratas, üks hammasratas läbimõõduga 7 cm ja paksusega 1 cm", genereerib see renderdatud sünteetilise objekti, mis seejärel edastatakse 3D-pildimudelile.
Viimane genereerib seejärel punktipilve. OpenAI teadlaste sõnul suutis Point-E pärast mudelite koolitamist "mitme miljoni" 3D-objekti ja nendega seotud metaandmete andmestikul toota värvilisi punktipilvi, mis sobisid sageli tekstiviipadega. Pole täiuslik: Point-E 3D-kujutise mudel ei saa mõnikord tekstikujutise mudelist pilti aru, mille tulemuseks on kuju, mis ei ühti tekstisõnumiga. Sellegipoolest on see palju kiirem kui eelmine tehnika tase, vähemalt OpenAI meeskonna sõnul.
Tulemus on kaugel filmi või videomängu kaubandusliku 3D-renderduse kvaliteedist. Aga see ei peaks olema. Kui need on sisestatud 3D-rakendusse nagu Blender, saab need muuta tekstureeritud võrkudeks, mis näevad välja rohkem nagu tavalised 3D-pildid.
"Kuigi meie meetod ei ole proovivõtukvaliteedi osas endiselt nullist kõrgem, on see ühe või kahe suurusjärgu võrra kiirem, mis on mõne kasutusjuhtumi puhul praktiline kompromiss," selgitavad OpenAI teadlased projekti kirjeldavas dokumendis.
Lõpuks, kui olete huvitatud Point-E või lähtekoodi kohta lisateabe saamisest, leiate üksikasjad järgmiselt lingilt.