Ang Point E ay ang bagong AI ng OpenAI para sa pagbuo ng imahe
Pinalawak ng OpenAI ang kakayahan ng text-to-image software nito mula dalawa hanggang tatlong dimensyon sa paglabas ng Point-E, isang AI na bumubuo ng mga 3D na imahe mula sa mga text prompt. Ayon sa isang dokumentong inilathala kasama ng codebase, ang Point-E ay hindi nangangailangan ng isang high-end na computer upang tumakbo at maaaring bumuo ng isang modelo sa loob ng wala pang dalawang minuto gamit ang isang Nvidia V100 GPU.
Sa pamamagitan nito, makikita natin na ang mga generator ng 3D na modelo ay maaaring ang susunod na pambihirang tagumpay na dadalhin sa mundo ng AI sa pamamagitan ng bagyo. Ang OpenAI ay naging napaka-aktibo sa taong ito, dahil halimbawa dito sa blog napag-usapan natin ang tungkol sa kumpanya para sa dalawang pangunahing proyekto nito: Dall-E 2 at ChatGPT.
Sa pagitan ng dalawang malalaking plataporma ng AI na ito, nakatulong ang kumpanya sa pagbuo ng mga imahe at mahahabang teksto mula sa isang simpleng text message, at ngayon ay bumalik ang kumpanya na may ikatlong konsepto, na inilunsad bago ang Pasko upang lumikha ng ingay. Ang ikatlong konseptong ito, na tinatawag na Point-E, ay sumusunod sa katulad na padron, na lumilikha ng 3D na nilalaman mula sa mga simpleng prompt.
Inanunsyo sa isang artikulo sa pananaliksik na inilathala ng pangkat ng OpenAI, ang Point-E ay gumagana sa dalawang yugto: una , gumagamit ito ng text-to-image AI upang i-convert ang iyong verbal na kahilingan sa isang imahe, pagkatapos ay gumagamit ito ng pangalawang function upang i-transform ang imaheng ito sa isang 3D model.
Ang Point-E ay open source at ang source code ay makukuha sa GitHub . Gayunpaman, maaaring medyo mahirap magsimula, dahil ang mga user ay kailangang maging pamilyar sa mga command-line tool at ang system ay dapat may naka-install na Python, hindi tulad ng ChatGPT, kung saan maaaring magparehistro ang mga user sa isang website at subukan ang kanilang mga kasanayan.
Ang Point-E ay hindi lumilikha ng mga 3D na bagay sa tradisyonal na kahulugan; sa halip, bumubuo ito ng mga point cloud, ibig sabihin, mga hiwalay na hanay ng mga data point sa kalawakan na kumakatawan sa isang 3D na hugis, kaya naman ito ang maituturing na pagpapaikli.
(Ang "E" sa Point-E ay maikli para sa "kahusayan" dahil ito ay tila mas mabilis kaysa sa mga nakaraang diskarte sa pag-render ng mga 3D na bagay.) Ayon sa mga developer, mas madaling ma-synthesize ang mga point cloud, ngunit hindi nila nakukuha ang hugis o pinong texture ng isang bagay, na isang pangunahing limitasyon ng Point-E sa kasalukuyan.
Upang malampasan ang limitasyong ito , sinanay ng pangkat ng Point-E ang isang karagdagang sistema ng AI upang gawing mga mesh ang mga point cloud ng Point-E. (Ang mga mesh—mga koleksyon ng mga vertex, edge, at face na tumutukoy sa isang bagay—ay karaniwang ginagamit sa 3D modeling at disenyo.) Ngunit binanggit ng mga mananaliksik sa kanilang papel na kung minsan ay maaaring makaligtaan ng modelo ang mga bahagi ng mga bagay , na nagreresulta sa mga distorted o blocked na hugis. Bilang karagdagan sa modelong bumubuo ng mesh, na self-contained, ang Point-E ay binubuo ng dalawang modelo: isang text-image model at isang 3D image model.
Ang text-to-image model, katulad ng mga artwork generation system tulad ng DALL-E 2 at Stable Diffusion, ay sinanay sa mga naka-label na imahe upang maunawaan ang mga ugnayan sa pagitan ng mga salita at mga visual na konsepto . Sa kabilang banda, ang 3D image model ay pinakain ng isang hanay ng mga imahe na nauugnay sa mga 3D object upang matutunan kung paano epektibong isalin ang dalawa. Kapag binigyan ng text message, halimbawa, "isang 3D-printable gear, isang gear na 7 cm ang diyametro at 1 cm ang kapal," ang text-to-image model ng Point-E ay bumubuo ng isang rendered synthetic object na pagkatapos ay ipinapasa sa 3D image model.
Ang huli ay bumubuo ng isang ulap ng mga puntos. Pagkatapos ng pagsasanay sa mga modelo sa isang dataset ng "ilang milyong" 3D na bagay at nauugnay na metadata, ang Point-E ay nakagawa ng mga may kulay na point cloud na madalas na tumutugma sa mga text prompt, sabi ng mga mananaliksik ng OpenAI. Hindi perpekto: Minsan ay hindi nauunawaan ng 3D na imaheng modelo ng Point-E ang larawan mula sa modelo ng text image, na nagreresulta sa isang hugis na hindi tumutugma sa text message. Gayunpaman, ito ay mas mabilis kaysa sa nakaraang estado ng sining, hindi bababa sa ayon sa koponan ng OpenAI.
Ang resulta ay malayo sa pag-abot sa kalidad ng isang komersyal na 3D rendering sa isang pelikula o isang video game. Pero hindi naman dapat. Kapag na-feed na sila sa isang 3D na application tulad ng Blender, maaari silang gawing mga naka-texture na mesh na mas kamukha ng mga normal na 3D na larawan.
"Bagaman ang aming pamamaraan ay hindi pa rin hanggang sa simula sa mga tuntunin ng kalidad ng sampling, ito ay isa o dalawang mga order ng magnitude na mas mabilis, na isang praktikal na kompromiso para sa ilang mga kaso ng paggamit," paliwanag ng mga mananaliksik ng OpenAI sa papel na naglalarawan sa proyekto.
Panghuli, kung interesado kang matuto nang higit pa tungkol sa Point-E o sa source code, makikita mo ang mga detalye sa sumusunod na link.