Тачка Е је нови АИ ОпенАИ за генерисање слика
OpenAI је проширио могућности свог софтвера за претварање текста у слику са две на три димензије објављивањем Point-E, вештачке интелигенције која генерише 3D слике из текстуалних упутстава. Према документу објављеном са кодном базом, Point-E не захтева врхунски рачунар за рад и може да генерише модел за мање од два минута користећи један Nvidia V100 GPU.
Са овим можемо да видимо да би генератори 3Д модела могли бити следећи пробој који ће освојити свет вештачке интелигенције. ОпенАИ је био веома активан ове године, пошто смо на пример овде на блогу говорили о компанији за њена два велика пројекта: Далл-Е 2 и ЦхатГПТ.
Између ове две масивне платформе вештачке интелигенције, компанија је помогла у генерисању слика и дугих делова текста из једноставне текстуалне поруке, а сада се компанија враћа са трећим концептом, лансираним непосредно пре Божића како би изазвала узбуђење. Овај трећи концепт, назван Point-E, прати сличан образац, креирајући 3Д садржај из једноставних упутстава.
Како је најављено у истраживачком чланку који је објавио тим OpenAI, Point-E ради у две фазе: прво користи вештачку интелигенцију за претварање текста у слику да би ваш вербални захтев претворио у слику, а затим користи другу функцију да би ову слику трансформисао у 3Д модел.
Point-E је отвореног кода и изворни код је доступан на GitHub-у . Упркос томе, може бити мало компликовано почети, јер корисници морају бити разумно упознати са алатима командне линије, а систем мора имати инсталиран Python, за разлику од ChatGPT-а, где се корисници могу регистровати на веб локацији и тестирати своје вештине.
Тачка-Е не креира 3Д објекте у традиционалном смислу; већ генерише облаке тачака, односно дискретне скупове тачака података у простору који представљају 3Д облик, отуда и дрска скраћеница.
(„Е“ у Тачки-Е је скраћеница за „ефикасност“ јер је очигледно бржа од претходних приступа приказивању 3Д објеката.) Према програмерима, облаке тачака је рачунарски лакше синтетизовати, али они не хватају облик или фину текстуру објекта, што је тренутно главно ограничење Поинт-Е.
Да би превазишли ово ограничење , тим Point-E је обучио додатни вештачки интелигентни систем да конвертује облаке тачака Point-E у мреже. (Мреже - колекције чворова, ивица и површина које дефинишу објекат - се често користе у 3D моделирању и дизајну.) Али истраживачи у свом раду напомињу да модел понекад може да пропусти делове објеката , што резултира искривљеним или блокираним облицима. Поред модела који генерише мрежу, који је самосталан, Point-E се састоји од два модела: модела текста и слике и 3D модела слике.
Модел претварања текста у слику, сличан системима за генерисање уметничких дела као што су DALL-E 2 и Stable Diffusion, трениран је на означеним сликама како би се разумеле везе између речи и визуелних концепата . С друге стране, 3Д модел слике је добио скуп слика повезаних са 3Д објектима како би научио како да ефикасно преведе та два. Када се да текстуална порука, на пример, „зупчаник који се може штампати 3Д, један зупчаник пречника 7 цм и дебљине 1 цм“, Point-E-ов модел претварања текста у слику генерише рендеровани синтетички објекат који се затим прослеђује 3Д моделу слике.
Ово последње онда генерише облак тачака. Након обучавања модела на скупу података од „неколико милиона“ 3Д објеката и повезаних метаподатака, Поинт-Е је био у стању да произведе обојене облаке тачака који се често подударају са текстуалним упитима, кажу истраживачи ОпенАИ. Није савршено: 3Д модел слике Поинт-Е понекад не разуме слику из модела текстуалне слике, што резултира обликом који не одговара текстуалној поруци. Ипак, много је бржи од претходног стања технике, барем према ОпенАИ тиму.
Резултат је далеко од достизања квалитета комерцијалног 3Д рендеровања у филму или видео игрици. Али не би требало да буде. Када се унесу у 3Д апликацију као што је Блендер, могу се претворити у текстуриране мреже које више личе на нормалне 3Д слике.
„Иако наш метод још увек није на нивоу у погледу квалитета узорковања, он је бржи за један или два реда величине, што је практичан компромис за неке случајеве употребе“, објашњавају истраживачи ОпенАИ у раду који описује пројекат.
Коначно, ако сте заинтересовани да сазнате више о Point-E или изворном коду, детаље можете пронаћи на следећем линку.