Point E este noul AI al OpenAI pentru generarea de imagini
OpenAI a extins capacitățile software-ului său de transformare a textului în imagine de la două la trei dimensiuni odată cu lansarea Point-E, o inteligență artificială care generează imagini 3D din solicitări text. Conform unui document publicat împreună cu baza de cod, Point-E nu necesită un computer de ultimă generație pentru a funcționa și poate genera un model în mai puțin de două minute folosind un singur GPU Nvidia V100.
Cu aceasta putem vedea că generatoarele de modele 3D ar putea fi următoarea descoperire care va lua cu asalt lumea AI. OpenAI a fost foarte activ anul acesta, deoarece de exemplu aici pe blog am vorbit despre companie pentru cele două proiecte majore ale sale: Dall-E 2 și ChatGPT.
Între aceste două platforme masive de inteligență artificială, compania a contribuit la generarea de imagini și porțiuni lungi de text dintr-un simplu mesaj text, iar acum compania revine cu un al treilea concept, lansat chiar înainte de Crăciun pentru a genera vâlvă. Acest al treilea concept, numit Point-E, urmează un model similar, creând conținut 3D din solicitări simple.
Anunțat într-un articol de cercetare publicat de echipa OpenAI, Point-E funcționează în două etape: mai întâi folosește o inteligență artificială text-imagine pentru a converti solicitarea verbală într-o imagine, apoi folosește o a doua funcție pentru a transforma această imagine într-un model 3D.
Point-E este open source, iar codul sursă este disponibil pe GitHub . Chiar și așa, poate fi puțin dificil să începi, deoarece utilizatorii trebuie să fie relativ familiarizați cu instrumentele din linia de comandă, iar sistemul trebuie să aibă instalat Python, spre deosebire de ChatGPT, unde utilizatorii se pot înregistra pe un site web și își pot testa abilitățile.
Point-E nu creează obiecte 3D în sensul tradițional; mai degrabă, generează nori de puncte, adică seturi discrete de puncte de date în spațiu care reprezintă o formă 3D, de unde și abrevierea obraznică.
(„E” din Point-E este prescurtarea pentru „eficiență”, deoarece este aparent mai rapid decât abordările anterioare de redare a obiectelor 3D.) Potrivit dezvoltatorilor, norii de puncte sunt mai ușor de sintetizat din punct de vedere computațional, dar nu captează forma sau textura fină a unui obiect, ceea ce este o limitare majoră a Point-E în prezent.
Pentru a depăși această limitare , echipa Point-E a antrenat un sistem suplimentar de inteligență artificială pentru a converti norii de puncte ai Point-E în rețele. (Rețelele - colecții de vârfuri, muchii și fețe care definesc un obiect - sunt utilizate în mod obișnuit în modelarea și proiectarea 3D.) Însă cercetătorii notează în lucrarea lor că modelul poate uneori să omită părți ale obiectelor , rezultând forme distorsionate sau blocate. Pe lângă modelul generator de rețele, care este autonom, Point-E este alcătuit din două modele: un model text-imagine și un model de imagine 3D.
Modelul text-imagine, similar sistemelor de generare a operelor de artă precum DALL-E 2 și Stable Diffusion, a fost antrenat pe imagini etichetate pentru a înțelege asocierile dintre cuvinte și concepte vizuale . Modelul de imagine 3D, pe de altă parte, a fost alimentat cu un set de imagini asociate cu obiecte 3D pentru a învăța cum să le traducă eficient pe cele două. Atunci când i se dă un mesaj text, de exemplu, „o roată dințată imprimabilă 3D, o singură roată dințată cu diametrul de 7 cm și grosimea de 1 cm”, modelul text-imagine al Point-E generează un obiect sintetic randat care este apoi transmis modelului de imagine 3D.
Acesta din urmă generează apoi un nor de puncte. După antrenarea modelelor pe un set de date de „câteva milioane” de obiecte 3D și metadate asociate, Point-E a reușit să producă nori de puncte colorate care se potriveau frecvent cu solicitările de text, spun cercetătorii OpenAI. Nu este perfect: modelul de imagine 3D al Point-E uneori nu înțelege imaginea din modelul de imagine text, rezultând o formă care nu se potrivește cu mesajul text. Totuși, este mult mai rapid decât stadiul anterior al tehnicii, cel puțin conform echipei OpenAI.
Rezultatul este departe de a atinge calitatea unei randări 3D comerciale într-un film sau într-un joc video. Dar nu ar trebui să fie. Odată ce sunt introduse într-o aplicație 3D precum Blender, ele pot fi transformate în rețele texturate care arată mai mult ca imagini 3D normale.
„Deși metoda noastră nu este încă la înălțime în ceea ce privește calitatea eșantionării, este cu unul sau două ordine de mărime mai rapidă, ceea ce reprezintă un compromis practic pentru unele cazuri de utilizare”, explică cercetătorii OpenAI în lucrarea care descrie proiectul.
În cele din urmă, dacă sunteți interesați să aflați mai multe despre Point-E sau despre codul sursă, puteți găsi detalii la următorul link.