Point E to nowa sztuczna inteligencja OpenAI do generowania obrazów
Firma OpenAI rozszerzyła możliwości swojego oprogramowania do przetwarzania tekstu na obraz z dwóch do trzech wymiarów, wprowadzając Point-E – sztuczną inteligencję generującą obrazy 3D na podstawie komunikatów tekstowych. Według dokumentu opublikowanego wraz z bazą kodu, Point-E nie wymaga do działania komputera o wysokiej wydajności i może wygenerować model w mniej niż dwie minuty, wykorzystując pojedynczą kartę graficzną Nvidia V100.
Dzięki temu możemy zobaczyć, że generatory modeli 3D mogą być kolejnym przełomem, który szturmem podbije świat sztucznej inteligencji. OpenAI było bardzo aktywne w tym roku, ponieważ na przykład tutaj na blogu rozmawialiśmy o firmie w jej dwóch głównych projektach: Dall-E 2 i ChatGPT.
Dzięki tym dwóm potężnym platformom AI firma pomogła wygenerować obrazy i długie fragmenty tekstu z prostej wiadomości tekstowej, a teraz powraca z trzecią koncepcją, zaprezentowaną tuż przed świętami Bożego Narodzenia, aby wzbudzić zainteresowanie. Ta trzecia koncepcja, o nazwie Point-E, opiera się na podobnym schemacie, tworząc treści 3D z prostych poleceń.
Jak zapowiedziano w artykule badawczym opublikowanym przez zespół OpenAI, rozwiązanie Point-E działa dwuetapowo: najpierw wykorzystuje sztuczną inteligencję przekształcającą tekst w obraz, aby przekształcić żądanie słowne w obraz, a następnie przy użyciu drugiej funkcji przekształca ten obraz w model 3D.
Point-E jest systemem open source, a kod źródłowy jest dostępny na GitHubie . Mimo to, rozpoczęcie pracy może być nieco trudne, ponieważ użytkownicy muszą być w miarę zaznajomieni z narzędziami wiersza poleceń, a system musi mieć zainstalowanego Pythona, w przeciwieństwie do ChatGPT, gdzie użytkownicy mogą zarejestrować się na stronie internetowej i sprawdzić swoje umiejętności.
Point-E nie tworzy obiektów 3D w tradycyjnym sensie, lecz generuje chmury punktów, czyli dyskretne zbiory punktów danych w przestrzeni, które reprezentują kształt 3D, stąd ten żartobliwy skrót.
(Litera „E” w punkcie E jest skrótem od „wydajności”, ponieważ jest najwyraźniej szybsza niż poprzednie podejścia do renderowania obiektów 3D.) Według twórców chmury punktów są łatwiejsze do syntezy obliczeniowej, ale nie odwzorowują kształtu ani delikatnej tekstury obiektu, co jest obecnie głównym ograniczeniem Point-E.
Aby pokonać to ograniczenie , zespół Point-E wyszkolił dodatkowy system sztucznej inteligencji (AI) w celu konwersji chmur punktów Point-E na siatki. (Siatki – zbiory wierzchołków, krawędzi i ścian definiujące obiekt – są powszechnie używane w modelowaniu i projektowaniu 3D). Naukowcy zauważają jednak w swoim artykule, że model ten może czasami pomijać fragmenty obiektów , co skutkuje zniekształconymi lub zablokowanymi kształtami. Oprócz modelu generującego siatkę, który jest autonomiczny, Point-E składa się z dwóch modeli: modelu tekstowo-obrazowego i modelu obrazu 3D.
Model tekst-obraz, podobny do systemów generowania dzieł sztuki, takich jak DALL-E 2 i Stable Diffusion, został wytrenowany na oznaczonych obrazach, aby zrozumieć powiązania między słowami a koncepcjami wizualnymi . Natomiast modelowi obrazu 3D przekazano zestaw obrazów powiązanych z obiektami 3D, aby nauczyć się, jak skutecznie je interpretować. Po otrzymaniu wiadomości tekstowej, na przykład „koło zębate do druku 3D, pojedyncze koło zębate o średnicy 7 cm i grubości 1 cm”, model tekstu-obrazu Point-E generuje renderowany obiekt syntetyczny, który jest następnie przekazywany do modelu obrazu 3D.
Ten ostatni następnie generuje chmurę punktów. Po przeszkoleniu modeli na zbiorze danych „kilku milionów” obiektów 3D i powiązanych metadanych, Point-E był w stanie stworzyć kolorowe chmury punktów, które często pasowały do podpowiedzi tekstowych, twierdzą naukowcy OpenAI. Niedoskonały: model obrazu 3D Point-E czasami nie rozpoznaje obrazu z modelu obrazu tekstu, w wyniku czego kształt nie pasuje do wiadomości tekstowej. Mimo to jest znacznie szybszy niż poprzedni stan techniki, przynajmniej według zespołu OpenAI.
Rezultat jest daleki od osiągnięcia jakości komercyjnego renderowania 3D w filmie lub grze wideo. Ale tak nie powinno być. Po wprowadzeniu ich do aplikacji 3D, takiej jak Blender, można je przekształcić w teksturowane siatki, które wyglądają bardziej jak zwykłe obrazy 3D.
„Chociaż nasza metoda wciąż nie jest na najwyższym poziomie pod względem jakości próbkowania, jest o jeden lub dwa rzędy wielkości szybsza, co jest praktycznym kompromisem w niektórych przypadkach użycia” – wyjaśniają badacze OpenAI w artykule opisującym projekt.
Na koniec, jeśli chcesz dowiedzieć się więcej na temat Point-E lub kodu źródłowego, szczegółowe informacje znajdziesz pod poniższym linkiem.