Point E는 이미지 생성을 위한 OpenAI의 새로운 AI입니다.
OpenAI는 텍스트 입력을 기반으로 3D 이미지를 생성하는 AI인 Point-E를 출시하며 자사의 텍스트 이미지 변환 소프트웨어 기능을 2차원에서 3차원으로 확장했습니다. 코드 베이스 와 함께 공개 된 문서에 따르면 Point-E는 고성능 컴퓨터가 필요하지 않으며, 엔비디아 V100 GPU 하나만 사용해도 2분 이내에 모델을 생성할 수 있습니다.
이를 통해 우리는 3D 모델 생성기가 AI의 세계를 폭풍으로 몰고 갈 다음 돌파구가 될 수 있음을 알 수 있습니다. OpenAI는 올해 매우 활동적이었습니다. 예를 들어 여기 블로그에서 Dall-E 2와 ChatGPT라는 두 가지 주요 프로젝트에 대해 회사에 대해 이야기한 이후입니다.
이 회사는 두 개의 거대한 AI 플랫폼을 통해 간단한 문자 메시지에서 이미지와 긴 텍스트를 생성하는 기술을 선보였 으며, 이제 크리스마스 직전에 세 번째 콘셉트를 공개하여 화제를 모으고 있습니다. 포인트-E(Point-E)라고 불리는 이 세 번째 콘셉트는 이전과 마찬가지로 간단한 입력만으로 3D 콘텐츠를 생성하는 방식을 채택하고 있습니다.
OpenAI 팀이 발표한 연구 논문에 따르면 Point-E는 두 단계로 작동합니다. 첫 번째 단계 에서는 텍스트를 이미지로 변환하는 AI를 사용하여 사용자의 음성 요청을 이미지로 변환하고, 두 번째 단계에서는 이 이미지를 3D 모델로 변환합니다.
Point-E는 오픈 소스이며 소스 코드는 GitHub에서 확인할 수 있습니다 . 하지만 사용자가 명령줄 도구에 어느 정도 익숙해야 하고 시스템에 Python이 설치되어 있어야 하므로 시작하기가 다소 까다로울 수 있습니다. 반면 ChatGPT는 사용자가 웹사이트에 가입하여 실력을 테스트할 수 있습니다.
Point-E는 전통적인 의미의 3D 객체를 생성하는 것이 아니라 , 3D 형태를 나타내는 공간상의 이산적인 데이터 포인트 집합인 포인트 클라우드를 생성합니다. 이러한 특징 때문에 Point-E라는 재치 있는 약어가 붙었습니다.
(Point-E의 "E"는 3D 개체를 렌더링하는 이전 접근 방식보다 분명히 더 빠르기 때문에 "효율성"의 줄임말입니다.) 개발자에 따르면 포인트 클라우드는 계산적으로 합성하기가 더 쉽지만 현재 Point-E의 주요 제한 사항인 객체의 모양이나 미세한 질감을 캡처하지 못합니다.
이러한 한계를 극복하기 위해 Point-E 팀은 Point-E의 포인트 클라우드를 메시로 변환하는 추가적인 AI 시스템을 학습시켰습니다. (메시는 객체를 정의하는 정점, 모서리, 면의 집합으로, 3D 모델링 및 디자인에 일반적으로 사용됩니다.) 하지만 연구진은 논문에서 이 모델이 때때로 객체의 일부를 누락하여 왜곡되거나 막힌 형태를 나타낼 수 있다고 지적합니다 . 자체적으로 모든 기능을 갖춘 메시 생성 모델 외에도 Point-E는 텍스트 이미지 모델과 3D 이미지 모델, 이렇게 두 가지 모델로 구성됩니다.
텍스트-이미지 변환 모델은 DALL-E 2 및 Stable Diffusion과 같은 아트워크 생성 시스템과 유사 하게 레이블이 지정된 이미지를 사용하여 단어와 시각적 개념 간의 연관성을 이해하도록 학습되었습니다 . 반면 3D 이미지 모델은 3D 객체와 관련된 이미지 세트를 입력받아 두 가지를 효과적으로 변환하는 방법을 학습했습니다. 예를 들어 "3D 프린팅 가능한 기어, 지름 7cm, 두께 1cm의 단일 기어"라는 텍스트 메시지가 주어지면 Point-E의 텍스트-이미지 변환 모델은 렌더링된 합성 객체를 생성하고, 이 객체는 3D 이미지 모델로 전달됩니다.
그런 다음 후자는 포인트 클라우드를 생성합니다. "수백만"의 3D 개체 및 관련 메타데이터 데이터 세트에서 모델을 교육한 후 Point-E는 텍스트 프롬프트와 자주 일치하는 컬러 포인트 클라우드를 생성할 수 있었다고 OpenAI 연구원은 말합니다. 완벽하지 않음: Point-E의 3D 이미지 모델은 때때로 텍스트 이미지 모델의 이미지를 이해하지 못하여 텍스트 메시지와 일치하지 않는 모양이 됩니다. 그럼에도 불구하고 적어도 OpenAI 팀에 따르면 이전의 최신 기술보다 훨씬 빠릅니다.
결과는 영화나 비디오 게임의 상업용 3D 렌더링 품질에 도달하는 것과는 거리가 멉니다. 하지만 그렇게 해서는 안 됩니다. Blender와 같은 3D 응용 프로그램에 입력되면 일반 3D 이미지처럼 보이는 텍스처 메쉬로 전환될 수 있습니다.
OpenAI 연구원은 프로젝트를 설명하는 논문에서 "우리의 방법이 샘플링 품질 측면에서 여전히 최고 수준은 아니지만 XNUMX~XNUMX배 더 빠르며 일부 사용 사례에 대한 실질적인 절충안입니다."라고 설명합니다.
마지막으로, Point-E 또는 소스 코드에 대해 더 자세히 알고 싶으시다면 다음 링크에서 자세한 내용을 확인하실 수 있습니다.