Point E, görüntü oluşturma için OpenAI'nin yeni yapay zekasıdır
OpenAI , metin komutlarından 3 boyutlu görüntüler üreten yapay zekâ yazılımı Point-E'nin piyasaya sürülmesiyle, metinden görüntüye dönüştürme yazılımının yeteneklerini iki boyuttan üç boyuta genişletti. Kod tabanıyla birlikte yayınlanan bir belgeye göre, Point-E'nin çalışması için yüksek performanslı bir bilgisayara ihtiyaç duyulmuyor ve tek bir Nvidia V100 GPU kullanarak iki dakikadan kısa sürede bir model oluşturabiliyor.
Bununla, 3B model oluşturucuların yapay zeka dünyasını kasıp kavuracak bir sonraki atılım olabileceğini görebiliriz. OpenAI bu yıl çok aktif, çünkü örneğin burada blogda şirketin iki büyük projesi hakkında konuştuk: Dall-E 2 ve ChatGPT.
Bu iki devasa yapay zeka platformu sayesinde şirket, basit bir kısa mesajdan görüntüler ve uzun metinler oluşturmaya yardımcı oldu ve şimdi de Noel'den hemen önce büyük bir ilgi uyandırmak için üçüncü bir konseptle geri döndü. Point-E adı verilen bu üçüncü konsept de benzer bir modeli izleyerek basit komutlardan 3 boyutlu içerik oluşturuyor.
OpenAI ekibi tarafından yayınlanan bir araştırma makalesinde duyurulan Point-E, iki aşamada çalışıyor: önce sözlü isteğinizi bir görüntüye dönüştürmek için metinden görüntüye yapay zeka kullanıyor , ardından bu görüntüyü 3 boyutlu bir modele dönüştürmek için ikinci bir işlev kullanıyor.
Point-E açık kaynaklıdır ve kaynak kodu GitHub'da mevcuttur . Yine de, kullanıcıların komut satırı araçlarına oldukça aşina olmaları ve sistemde Python'ın kurulu olması gerektiğinden, ChatGPT'nin aksine, başlamak biraz zor olabilir; ChatGPT'de kullanıcılar bir web sitesine kaydolup becerilerini test edebilirler.
Point-E, geleneksel anlamda 3 boyutlu nesneler oluşturmaz; bunun yerine, 3 boyutlu bir şekli temsil eden, uzayda ayrık veri noktaları kümeleri olan nokta bulutları üretir; bu nedenle kısaltması oldukça esprili.
(Point-E'deki "E", 3B nesneleri işlemeye yönelik önceki yaklaşımlardan açıkça daha hızlı olduğu için "verimlilik" in kısaltmasıdır.) Geliştiricilere göre, nokta bulutlarının sentezlenmesi hesaplama açısından daha kolaydır, ancak bir nesnenin şeklini veya ince dokusunu yakalayamazlar, bu da şu anda Point-E'nin önemli bir sınırlamasıdır.
Bu sınırlamayı aşmak için Point-E ekibi, Point-E'nin nokta bulutlarını ağlara dönüştürmek üzere ek bir yapay zeka sistemi eğitti. (Ağlar—bir nesneyi tanımlayan köşe noktaları, kenarlar ve yüzlerden oluşan koleksiyonlar—3B modelleme ve tasarımda yaygın olarak kullanılır.) Ancak araştırmacılar makalelerinde, modelin bazen nesnelerin bazı kısımlarını atlayabileceğini ve bunun da bo distorted veya bloke olmuş şekillere yol açabileceğini belirtiyorlar . Kendi kendine yeten ağ oluşturma modeline ek olarak, Point-E iki modelden oluşur: bir metin-görüntü modeli ve bir 3B görüntü modeli.
DALL-E 2 ve Stable Diffusion gibi sanat eseri oluşturma sistemlerine benzer şekilde, metinden görüntüye dönüştürme modeli, kelimeler ve görsel kavramlar arasındaki ilişkileri anlamak için etiketlenmiş görüntüler üzerinde eğitildi . Öte yandan, 3B görüntü modeli, ikisini etkili bir şekilde nasıl çevireceğini öğrenmek için 3B nesnelerle ilişkilendirilmiş bir dizi görüntüyle beslendi. Örneğin, "3B yazdırılabilir bir dişli, 7 cm çapında ve 1 cm kalınlığında tek bir dişli" gibi bir metin mesajı verildiğinde, Point-E'nin metinden görüntüye dönüştürme modeli, daha sonra 3B görüntü modeline aktarılan işlenmiş sentetik bir nesne oluşturur.
İkincisi daha sonra bir nokta bulutu oluşturur. OpenAI araştırmacıları, modelleri "birkaç milyon" 3B nesne ve ilişkili meta verilerden oluşan bir veri kümesi üzerinde eğittikten sonra, Point-E'nin metin istemleriyle sıklıkla eşleşen renkli nokta bulutları üretebildiğini söylüyor. Mükemmel değil: Point-E'nin 3B görüntü modeli bazen metin görüntü modelindeki görüntüyü anlamaz ve bu da metin mesajıyla eşleşmeyen bir şekle neden olur. Yine de, en azından OpenAI ekibine göre, önceki teknolojiden çok daha hızlı.
Sonuç, bir filmde veya video oyununda ticari bir 3D render kalitesine ulaşmaktan çok uzak. Ama öyle olmamalı. Blender gibi bir 3D uygulamaya beslendiklerinde, daha çok normal 3D görüntülere benzeyen dokulu kafeslere dönüştürülebilirler.
OpenAI araştırmacıları, projeyi açıklayan makalede, "Metodumuz, örnekleme kalitesi açısından hâlâ sıfır düzeyde olmasa da, bir veya iki kat daha hızlı, bu da bazı kullanım durumları için pratik bir uzlaşmadır."
Son olarak, Point-E veya kaynak kodu hakkında daha fazla bilgi edinmek isterseniz , ayrıntıları aşağıdaki bağlantıda bulabilirsiniz.