Mayıs 2020'de, Elon Musk ve Sam Altman'ın birlikte kurduğu yapay zeka şirketi OpenAI, o dönemde önde gelen sinir ağı olarak lanse edilen GPT-3'ü piyasaya sürdü. Son teknoloji ürünü bir dil modeli olan GPT-3, selefi GPT-2'nin 1,5 milyar parametresine kıyasla 175 milyar parametre içeriyor .
GPT-3 , 17 milyar parametreye sahip olan ve daha önce en büyük sinir ağı rekorunu elinde tutan Microsoft'un NLG Turing (Turing Doğal Dil Üretimi) modelini geride bıraktı . Dil modeli hayranlık uyandırdı, eleştirildi ve hatta incelendi; ayrıca yeni ve ilginç uygulamalar da buldu.
Şimdi ise OpenAI'nin dil modelinin bir sonraki sürümü olan GPT-4'ün yakında piyasaya sürülebileceğine dair söylentiler ortaya çıktı .
Henüz bir çıkış tarihi açıklanmamış olsa da , OpenAI, GPT-3'ün halefi olan GPT-4'ün özelliklerine dair bazı ipuçları verdi; bu ipuçlarından yola çıkarak birçok kişi, GPT-4'ün GPT-3'ten daha büyük olmayacağını, ancak daha fazla işlem kaynağı kullanacağını ve böylece çevresel etkisini sınırlayacağını tahmin edebilir.
Oturum sırasında Altman, yaygın inanışın aksine GPT-4'ün en büyük dil modeli olmayacağına işaret etti . Modelin önceki nesil sinir ağlarından kesinlikle daha büyük olacağı, ancak boyutunun onu tanımlayan özellik olmayacağı belirtildi.
Birincisi, şirketler, performansı artırmak için bir gösterge olarak model boyutunu kullanmanın bunu yapmanın tek veya en iyi yolu olmadığını fark ettiler. 2020'de, Jared Kaplan ve OpenAI'deki meslektaşlarının, hesaplama bütçesindeki artışların öncelikle bir güç yasası ilişkisini takiben parametre sayısını artırmaya tahsis edildiğinde performansın en fazla arttığı sonucuna vardıkları bildiriliyor. Google, Nvidia, Microsoft, OpenAI, DeepMind ve dil modelleri geliştiren diğer şirketler, bu yönergeleri gerçek değerinden almıştır.
Ancak MT-NLG (Geçen yıl Nvidia ve Microsoft tarafından 530 milyar parametreyle oluşturulan bir sinir ağı olan Megatron-Turing NLG), harika olsa da, performans söz konusu olduğunda en iyisi değil. Aslında, herhangi bir kıyaslama kategorisinde en iyi olarak derecelendirilmedi. Gopher veya Chinchilla gibi daha küçük modeller (70 milyar parametre), boyutlarının yalnızca bir kısmı, tüm görevlerde MT-NLG'den çok daha iyi olurdu. Böylece, dilin daha iyi anlaşılmasına yol açan tek faktörün modelin boyutu olmadığı ortaya çıktı.
Altman'a göre, dil modelleri optimizasyon söz konusu olduğunda kritik bir sınırlamadan muzdariptir. Eğitim o kadar pahalı olurdu ki, şirketler doğruluk ve maliyet arasında bir uzlaşma sağlamak zorunda kalırdı. Bu durum genellikle ciddi şekilde yetersiz optimize edilmiş modellere yol açar.
CEO, diğer durumlarda yeniden eğitime yol açabilecek bazı hatalara rağmen GPT-3'ün yalnızca bir kez eğitildiğini bildirdi. Bu nedenle, OpenAI'nin, araştırmacıların model için en iyi hiperparametre setini bulmasını engelleyen, uygun olmayan maliyet nedeniyle buna karşı karar verdiği bildirildi.
Yüksek eğitim maliyetlerinin bir başka sonucu, model davranış analizlerinin kısıtlanmasıdır. Bir rapora göre, AI araştırmacıları, performansı artırmak için model boyutunun en alakalı değişken olduğu sonucuna vardıklarında, eğitim belirteçlerinin sayısını, yani modellere sağlanan veri miktarını dikkate almadılar. Bu, olağanüstü miktarda bilgi işlem kaynağı gerektirebilirdi. Teknoloji şirketlerinin, araştırmacıların bulgularını takip ettikleri bildirildi çünkü ellerindeki en iyi şey buydu.
Altman, GPT-4'ün selefine göre önemli ölçüde daha fazla hesaplama kullanacağını söyledi . OpenAI'nin GPT-4'te optimizasyonla ilgili fikirleri uygulaması bekleniyor, ancak bütçesi nedeniyle bu uygulamanın kapsamı belirsiz.
Ancak Altman'ın açıklamaları, OpenAI'nin model boyutu dışındaki değişkenleri optimize etmeye odaklanması gerektiğini gösteriyor . En iyi hiperparametre setini, optimum model boyutunu ve parametre sayısını bulmak, tüm kıyaslamalarda inanılmaz iyileştirmelere yol açabilir.
Analistlere göre, bu yaklaşımlar tek bir modelde birleştirilirse, dil modelleri için tüm tahminler çökecektir. Altman ayrıca insanların daha büyük olmadan daha iyi modellerin olabileceğine inanmayacaklarını söyledi. Ölçeklendirme çabalarının şimdilik bittiğini gösteriyor olabilir.
OpenAI'nin AI hizalama problemini çözmek için çok çaba sarf ettiği bildiriliyor: dil modellerinin insan niyetlerini takip etmesi ve insani değerlere bağlı kalması nasıl sağlanacak?
Analistler, bunun sadece zor bir matematiksel problem değil (AI'nın tam olarak ne istediğimizi anlamasını nasıl sağlarız?), aynı zamanda felsefi bir problem olduğunu söylüyorlar (AI'yi insanlarla hizalamanın evrensel bir yolu yoktur, çünkü gruptan gruba insani değerler çok büyük ve çoğu zaman çelişkilidir).
Son olarak, bu konu hakkında daha fazla bilgi edinmek isterseniz , aşağıdaki bağlantıdan orijinal yayına ulaşabilirsiniz .