Pada Mei 2020, OpenAI, perusahaan AI yang didirikan bersama oleh Elon Musk dan Sam Altman, merilis GPT-3, yang saat itu disebut-sebut sebagai jaringan saraf terdepan. Sebagai model bahasa mutakhir, GPT-3 mencakup 175 miliar parameter dibandingkan dengan 1,5 miliar parameter pendahulunya, GPT-2.
GPT-3 melampaui model NLG Turing (Turing Natural Language Generation) milik Microsoft, yang memiliki 17 miliar parameter dan sebelumnya memegang rekor sebagai jaringan saraf terbesar. Model bahasa ini telah dikagumi, dikritik, dan bahkan diteliti secara cermat; model ini juga telah menemukan aplikasi baru dan menarik.
Dan kini muncul rumor bahwa perilisan GPT-4 , versi selanjutnya dari model bahasa OpenAI, mungkin akan segera tiba.
Meskipun tanggal rilis belum diumumkan, OpenAI telah memberikan beberapa indikasi tentang karakteristik penerus GPT-3, yang dari situ banyak orang mungkin mengharapkan bahwa GPT-4 tidak akan lebih besar dari GPT-3, tetapi akan menggunakan lebih banyak sumber daya komputasi, sehingga membatasi dampak lingkungannya.
Selama sesi tersebut, Altman mengisyaratkan bahwa , bertentangan dengan kepercayaan umum, GPT-4 bukanlah model bahasa terbesar . Meskipun model ini tentu akan lebih besar daripada generasi jaringan saraf sebelumnya, ukuran bukanlah karakteristik utamanya.
Pertama, perusahaan telah menyadari bahwa menggunakan ukuran model sebagai indikator untuk meningkatkan kinerja bukanlah satu-satunya atau cara terbaik untuk melakukannya. Pada tahun 2020, Jared Kaplan dan rekan-rekannya di OpenAI dilaporkan menyimpulkan bahwa kinerja meningkat paling banyak ketika peningkatan anggaran komputasi terutama dialokasikan untuk meningkatkan jumlah parameter, mengikuti hubungan kekuatan hukum. Google, Nvidia, Microsoft, OpenAI, DeepMind, dan perusahaan lain yang mengembangkan model bahasa telah mengambil pedoman ini begitu saja.
Tetapi MT-NLG (Megatron-Turing NLG, jaringan saraf yang dibangun oleh Nvidia dan Microsoft tahun lalu dengan 530 miliar parameter), meskipun hebat, bukanlah yang terbaik dalam hal kinerja. Faktanya, itu tidak dinilai yang terbaik dalam kategori benchmark apa pun. Model yang lebih kecil seperti Gopher atau Chinchilla (70 miliar parameter), hanya sebagian kecil dari ukurannya, akan jauh lebih baik daripada MT-NLG dalam semua tugas. Dengan demikian, menjadi jelas bahwa ukuran model bukanlah satu-satunya faktor yang mengarah pada pemahaman bahasa yang lebih baik.
Menurut Altman, model bahasa memiliki keterbatasan kritis dalam hal optimasi. Pelatihan akan sangat mahal sehingga perusahaan harus berkompromi antara akurasi dan biaya. Hal ini seringkali menghasilkan model yang sangat kurang optimal.
CEO melaporkan bahwa GPT-3 dilatih hanya sekali, meskipun ada beberapa kesalahan yang dalam kasus lain akan menyebabkan pelatihan ulang. Karena itu, OpenAI dilaporkan memutuskan untuk tidak melakukannya karena biaya yang tidak terjangkau, yang mencegah para peneliti menemukan set hyperparameter terbaik untuk model tersebut.
Konsekuensi lain dari biaya pelatihan yang tinggi adalah bahwa analisis perilaku model akan dibatasi. Menurut satu laporan, ketika peneliti AI menyimpulkan bahwa ukuran model adalah variabel yang paling relevan untuk meningkatkan kinerja, mereka tidak mempertimbangkan jumlah token pelatihan, yaitu jumlah data yang diberikan ke model. Ini akan membutuhkan jumlah sumber daya komputasi yang luar biasa. Perusahaan teknologi dilaporkan mengikuti temuan para peneliti karena itu adalah yang terbaik yang mereka miliki.
Altman mengatakan bahwa GPT-4 akan menggunakan komputasi yang jauh lebih banyak daripada pendahulunya . OpenAI diharapkan untuk mengimplementasikan ide-ide terkait optimasi di GPT-4, meskipun sejauh mana implementasi ini masih belum pasti karena keterbatasan anggaran.
Namun, pernyataan Altman menunjukkan bahwa OpenAI seharusnya fokus pada pengoptimalan variabel selain ukuran model . Menemukan rangkaian hyperparameter terbaik, ukuran model optimal, dan jumlah parameter dapat menghasilkan peningkatan luar biasa di semua benchmark.
Menurut analis, semua prediksi untuk model bahasa akan runtuh jika pendekatan ini digabungkan menjadi satu model. Altman juga mengatakan bahwa orang tidak akan percaya betapa model yang lebih baik tanpa harus menjadi lebih besar. Ini mungkin menunjukkan bahwa upaya penskalaan sudah berakhir untuk saat ini.
OpenAI dilaporkan berupaya keras untuk memecahkan masalah penyelarasan AI: bagaimana membuat model bahasa mengikuti niat manusia dan mematuhi nilai-nilai kemanusiaan?
Analis mengatakan bahwa ini bukan hanya masalah matematika yang sulit (bagaimana kita membuat AI memahami apa yang kita inginkan?), tetapi juga filosofis (tidak ada cara universal untuk menyelaraskan AI dengan manusia, karena variabilitas dari nilai-nilai kemanusiaan dari kelompok ke kelompok sangat besar dan sering bertentangan).
Terakhir, jika Anda tertarik untuk mempelajari lebih lanjut tentang hal ini , Anda dapat melihat publikasi aslinya di tautan berikut.