Pada Mei 2020, OpenAI, perusahaan AI yang didirikan bersama oleh Elon Musk dan Sam Altman, menerbitkan GPT-3, kemudian disajikan sebagai jaringan saraf terbaik saat itu. Model bahasa yang canggih, GPT-3 mencakup 175 miliar parameter dibandingkan dengan 1,5 miliar parameter pendahulunya GPT-2.
GPT-3 mengalahkan model NLG Turing (Turing Natural Language Generation) dari Microsoft dengan 17 miliar parameter yang sebelumnya memegang rekor jaringan saraf terbesar. Model bahasa telah dikagumi, dikritik, dan bahkan dicermati; itu juga menemukan aplikasi baru dan menarik.
Dan sekarang rumor telah dirilis bahwa rilis GPT-4, versi berikutnya dari model bahasa OpenAI, akan segera hadir.
Meskipun belum ada tanggal rilis yang diumumkan, OpenAI telah memberikan beberapa indikasi tentang karakteristik penerus GPT-3, yang mungkin diharapkan banyak orang, bahwa GPT-4 tidak boleh lebih besar dari GPT-3, tetapi harus menggunakan lebih banyak sumber daya komputasi, yang akan membatasi dampak lingkungannya.
Selama sesi, Altman mengisyaratkan bahwa, bertentangan dengan kepercayaan populer, GPT-4 tidak akan menjadi model bahasa terbesar. Modelnya tidak diragukan lagi akan lebih besar dari generasi sebelumnya dari jaringan saraf, tetapi ukuran tidak akan menjadi ciri khasnya.
Pertama, perusahaan telah menyadari bahwa menggunakan ukuran model sebagai indikator untuk meningkatkan kinerja bukanlah satu-satunya atau cara terbaik untuk melakukannya. Pada tahun 2020, Jared Kaplan dan rekan-rekannya di OpenAI dilaporkan menyimpulkan bahwa kinerja meningkat paling banyak ketika peningkatan anggaran komputasi terutama dialokasikan untuk meningkatkan jumlah parameter, mengikuti hubungan kekuatan hukum. Google, Nvidia, Microsoft, OpenAI, DeepMind, dan perusahaan lain yang mengembangkan model bahasa telah mengambil pedoman ini begitu saja.
Tetapi MT-NLG (Megatron-Turing NLG, jaringan saraf yang dibangun oleh Nvidia dan Microsoft tahun lalu dengan 530 miliar parameter), meskipun hebat, bukanlah yang terbaik dalam hal kinerja. Faktanya, itu tidak dinilai yang terbaik dalam kategori benchmark apa pun. Model yang lebih kecil seperti Gopher atau Chinchilla (70 miliar parameter), hanya sebagian kecil dari ukurannya, akan jauh lebih baik daripada MT-NLG dalam semua tugas. Dengan demikian, menjadi jelas bahwa ukuran model bukanlah satu-satunya faktor yang mengarah pada pemahaman bahasa yang lebih baik.
Menurut Altman, model bahasa mengalami keterbatasan kritis. ketika datang ke optimasi. Pelatihan akan sangat mahal sehingga perusahaan harus berkompromi antara akurasi dan biaya. Hal ini sering mengakibatkan model tidak dioptimalkan dengan baik.
CEO melaporkan bahwa GPT-3 dilatih hanya sekali, meskipun ada beberapa kesalahan yang dalam kasus lain akan menyebabkan pelatihan ulang. Karena itu, OpenAI dilaporkan memutuskan untuk tidak melakukannya karena biaya yang tidak terjangkau, yang mencegah para peneliti menemukan set hyperparameter terbaik untuk model tersebut.
Konsekuensi lain dari biaya pelatihan yang tinggi adalah bahwa analisis perilaku model akan dibatasi. Menurut satu laporan, ketika peneliti AI menyimpulkan bahwa ukuran model adalah variabel yang paling relevan untuk meningkatkan kinerja, mereka tidak mempertimbangkan jumlah token pelatihan, yaitu jumlah data yang diberikan ke model. Ini akan membutuhkan jumlah sumber daya komputasi yang luar biasa. Perusahaan teknologi dilaporkan mengikuti temuan para peneliti karena itu adalah yang terbaik yang mereka miliki.
Altman mengatakan bahwa GPT-4 akan menggunakan lebih banyak perhitungan daripada pendahulunya. OpenAI diharapkan untuk mengimplementasikan ide-ide terkait pengoptimalan di GPT-4, meskipun sejauh mana tidak dapat diprediksi karena anggarannya tidak diketahui.
Namun, pernyataan Altman menunjukkan bahwa OpenAI harus fokus pada pengoptimalan variabel selain ukuran model.. Menemukan kumpulan hyperparameter terbaik, ukuran model optimal, dan jumlah parameter dapat menghasilkan peningkatan luar biasa di semua tolok ukur.
Menurut analis, semua prediksi untuk model bahasa akan runtuh jika pendekatan ini digabungkan menjadi satu model. Altman juga mengatakan bahwa orang tidak akan percaya betapa model yang lebih baik tanpa harus menjadi lebih besar. Ini mungkin menunjukkan bahwa upaya penskalaan sudah berakhir untuk saat ini.
OpenAI dilaporkan berupaya keras untuk memecahkan masalah penyelarasan AI: bagaimana membuat model bahasa mengikuti niat manusia dan mematuhi nilai-nilai kemanusiaan?
Analis mengatakan bahwa ini bukan hanya masalah matematika yang sulit (bagaimana kita membuat AI memahami apa yang kita inginkan?), tetapi juga filosofis (tidak ada cara universal untuk menyelaraskan AI dengan manusia, karena variabilitas dari nilai-nilai kemanusiaan dari kelompok ke kelompok sangat besar dan sering bertentangan).
Akhirnya jika Anda tertarik untuk mengetahui lebih banyak tentangnyaAnda dapat merujuk ke posting asli Di tautan berikut.