Pada Mei 2020, OpenAI, syarikat AI yang diasaskan bersama oleh Elon Musk dan Sam Altman, telah mengeluarkan GPT-3, yang pada masa itu disebut-sebut sebagai rangkaian saraf terkemuka. Model bahasa yang canggih, GPT-3 merangkumi 175 bilion parameter berbanding 1,5 bilion parameter pendahulunya, GPT-2.
GPT-3 mengatasi model NLG Turing (Turing Natural Language Generation) Microsoft, yang mempunyai 17 bilion parameter dan sebelum ini memegang rekod untuk rangkaian saraf terbesar. Model bahasa ini telah dikagumi, dikritik, malah diteliti; ia juga telah menemui aplikasi baharu dan menarik.
Dan kini khabar angin telah timbul bahawa pelancaran GPT-4 , versi seterusnya bagi model bahasa OpenAI, mungkin akan datang tidak lama lagi.
Walaupun tarikh pelancaran belum diumumkan, OpenAI telah memberikan beberapa petunjuk tentang ciri-ciri pengganti GPT-3, yang mana ramai yang menjangkakan bahawa GPT-4 tidak sepatutnya lebih besar daripada GPT-3, tetapi sepatutnya menggunakan lebih banyak sumber pengiraan, sekali gus mengehadkan impaknya terhadap alam sekitar.
Semasa sesi tersebut, Altman memberi bayangan bahawa , bertentangan dengan kepercayaan popular, GPT-4 bukanlah model bahasa yang terbesar . Walaupun model tersebut pastinya akan lebih besar daripada generasi rangkaian saraf sebelumnya, saiz bukanlah ciri yang menentukannya.
Pertama, syarikat telah menyedari bahawa menggunakan saiz model sebagai penunjuk untuk meningkatkan prestasi bukanlah satu-satunya atau cara terbaik untuk melakukannya. Pada tahun 2020, Jared Kaplan dan rakan sekerja di OpenAI dilaporkan menyimpulkan bahawa prestasi paling banyak bertambah baik apabila peningkatan dalam belanjawan pengiraan diperuntukkan terutamanya untuk meningkatkan bilangan parameter, berikutan perhubungan undang-undang kuasa. Google, Nvidia, Microsoft, OpenAI, DeepMind dan syarikat lain yang membangunkan model bahasa telah mengambil garis panduan ini pada nilai muka.
Tetapi MT-NLG (Megatron-Turing NLG, rangkaian saraf yang dibina oleh Nvidia dan Microsoft tahun lepas dengan 530 bilion parameter), walaupun hebat, bukanlah yang terbaik dalam hal prestasi. Malah, ia tidak dinilai terbaik dalam mana-mana kategori penanda aras. Model yang lebih kecil seperti Gopher atau Chinchilla (70 bilion parameter), hanya sebahagian kecil daripada saiznya, akan menjadi lebih baik daripada MT-NLG dalam semua tugas. Oleh itu, menjadi jelas bahawa saiz model bukanlah satu-satunya faktor yang membawa kepada pemahaman bahasa yang lebih baik.
Menurut Altman, model bahasa mengalami batasan kritikal dalam pengoptimuman. Latihan akan menjadi sangat mahal sehingga syarikat terpaksa berkompromi antara ketepatan dan kos. Ini sering mengakibatkan model yang sangat kurang dioptimumkan.
Ketua Pegawai Eksekutif melaporkan bahawa GPT-3 dilatih sekali sahaja, walaupun terdapat beberapa kesilapan yang dalam kes lain akan membawa kepada latihan semula. Oleh sebab itu, OpenAI dilaporkan memutuskan untuk menentangnya kerana kos yang tidak berpatutan, yang menghalang penyelidik daripada mencari set hiperparameter terbaik untuk model tersebut.
Akibat lain dari kos latihan yang tinggi ialah analisis tingkah laku model akan dihadkan. Menurut satu laporan, apabila penyelidik AI menyimpulkan bahawa saiz model adalah pembolehubah yang paling relevan untuk meningkatkan prestasi, mereka tidak mempertimbangkan bilangan token latihan, iaitu jumlah data yang diberikan kepada model. Ini memerlukan jumlah sumber pengkomputeran yang luar biasa. Syarikat teknologi dilaporkan mengikuti penemuan penyelidik kerana ia adalah yang terbaik yang mereka miliki.
Altman berkata bahawa GPT-4 akan menggunakan lebih banyak pengiraan berbanding pendahulunya . OpenAI dijangka melaksanakan idea berkaitan pengoptimuman dalam GPT-4, walaupun sejauh mana pelaksanaan ini tidak dapat dipastikan disebabkan oleh bajetnya.
Walau bagaimanapun, kenyataan Altman menunjukkan bahawa OpenAI harus memberi tumpuan kepada pengoptimuman pembolehubah selain daripada saiz model . Mencari set hiperparameter terbaik, saiz model optimum dan bilangan parameter boleh membawa kepada penambahbaikan yang luar biasa merentasi semua penanda aras.
Menurut penganalisis, semua ramalan untuk model bahasa akan runtuh jika pendekatan ini digabungkan menjadi satu model. Altman juga berkata bahawa orang tidak akan percaya betapa model yang lebih baik boleh menjadi tanpa semestinya lebih besar. Ia mungkin mencadangkan bahawa usaha penskalaan telah berakhir buat masa ini.
OpenAI dilaporkan melakukan banyak usaha untuk menyelesaikan masalah penjajaran AI: bagaimana untuk menjadikan model bahasa mengikut niat manusia dan mematuhi nilai manusia?
Penganalisis mengatakan bahawa ini bukan sahaja masalah matematik yang sukar (bagaimana kita membuat AI memahami apa yang kita mahukan?), tetapi juga falsafah (tiada cara universal untuk menyelaraskan AI dengan manusia, kerana kebolehubahan nilai kemanusiaan dari kumpulan ke kumpulan adalah besar dan sering bercanggah).
Akhir sekali, jika anda berminat untuk mengetahui lebih lanjut mengenainya , anda boleh merujuk penerbitan asal pada pautan berikut.