ในเดือนพฤษภาคม 2020 OpenAI บริษัท AI ที่ก่อตั้งโดย Elon Musk และ Sam Altman ได้เผยแพร่ GPT-3 จากนั้นจึงนำเสนอเป็นเครือข่ายประสาทที่ยอดเยี่ยมในขณะนั้น แบบจำลองภาษาที่ล้ำสมัย GPT-3 ประกอบด้วยพารามิเตอร์ 175 พันล้านรายการ เมื่อเทียบกับพารามิเตอร์ 1,5 พันล้านตัวของ GPT-2 รุ่นก่อน
จีพีที-3 เอาชนะรุ่น NLG Turing (Turing Natural Language Generation) จากไมโครซอฟต์ ด้วยค่าพารามิเตอร์ 17 พันล้านตัว ซึ่งก่อนหน้านี้สร้างสถิติสูงสุดสำหรับโครงข่ายประสาทเทียมที่ใหญ่ที่สุด รูปแบบภาษาได้รับความประหลาดใจ วิพากษ์วิจารณ์ และแม้กระทั่งอยู่ภายใต้การพิจารณาอย่างถี่ถ้วน มันยังพบแอปพลิเคชั่นใหม่และน่าสนใจอีกด้วย
และตอนนี้ มีข่าวลือออกมาว่าการเปิดตัว GPT-4ซึ่งเป็นรุ่นถัดไปของโมเดลภาษา OpenAI ที่กำลังจะเปิดตัวเร็วๆ นี้
แม้ว่า ยังไม่มีการประกาศวันวางจำหน่าย OpenAI ได้ให้ข้อบ่งชี้บางประการเกี่ยวกับคุณลักษณะของผู้สืบทอดของ GPT-3 ซึ่งหลายคนอาจคาดหวังว่า GPT-4 ไม่ควรใหญ่กว่า GPT-3 แต่ควรใช้ทรัพยากรในการคำนวณมากขึ้น ซึ่งจะจำกัดผลกระทบต่อสิ่งแวดล้อม
ในระหว่างการประชุม อัลท์มันบอกใบ้ว่า, ตรงกันข้ามกับความเชื่อที่นิยม, GPT-4 จะไม่ใช่โมเดลภาษาที่ใหญ่ที่สุด. แบบจำลองนี้จะมีขนาดใหญ่กว่าโครงข่ายประสาทเทียมรุ่นก่อนอย่างไม่ต้องสงสัย แต่ขนาดจะไม่เป็นจุดเด่น
ประการแรก บริษัทต่างๆ ได้ตระหนักว่าการใช้ขนาดแบบจำลองเป็นตัวบ่งชี้ในการปรับปรุงประสิทธิภาพไม่ใช่วิธีเดียวหรือดีที่สุดที่จะทำได้ ในปี 2020 Jared Kaplan และเพื่อนร่วมงานที่ OpenAI สรุปว่าประสิทธิภาพดีขึ้นมากที่สุดเมื่อมีการจัดสรรงบประมาณการประมวลผลที่เพิ่มขึ้นเป็นหลักเพื่อเพิ่มจำนวนพารามิเตอร์ตามความสัมพันธ์ระหว่างกฎหมายอำนาจ Google, Nvidia, Microsoft, OpenAI, DeepMind และบริษัทอื่นๆ ที่พัฒนาโมเดลภาษาได้ใช้หลักเกณฑ์เหล่านี้ตามมูลค่าที่ตราไว้
แต่ MT-NLG (Megatron-Turing NLG ซึ่งเป็นโครงข่ายประสาทเทียมที่สร้างโดย Nvidia และ Microsoft เมื่อปีที่แล้วด้วยพารามิเตอร์ 530 พันล้านรายการ) ที่ยอดเยี่ยมอย่างที่เป็นอยู่ ไม่ได้ดีที่สุดในแง่ของประสิทธิภาพ อันที่จริง มันไม่ได้รับคะแนนดีที่สุดในหมวดหมู่การวัดประสิทธิภาพใดๆ รุ่นที่เล็กกว่า เช่น Gopher หรือ Chinchilla (70 พันล้านพารามิเตอร์) เพียงเศษเสี้ยวของขนาดเท่านั้น จะดีกว่า MT-NLG ในทุกงาน ดังนั้นจึงเป็นที่ชัดเจนว่าขนาดของแบบจำลองไม่ใช่ปัจจัยเดียวที่นำไปสู่การเข้าใจภาษาได้ดีขึ้น
ตามคำกล่าวของ Altman โมเดลภาษาประสบกับข้อจำกัดที่สำคัญ เมื่อพูดถึงการเพิ่มประสิทธิภาพ การฝึกอบรมจะมีราคาแพงมากจนบริษัทต่างๆ จะต้องประนีประนอมระหว่างความถูกต้องและต้นทุน ซึ่งมักจะส่งผลให้โมเดลได้รับการปรับให้เหมาะสมได้ไม่ดี
CEO รายงานว่า GPT-3 ได้รับการฝึกอบรมเพียงครั้งเดียว แม้ว่าจะมีข้อผิดพลาดบางประการที่อาจนำไปสู่การฝึกอบรมซ้ำ ด้วยเหตุนี้ รายงานของ OpenAI จึงตัดสินใจคัดค้านเนื่องจากมีค่าใช้จ่ายที่ไม่แพง ซึ่งทำให้นักวิจัยไม่สามารถค้นหาชุดไฮเปอร์พารามิเตอร์ที่ดีที่สุดสำหรับแบบจำลองได้
ผลที่ตามมาของค่าใช้จ่ายในการฝึกอบรมที่สูงก็คือการวิเคราะห์พฤติกรรมของแบบจำลองจะถูกจำกัด ตามรายงานฉบับหนึ่ง เมื่อนักวิจัย AI สรุปว่าขนาดโมเดลเป็นตัวแปรที่เกี่ยวข้องมากที่สุดสำหรับการปรับปรุงประสิทธิภาพ พวกเขาไม่ได้พิจารณาจำนวนโทเค็นการฝึก นั่นคือจำนวนข้อมูลที่ให้กับโมเดล สิ่งนี้จะต้องใช้ทรัพยากรการคำนวณจำนวนมากเป็นพิเศษ มีรายงานว่าบริษัทเทคโนโลยีติดตามการค้นพบของนักวิจัยเพราะเป็นสิ่งที่ดีที่สุดที่พวกเขามี
Altman กล่าวว่า GPT-4 จะใช้การคำนวณมากกว่ารุ่นก่อนมาก. คาดว่า OpenAI จะใช้แนวคิดที่เกี่ยวข้องกับการเพิ่มประสิทธิภาพใน GPT-4 แม้ว่าจะไม่สามารถคาดการณ์ได้เนื่องจากงบประมาณไม่เป็นที่รู้จัก
อย่างไรก็ตาม แถลงการณ์ของ Altman แสดงให้เห็นว่า OpenAI ควรมุ่งเน้นไปที่การปรับตัวแปรให้เหมาะสมนอกเหนือจากขนาดโมเดล. การค้นหาชุดไฮเปอร์พารามิเตอร์ที่ดีที่สุด ขนาดโมเดลที่เหมาะสมที่สุด และจำนวนพารามิเตอร์อาจนำไปสู่การปรับปรุงที่เหลือเชื่อในทุกการวัดประสิทธิภาพ
นักวิเคราะห์คาดการณ์ว่าแบบจำลองภาษาทั้งหมดจะล่มสลายหากวิธีการเหล่านี้รวมกันเป็นแบบจำลองเดียว Altman ยังกล่าวอีกว่าผู้คนคงไม่เชื่อว่าโมเดลที่ดีกว่านี้จะมีขนาดใหญ่ขึ้นได้อย่างไรโดยไม่จำเป็นต้องใหญ่ขึ้น อาจเป็นการบ่งชี้ว่าความพยายามในการปรับสเกลสิ้นสุดลงแล้วในตอนนี้
มีรายงานว่า OpenAI ใช้ความพยายามอย่างมากในการแก้ปัญหาการจัดตำแหน่ง AI: จะทำให้โมเดลภาษาเป็นไปตามความตั้งใจของมนุษย์และยึดมั่นในคุณค่าของมนุษย์ได้อย่างไร?
นักวิเคราะห์กล่าวว่านี่ไม่ใช่เพียงปัญหาทางคณิตศาสตร์ที่ยาก (เราจะทำให้ AI เข้าใจสิ่งที่เราต้องการได้อย่างไร) แต่ยังเป็นปรัชญาด้วย (ไม่มีทางที่เป็นสากลในการจัด AI กับมนุษย์ เนื่องจากความแปรปรวนของ คุณค่าของมนุษย์จากกลุ่มหนึ่งไปอีกกลุ่มหนึ่งนั้นยิ่งใหญ่และมักขัดแย้งกัน)
ในที่สุด หากคุณสนใจที่จะทราบข้อมูลเพิ่มเติมคุณสามารถอ้างถึงโพสต์ต้นฉบับ ในลิงค์ต่อไปนี้.