ในเดือนพฤษภาคม 2020 OpenAI บริษัท AI ที่ร่วมก่อตั้งโดยอีลอน มัสก์และแซม อัลต์แมน ได้เปิดตัว GPT-3 ซึ่งได้รับการยกย่องในขณะนั้นว่าเป็นโครงข่ายประสาทเทียมชั้นนำGPT-3 เป็นแบบจำลองภาษาที่ล้ำสมัย โดยมีพารามิเตอร์ถึง 175 พันล้านตัวเมื่อเทียบกับ GPT-2 รุ่นก่อนหน้าที่มีพารามิเตอร์ 1,5 พันล้านตัว
GPT-3 แซงหน้าโมเดล NLG Turing (Turing Natural Language Generation) ของ Microsoftซึ่งมีพารามิเตอร์ 17 พันล้านตัว และเคยครองสถิติเครือข่ายประสาทเทียมที่ใหญ่ที่สุดมาก่อน โมเดลภาษาดังกล่าวได้รับการชื่นชม วิพากษ์วิจารณ์ และแม้กระทั่งตรวจสอบอย่างละเอียดถี่ถ้วน อีกทั้งยังพบการประยุกต์ใช้งานใหม่ๆ ที่น่าสนใจอีกด้วย
และตอนนี้มีข่าวลือว่า GPT-4ซึ่งเป็นเวอร์ชันถัดไปของโมเดลภาษาจาก OpenAI อาจจะเปิดตัวในเร็วๆ นี้
แม้ว่าจะยังไม่มีการประกาศวันวางจำหน่ายอย่างเป็นทางการ แต่ OpenAI ได้ให้ข้อมูลบางส่วนเกี่ยวกับคุณลักษณะของรุ่นต่อจาก GPT-3 ซึ่งหลายคนอาจคาดหวังว่า GPT-4 จะไม่ใหญ่กว่า GPT-3 แต่ควรใช้ทรัพยากรการคำนวณมากขึ้น ซึ่งจะช่วยลดผลกระทบต่อสิ่งแวดล้อมได้
ระหว่างการบรรยายอัลท์แมนได้กล่าวเป็นนัยว่าตรงกันข้ามกับความเชื่อที่แพร่หลายGPT-4 จะไม่ใช่แบบจำลองภาษาที่ใหญ่ที่สุดแม้ว่าแบบจำลองนี้จะมีขนาดใหญ่กว่าเครือข่ายประสาทเทียมรุ่นก่อนๆ อย่างแน่นอน แต่ขนาดจะไม่ใช่คุณลักษณะที่กำหนดลักษณะของมัน
ประการแรก บริษัทต่างๆ ได้ตระหนักว่าการใช้ขนาดแบบจำลองเป็นตัวบ่งชี้ในการปรับปรุงประสิทธิภาพไม่ใช่วิธีเดียวหรือดีที่สุดที่จะทำได้ ในปี 2020 Jared Kaplan และเพื่อนร่วมงานที่ OpenAI สรุปว่าประสิทธิภาพดีขึ้นมากที่สุดเมื่อมีการจัดสรรงบประมาณการประมวลผลที่เพิ่มขึ้นเป็นหลักเพื่อเพิ่มจำนวนพารามิเตอร์ตามความสัมพันธ์ระหว่างกฎหมายอำนาจ Google, Nvidia, Microsoft, OpenAI, DeepMind และบริษัทอื่นๆ ที่พัฒนาโมเดลภาษาได้ใช้หลักเกณฑ์เหล่านี้ตามมูลค่าที่ตราไว้
แต่ MT-NLG (Megatron-Turing NLG ซึ่งเป็นโครงข่ายประสาทเทียมที่สร้างโดย Nvidia และ Microsoft เมื่อปีที่แล้วด้วยพารามิเตอร์ 530 พันล้านรายการ) ที่ยอดเยี่ยมอย่างที่เป็นอยู่ ไม่ได้ดีที่สุดในแง่ของประสิทธิภาพ อันที่จริง มันไม่ได้รับคะแนนดีที่สุดในหมวดหมู่การวัดประสิทธิภาพใดๆ รุ่นที่เล็กกว่า เช่น Gopher หรือ Chinchilla (70 พันล้านพารามิเตอร์) เพียงเศษเสี้ยวของขนาดเท่านั้น จะดีกว่า MT-NLG ในทุกงาน ดังนั้นจึงเป็นที่ชัดเจนว่าขนาดของแบบจำลองไม่ใช่ปัจจัยเดียวที่นำไปสู่การเข้าใจภาษาได้ดีขึ้น
ตามที่อัลท์แมนกล่าวไว้ โมเดลภาษาประสบกับข้อจำกัดที่สำคัญเมื่อพูดถึงการปรับให้เหมาะสม การฝึกฝนโมเดลจะมีค่าใช้จ่ายสูงมากจนบริษัทต่างๆ ต้องประนีประนอมระหว่างความแม่นยำและต้นทุน ซึ่งมักส่งผลให้โมเดลที่ได้นั้นไม่ได้รับการปรับให้เหมาะสมอย่างเพียงพอ
CEO รายงานว่า GPT-3 ได้รับการฝึกอบรมเพียงครั้งเดียว แม้ว่าจะมีข้อผิดพลาดบางประการที่อาจนำไปสู่การฝึกอบรมซ้ำ ด้วยเหตุนี้ รายงานของ OpenAI จึงตัดสินใจคัดค้านเนื่องจากมีค่าใช้จ่ายที่ไม่แพง ซึ่งทำให้นักวิจัยไม่สามารถค้นหาชุดไฮเปอร์พารามิเตอร์ที่ดีที่สุดสำหรับแบบจำลองได้
ผลที่ตามมาของค่าใช้จ่ายในการฝึกอบรมที่สูงก็คือการวิเคราะห์พฤติกรรมของแบบจำลองจะถูกจำกัด ตามรายงานฉบับหนึ่ง เมื่อนักวิจัย AI สรุปว่าขนาดโมเดลเป็นตัวแปรที่เกี่ยวข้องมากที่สุดสำหรับการปรับปรุงประสิทธิภาพ พวกเขาไม่ได้พิจารณาจำนวนโทเค็นการฝึก นั่นคือจำนวนข้อมูลที่ให้กับโมเดล สิ่งนี้จะต้องใช้ทรัพยากรการคำนวณจำนวนมากเป็นพิเศษ มีรายงานว่าบริษัทเทคโนโลยีติดตามการค้นพบของนักวิจัยเพราะเป็นสิ่งที่ดีที่สุดที่พวกเขามี
อัลท์แมนกล่าวว่า GPT-4 จะใช้การคำนวณมากกว่ารุ่นก่อนหน้าอย่างมากคาดว่า OpenAI จะนำแนวคิดที่เกี่ยวข้องกับการเพิ่มประสิทธิภาพมาใช้ใน GPT-4 แม้ว่าขอบเขตของการนำไปใช้จะยังไม่แน่นอนเนื่องจากงบประมาณที่มีจำกัด
อย่างไรก็ตาม คำกล่าวของอัลท์แมนแสดงให้เห็นว่า OpenAI ควรให้ความสำคัญกับการปรับตัวแปรอื่นๆ นอกเหนือจากขนาดของโมเดลการค้นหาชุดไฮเปอร์พารามิเตอร์ที่ดีที่สุด ขนาดโมเดลที่เหมาะสม และจำนวนพารามิเตอร์ที่เหมาะสม อาจนำไปสู่การปรับปรุงที่น่าทึ่งในทุกเกณฑ์มาตรฐาน
นักวิเคราะห์คาดการณ์ว่าแบบจำลองภาษาทั้งหมดจะล่มสลายหากวิธีการเหล่านี้รวมกันเป็นแบบจำลองเดียว Altman ยังกล่าวอีกว่าผู้คนคงไม่เชื่อว่าโมเดลที่ดีกว่านี้จะมีขนาดใหญ่ขึ้นได้อย่างไรโดยไม่จำเป็นต้องใหญ่ขึ้น อาจเป็นการบ่งชี้ว่าความพยายามในการปรับสเกลสิ้นสุดลงแล้วในตอนนี้
มีรายงานว่า OpenAI ใช้ความพยายามอย่างมากในการแก้ปัญหาการจัดตำแหน่ง AI: จะทำให้โมเดลภาษาเป็นไปตามความตั้งใจของมนุษย์และยึดมั่นในคุณค่าของมนุษย์ได้อย่างไร?
นักวิเคราะห์กล่าวว่านี่ไม่ใช่เพียงปัญหาทางคณิตศาสตร์ที่ยาก (เราจะทำให้ AI เข้าใจสิ่งที่เราต้องการได้อย่างไร) แต่ยังเป็นปรัชญาด้วย (ไม่มีทางที่เป็นสากลในการจัด AI กับมนุษย์ เนื่องจากความแปรปรวนของ คุณค่าของมนุษย์จากกลุ่มหนึ่งไปอีกกลุ่มหนึ่งนั้นยิ่งใหญ่และมักขัดแย้งกัน)
สุดท้ายนี้หากคุณสนใจเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้คุณสามารถศึกษาเอกสารต้นฉบับได้จากลิงก์ต่อไปนี้