ในปัจจุบันเราเริ่มเห็นการเพิ่มขึ้นของโซลูชันต่างๆ ที่เริ่มนำเสนอเกี่ยวกับการสร้างโค้ดโดยใช้ปัญญาประดิษฐ์ (AI) และสาขาการประมวลผลภาษาธรรมชาติ (NLP) ได้ปูทางไปสู่ AI สร้างโค้ดในภาษาโปรแกรมต่างๆ มากมาย
ในบรรดาโซลูชันเหล่านี้เราสามารถกล่าวถึง GitHub Copilot, AlphaCode และ Codex ได้และตอนนี้เราสามารถเพิ่มโซลูชันใหม่จากนักวิจัยที่มหาวิทยาลัย Carnegie Mellonซึ่งเพิ่งนำเสนอ "PolyCoder"เครื่องมือสร้างโค้ดที่ใช้โมเดลภาษา GPT-2 ของ OpenAI ซึ่งได้รับการฝึกฝนบนฐานข้อมูลโค้ดขนาด 249 GB ใน 12 ภาษาโปรแกรม
เกี่ยวกับ PolyCoder
ผู้เขียน PolyCoder อ้างว่ามันสามารถเขียนภาษาซีได้แม่นยำกว่าโมเดลใดๆ ที่รู้จักกัน รวมถึง Codex ด้วย
ปัญญาประดิษฐ์ (AI) ที่สามารถสร้างโค้ดได้ในภาษาโปรแกรมต่างๆจากข้อความที่กำหนด จะช่วยลดต้นทุนการพัฒนาซอฟต์แวร์ ในขณะเดียวกันก็ช่วยให้นักพัฒนาสามารถมุ่งเน้นไปที่งานสร้างสรรค์และลดความซ้ำซากจำเจได้
PolyCoder ได้รับการฝึกฝนโดยใช้ข้อมูลจากคลังเก็บข้อมูล GitHub หลายแห่ง ซึ่งครอบคลุมภาษาโปรแกรมยอดนิยม 12 ภาษา ได้แก่C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala และ TypeScript
ชุดข้อมูลที่ยังไม่ได้กรองมีขนาดรวม 631 GB และมีไฟล์จำนวน 38,9 ล้านไฟล์ ทีมงานกล่าวว่าพวกเขาเลือกที่จะฝึกฝน PolyCoder ด้วย GPT-2 เนื่องจากข้อจำกัดด้านงบประมาณ PolyCoder เปิดให้ใช้งานแบบโอเพนซอร์ส และนักวิจัยหวังว่ามันจะช่วยให้การวิจัยในด้านการสร้างโค้ด AI ซึ่งจนถึงปัจจุบันถูกครอบงำโดยบริษัทที่มีเงินทุนสนับสนุนอย่างดี สามารถเข้าถึงได้ง่ายขึ้น
นักวิจัยเชื่อว่า PolyCoder ทำงานได้ดีกว่าโมเดลอื่นๆ ในการสร้างโค้ดในภาษา Cอย่างไรก็ตาม Codex ทำงานได้ดีกว่าอย่างสม่ำเสมอในภาษาอื่นๆ "PolyCoder ทำงานได้ดีกว่า Codex และโมเดลอื่นๆ ทั้งหมดในภาษา C อย่างเห็นได้ชัด"
“เมื่อ Copilot เปิดตัว GitHub เมื่อฤดูร้อนปีที่แล้ว เห็นได้ชัดว่าโมเดลโค้ดภาษาขนาดใหญ่มากเหล่านี้จะมีประโยชน์มากในการช่วยนักพัฒนาและเพิ่มประสิทธิภาพการทำงาน แต่ไม่มีโมเดลใดที่ใกล้เคียงกับมาตราส่วนนั้นเปิดเผยต่อสาธารณะ” นักวิจัยบอกกับ VentureBeat ทางอีเมล “ดังนั้น [PolyCoder] เริ่มต้นด้วย Vincent ที่พยายามค้นหาว่ารุ่นใดที่ใหญ่ที่สุดที่สามารถฝึกฝนบนเซิร์ฟเวอร์แล็บของเราได้ ซึ่งจบลงด้วยพารามิเตอร์ 2700 พันล้านตัว… และโมเดลนั้นเป็นลีกที่นำหน้าโมเดลเชิงโค้ดอื่นๆ ที่เรามี เผยแพร่สู่สาธารณะในขณะนั้น”
“ เมื่อเปรียบเทียบเฉพาะโมเดลโอเพนซอร์สPolyCoder มีประสิทธิภาพเหนือกว่าโมเดล GPT-Neo 2.7B ที่มีขนาดใกล้เคียงกันในภาษา C, JavaScript, Rust, Scala และ TypeScript”พวกเขาระบุ “ในอีก 11 ภาษาที่เหลือ โมเดลโอเพนซอร์สอื่นๆ ทั้งหมด รวมถึงโมเดลของเราเอง มีประสิทธิภาพแย่กว่า Codex อย่างเห็นได้ชัด (ความซับซ้อนมากกว่า)” นักวิจัยจาก CMU กล่าวเพิ่มเติม
ด้วยเหตุนี้ PolyCoder จึงถูกจัดวางให้เป็นโซลูชันที่น่าสนใจมาก เนื่องจากในขณะที่ห้องปฏิบัติการวิจัย เช่น OpenAI ของ Elon Musk และ DeepMind ของ Alphabet ได้พัฒนา AI ที่สร้างโค้ดที่มีประสิทธิภาพ แต่ระบบที่ประสบความสำเร็จมากที่สุดจำนวนมากไม่มีอยู่ในโอเพ่นซอร์ส บริษัทที่มีรายได้ต่ำไม่สามารถเข้าถึงได้ และสถานการณ์นี้จำกัดการวิจัยของพวกเขาในสาขา
ตัวอย่างเช่น ข้อมูลการฝึกอบรมจาก OpenAI Codex ซึ่งขับเคลื่อนฟีเจอร์ Copilot ของ GitHub นั้นไม่ได้เปิดเผยต่อสาธารณะ ทำให้นักวิจัยไม่สามารถปรับแต่งโมเดล AI หรือศึกษาบางแง่มุมของมันได้ เช่น การทำงานร่วมกัน
“บริษัทเทคโนโลยีขนาดใหญ่ไม่ได้เปิดเผยแบบจำลองของตนต่อสาธารณะ ซึ่งขัดขวางการวิจัยทางวิทยาศาสตร์และการทำให้เป็นประชาธิปไตยของแบบจำลองรหัสภาษาขนาดใหญ่เช่นนี้” นักวิจัยกล่าว “ในระดับหนึ่ง เราหวังว่าความพยายามโอเพนซอร์สของเราจะโน้มน้าวให้ผู้อื่นทำเช่นเดียวกัน แต่ภาพรวมก็คือ ชุมชนควรจะสามารถฝึกโมเดลเหล่านี้ได้ด้วยตัวเอง โมเดลของเราได้ก้าวข้ามขีดจำกัดของสิ่งที่คุณฝึกได้บนเซิร์ฟเวอร์เครื่องเดียว สิ่งที่ใหญ่กว่านั้นต้องการกลุ่มเซิร์ฟเวอร์ ซึ่งเพิ่มต้นทุนอย่างมาก”
สุดท้ายนี้หากคุณสนใจเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้คุณสามารถดูรายละเอียดได้ที่ลิงก์ต่อไปนี้