Saat ini, kita mulai melihat peningkatan berbagai solusi yang ditawarkan terkait dengan pembuatan kode menggunakan kecerdasan buatan (AI), dan bidang pemrosesan bahasa alami (NLP) telah membuka jalan bagi serangkaian AI penghasil kode dalam berbagai bahasa pemrograman.
Di antara solusi-solusi tersebut, kita dapat menyoroti GitHub Copilot, AlphaCode, dan Codex, dan sekarang kita dapat menambahkan solusi baru dari para peneliti di Carnegie Mellon University yang baru-baru ini memperkenalkan "PolyCoder," sebuah generator kode berbasis model bahasa GPT-2 dari OpenAI yang dilatih pada basis data kode berukuran 249 GB dalam 12 bahasa pemrograman.
Tentang PolyCoder
Para pencipta PolyCoder mengklaim bahwa perangkat lunak ini mampu menulis kode C dengan akurasi yang lebih tinggi daripada model mana pun yang dikenal, termasuk Codex.
AI penghasil kode, yang dapat menulis kode sumber dalam berbagai bahasa pemrograman dari sebuah perintah, menjanjikan pengurangan biaya pengembangan perangkat lunak sekaligus memungkinkan pengembang untuk fokus pada tugas-tugas kreatif dan kurang berulang.
PolyCoder dilatih menggunakan data dari beberapa repositori GitHub, yang mencakup 12 bahasa pemrograman populer: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala, dan TypeScript.
Dataset yang belum difilter berjumlah 631 GB data dan 38,9 juta file. Tim tersebut mengatakan mereka memilih untuk melatih PolyCoder dengan GPT-2 karena keterbatasan anggaran. PolyCoder tersedia sebagai perangkat lunak sumber terbuka, dan para peneliti berharap perangkat lunak ini dapat mendemokratisasi penelitian di bidang pembuatan kode AI, yang selama ini didominasi oleh perusahaan-perusahaan yang didanai dengan baik.
Para peneliti percaya bahwa PolyCoder berkinerja lebih baik daripada model lain dalam menghasilkan kode dalam bahasa C. Namun, Codex secara konsisten mengungguli PolyCoder dalam bahasa lain. "PolyCoder secara signifikan mengungguli Codex dan semua model lain dalam bahasa C."
“Ketika Copilot keluar di GitHub musim panas lalu, menjadi jelas bahwa model kode bahasa yang sangat besar ini dapat sangat berguna dalam membantu pengembang dan meningkatkan produktivitas mereka. Tetapi tidak ada model yang mendekati skala itu yang tersedia untuk umum," kata para peneliti kepada VentureBeat melalui email. “Jadi [PolyCoder] mulai dengan Vincent mencoba mencari tahu apa model terbesar yang dapat dilatih di server lab kami, yang akhirnya menjadi 2700 miliar parameter… . tersedia untuk umum pada saat itu.”
“ Jika hanya membandingkan model sumber terbuka, PolyCoder mengungguli model GPT-Neo 2.7B dengan ukuran yang sama dalam bahasa C, JavaScript, Rust, Scala, dan TypeScript,” catat mereka. “Dalam 11 bahasa lainnya, semua model sumber terbuka lainnya, termasuk model kami sendiri, secara signifikan lebih buruk (perplexity lebih tinggi) daripada Codex,” tambah para peneliti CMU.
Dengan ini, PolyCoder diposisikan sebagai solusi yang sangat menarik, karena sementara laboratorium penelitian seperti Elon Musk's OpenAI dan Alphabet's DeepMind telah mengembangkan AI penghasil kode yang kuat, banyak sistem yang paling sukses tidak tersedia di open source. Perusahaan berpenghasilan rendah tidak memiliki akses ke sana dan situasi ini membatasi penelitian mereka di lapangan.
Misalnya, data pelatihan dari OpenAI Codex, yang mendukung fitur Copilot GitHub, belum dipublikasikan, mencegah para peneliti menyempurnakan model AI atau mempelajari aspek-aspek tertentu darinya, seperti interoperabilitas.
"Perusahaan teknologi besar tidak merilis model mereka secara terbuka, yang benar-benar menghambat penelitian ilmiah dan demokratisasi model kode bahasa besar seperti itu," kata para peneliti. “Sampai batas tertentu, kami berharap upaya open source kami akan meyakinkan orang lain untuk melakukan hal yang sama. Tetapi gambaran besarnya adalah bahwa komunitas harus dapat melatih model-model ini sendiri. Model kami mendorong batas apa yang dapat Anda latih di satu server – apa pun yang lebih besar memerlukan kumpulan server, yang secara dramatis meningkatkan biaya.”
Terakhir, jika Anda tertarik untuk mempelajari lebih lanjut tentang hal ini , Anda dapat menemukan detailnya di tautan berikut.