Şu anda, yapay zekâ (YZ) kullanarak kod üretimiyle ilgili olarak sunulan farklı çözümlerde bir artış görmeye başladık ve doğal dil işleme (NLP) alanı, çeşitli programlama dillerinde bir dizi kod üreten YZ'nin önünü açtı.
Bunlar arasında GitHub Copilot, AlphaCode ve Codex'i öne çıkarabiliriz ve şimdi de Carnegie Mellon Üniversitesi'ndeki araştırmacıların yakın zamanda sunduğu, OpenAI'nin GPT-2 dil modeline dayalı ve 12 programlama dilinde 249 GB'lık bir kod veritabanı üzerinde eğitilmiş bir kod üreteci olan "PolyCoder" ı ekleyebiliriz.
PolyCoder Hakkında
PolyCoder'ın yazarları, Codex de dahil olmak üzere bilinen tüm modellerden daha yüksek doğrulukla C kodu yazabildiğini iddia ediyor.
Farklı programlama dillerinde komut istemi üzerine kaynak kod yazabilen kod üreten yapay zeka, yazılım geliştirme maliyetlerini düşürürken geliştiricilerin yaratıcı ve daha az tekrarlayan görevlere odaklanmalarını sağlayacak.
PolyCoder , C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala ve TypeScript olmak üzere 12 popüler programlama dilini kapsayan çeşitli GitHub depolarından alınan veriler kullanılarak eğitilmiştir .
Filtrelenmemiş veri seti toplam 631 GB veri ve 38,9 milyon dosyadan oluşuyordu. Ekip, bütçe kısıtlamaları nedeniyle PolyCoder'ı GPT-2 ile eğitmeyi tercih ettiklerini belirtti. PolyCoder açık kaynak kodlu olarak mevcuttur ve araştırmacılar, şimdiye kadar iyi finanse edilen şirketlerin hakimiyetinde olan yapay zeka kod üretimi alanındaki araştırmaları demokratikleştirebileceğini umuyorlar.
Araştırmacılar, PolyCoder'ın C dilinde kod üretme konusunda diğer modellerden daha iyi performans gösterdiğine inanıyor. Bununla birlikte, Codex diğer dillerde sürekli olarak ondan daha iyi performans göstermiştir. "PolyCoder, C dilinde Codex ve diğer tüm modellerden önemli ölçüde daha iyi performans gösteriyor."
"Copilot geçen yaz GitHub'da çıktığında, bu çok büyük dil kodu modellerinin geliştiricilere yardımcı olma ve üretkenliklerini artırma konusunda çok yararlı olabileceği ortaya çıktı. Ancak bu ölçeğe yakın hiçbir model kamuya açık değildi," diyor araştırmacılar VentureBeat'e e-posta ile. "Böylece [PolyCoder], Vincent'ın laboratuvar sunucumuzda eğitilebilecek en büyük modelin ne olduğunu bulmaya çalışmasıyla başladı ve sonuçta 2700 milyar parametre oluştu... ve bu model, sahip olduğumuz diğer kod odaklı modellerin bir lig önündeydi. . o sırada kamuya açıktı.”
" Sadece açık kaynaklı modelleri karşılaştırdığımızda, PolyCoder, benzer büyüklükteki GPT-Neo 2.7B modeline kıyasla C, JavaScript, Rust, Scala ve TypeScript dillerinde daha iyi performans gösteriyor," diye belirtiyorlar. "Diğer 11 dilde ise, kendi modelimiz de dahil olmak üzere diğer tüm açık kaynaklı modeller, Codex'ten önemli ölçüde daha kötü (daha fazla karmaşıklık) performans sergiliyor," diye ekliyor CMU araştırmacıları.
Bununla PolyCoder çok ilginç bir çözüm olarak konumlanıyor, çünkü Elon Musk'ın OpenAI'si ve Alphabet'in DeepMind'i gibi araştırma laboratuvarları güçlü kod üreten yapay zeka geliştirmiş olsa da, en başarılı sistemlerin çoğu açık kaynakta mevcut değil. Düşük gelirli şirketlerin buna erişimi yoktur ve bu durum sahadaki araştırmalarını sınırlandırmaktadır.
Örneğin, GitHub'ın Copilot özelliğine güç veren OpenAI Codex'ten gelen eğitim verilerinin kamuya açıklanmaması, araştırmacıların AI modelini iyileştirmesini veya birlikte çalışabilirlik gibi belirli yönlerini incelemesini engelledi.
Araştırmacılar, "Büyük teknoloji şirketleri, bilimsel araştırmaları ve bu tür büyük dil kodu modellerinin demokratikleşmesini gerçekten engelleyen modellerini kamuya açıklamıyorlar" dedi. “Bir dereceye kadar, açık kaynak çabalarımızın başkalarını da aynı şeyi yapmaya ikna edeceğini umuyoruz. Ancak büyük resim, topluluğun bu modelleri kendi başlarına eğitebilmesi gerektiğidir. Modelimiz, tek bir sunucu üzerinde eğitebileceklerinizin sınırını zorladı - daha büyük olan her şey bir sunucu havuzu gerektirir ve bu da maliyeti önemli ölçüde artırır."
Son olarak, bu konu hakkında daha fazla bilgi edinmek isterseniz , ayrıntıları aşağıdaki bağlantıda bulabilirsiniz.