geçenlerde Facebook açıklandı gelişmeleri yayınlayarak NLLB projesi (Geride Dil Kalmadı), amacı çeviri için evrensel bir makine öğrenimi modeli İngilizce'ye ara çeviriyi atlayarak metni bir dilden diğerine yönlendirin.
Önerilen model Nadir Afrika ve Avustralya dilleri de dahil olmak üzere 200'den fazla dili kapsar ve projenin nihai amacı, konuştuğu dilden bağımsız olarak tüm insanlar için bir iletişim aracı sağlamaktır.
İnsanların bugün daha iyi bağlantı kurmasına ve yarının metaverse'inin bir parçası olmasına yardımcı olmak için Meta AI araştırmacıları, dünya dillerinin çoğu için yüksek kaliteli makine çevirisi yetenekleri geliştirme çabası olan No Language Left Behind (NLLB) yarattı.
Bugün NLLB'de büyük bir gelişmeyi duyuruyoruz: NLLB-200 adlı tek bir AI modeli oluşturduk. Bu, 200 farklı dili en son sonuçlarla çeviriyor. Kamba ve Lao gibi bu dillerin çoğu, bugün mevcut olan en iyi çeviri araçları tarafından bile desteklenmiyordu.
Proje hakkında olduğu belirtiliyor Önerilen modeli kullanarak projelerin oluşturulmasını basitleştirmeyi amaçlayan, modellerin kalitesini test etmek ve değerlendirmek için kullanılan uygulama kodu (FLORES-200, NLLB-MD, Toxicity-200), model eğitim kodu ve LASER3 kitaplığına dayalı kodlayıcılar (deyimin Agnostic Software Representation). Nihai model iki versiyonda sunulmaktadır: tam ve azaltılmış. Azaltılmış sürüm daha az kaynak gerektirir ve araştırma projelerinde test etmek ve kullanmak için uygundur.
25'ten az Afrika dili şu anda yaygın olarak kullanılan ve çoğu kalitesiz olan çeviri araçları tarafından desteklenmektedir. Buna karşılık, NLLB-200, yüksek kaliteli çıktı ile 55 Afrika dilini destekler. Toplamda, bu benzersiz model, dünya çapında milyarlarca insan tarafından konuşulan diller için yüksek kaliteli çeviriler sağlayabilir. Toplamda, NLLB-200 BLEU puanları, FLORES-44 karşılaştırma ölçütünün tüm 10k yönlerinde önceki son teknolojiye göre ortalama yüzde 101 iyileşir. Bazı Afrika ve Hint dilleri için, son çeviri sistemlerine göre artış yüzde 70'ten fazladır.
Diğer makine öğrenimi çeviri sistemlerinden farklı olarak, Facebook'un çözümü, 200 dilin tümü için ortak bir model sunması ile öne çıkıyor, tüm dilleri kapsayan ve her dil için ayrı modeller gerektirmeyen.
Çeviri, İngilizce'ye ara çeviri yapılmadan doğrudan kaynak dilden hedef dile yapılır. Evrensel çeviri sistemleri oluşturmak için, kullanılan dilin belirlenmesini sağlayan ek bir LID (Dil Tanımlama) modeli önerilmiştir. Şunlar. sistem, bilgilerin sağlandığı dili otomatik olarak tanıyabilir ve bunu kullanıcının diline çevirebilir.
Çeviri her iki yönde de desteklenir, desteklenen 200 dilden herhangi biri arasında. Herhangi bir dil arasındaki çevirinin kalitesini doğrulamak için, NLLB-200 modelinin çeviri kalitesi açısından FLORES-200 sistemlerinden ortalama %44 üstün olduğunu gösteren FLORES-70 kıyaslama test seti hazırlanmıştır. makine çevirisini standart insan çevirisiyle karşılaştıran BLEU ölçümlerini kullanırken makine öğrenimine dayalı önerilen araştırma. Nadir Afrika dilleri ve Hint lehçeleri için kalite üstünlüğü %XNUMX'e ulaşmaktadır. Özel hazırlanmış bir demo sitesinde çeviri kalitesini görsel olarak değerlendirebilirsiniz.
Projeyle ilgilenenler bilmeli ki, model, Creative Commons BY-NC 4.0 lisansı altında mevcuttur, kopyalamaya, dağıtmaya, projelerinize dahil etmeye ve türev çalışmalar oluşturmaya izin verir, ancak yalnızca atıf, lisans saklama ve yalnızca ticari olmayan amaçlarla kullanıma tabidir. Modelleme aracı, MIT lisansı altında lisanslanmıştır. NLLB modelini kullanarak gelişimi teşvik etmek için araştırmacılara burs vermek üzere 200 $ tahsis edilmesine karar verildi.
Nihayet onun hakkında daha fazla bilgi edinmekle ilgileniyorsan not hakkında, orijinal gönderiye başvurabilirsiniz Aşağıdaki bağlantıda.