તાજેતરમાં ફેસબુકનું અનાવરણ એક પ્રકાશન દ્વારા વિકાસ NLLB પ્રોજેક્ટ (કોઈ ભાષા પાછળ બાકી નથી), જેનો ઉદ્દેશ્ય સર્જન કરવાનો છે અનુવાદ માટે સાર્વત્રિક મશીન લર્નિંગ મોડલ અંગ્રેજીમાં મધ્યવર્તી અનુવાદને બાયપાસ કરીને એક ભાષામાંથી બીજી ભાષામાં સીધો ટેક્સ્ટ.
સૂચિત મોડેલ દુર્લભ આફ્રિકન અને ઓસ્ટ્રેલિયન ભાષાઓ સહિત 200 થી વધુ ભાષાઓને આવરી લે છે અને પ્રોજેક્ટનો અંતિમ ધ્યેય તમામ લોકો માટે સંચારનું સાધન પૂરું પાડવાનું છે, તેઓ ગમે તે ભાષા બોલતા હોય.
લોકોને આજે વધુ સારી રીતે જોડવામાં અને આવતીકાલના મેટાવર્સનો ભાગ બનવામાં મદદ કરવા માટે, Meta AI સંશોધકોએ નો લેંગ્વેજ લેફ્ટ બિહાઈન્ડ (NLLB) બનાવ્યું, જે વિશ્વની મોટાભાગની ભાષાઓ માટે ઉચ્ચ-ગુણવત્તાવાળી મશીન અનુવાદ ક્ષમતાઓ વિકસાવવાનો પ્રયાસ છે.
આજે અમે NLLB માં મોટી પ્રગતિની જાહેરાત કરી રહ્યા છીએ: અમે NLLB-200 નામનું એક જ AI મોડલ બનાવ્યું છે, જે અત્યાધુનિક પરિણામો સાથે 200 વિવિધ ભાષાઓનો અનુવાદ કરે છે. આમાંની ઘણી ભાષાઓ, જેમ કે કમ્બા અને લાઓ, આજે ઉપલબ્ધ શ્રેષ્ઠ અનુવાદ સાધનો દ્વારા પણ સમર્થિત નથી.
પ્રોજેક્ટ વિશે તે ઉલ્લેખ છે કે તે છે પ્રસ્તાવિત મોડલનો ઉપયોગ કરીને પ્રોજેક્ટની રચનાને સરળ બનાવવાનો હેતુ છે, મોડેલોની ગુણવત્તા ચકાસવા અને મૂલ્યાંકન કરવા માટે ઉપયોગમાં લેવાતો એપ્લિકેશન કોડ (FLORES-200, NLLB-MD, Toxicity-200), મોડલ તાલીમ કોડ અને એન્કોડર્સ LASER3 લાઇબ્રેરી પર આધારિત છે. અંતિમ મોડેલ બે સંસ્કરણોમાં ઓફર કરવામાં આવે છે: સંપૂર્ણ અને ઘટાડો. ઘટાડેલા સંસ્કરણને ઓછા સંસાધનોની જરૂર છે અને તે સંશોધન પ્રોજેક્ટ્સમાં પરીક્ષણ અને ઉપયોગ માટે યોગ્ય છે.
25 થી ઓછી આફ્રિકન ભાષાઓ હાલમાં વ્યાપકપણે ઉપયોગમાં લેવાતા અનુવાદ સાધનો દ્વારા સમર્થિત છે, જેમાંથી ઘણી નબળી ગુણવત્તાની છે. તેનાથી વિપરીત, NLLB-200 ઉચ્ચ-ગુણવત્તાવાળા આઉટપુટ સાથે 55 આફ્રિકન ભાષાઓને સપોર્ટ કરે છે. કુલ મળીને, આ અનન્ય મોડેલ વિશ્વભરના અબજો લોકો દ્વારા બોલાતી ભાષાઓ માટે ઉચ્ચ-ગુણવત્તાવાળા અનુવાદો પ્રદાન કરી શકે છે. કુલ મળીને, NLLB-200 BLEU સ્કોર્સ FLORES-44 બેન્ચમાર્કની તમામ 10k દિશામાં સરેરાશ 101 ટકાની આર્ટની અગાઉની સ્થિતિમાં સુધારો કરે છે. કેટલીક આફ્રિકન અને ભારતીય ભાષાઓ માટે, તાજેતરની અનુવાદ પ્રણાલીઓ કરતાં 70 ટકાથી વધુ વધારો છે.
અન્ય મશીન લર્નિંગ ટ્રાન્સલેશન સિસ્ટમ્સથી વિપરીત, ફેસબુકનું સોલ્યુશન તમામ 200 ભાષાઓ માટે એક સામાન્ય મોડલ ઓફર કરવા માટે અલગ છે, જે બધી ભાષાઓને આવરી લે છે અને દરેક ભાષા માટે અલગ મોડેલની જરૂર નથી.
અનુવાદ અંગ્રેજીમાં મધ્યવર્તી અનુવાદ વિના, સ્રોત ભાષામાંથી લક્ષ્ય ભાષામાં સીધો જ કરવામાં આવે છે. યુનિવર્સલ ટ્રાન્સલેશન સિસ્ટમ્સ બનાવવા માટે, એક વધારાનું LID (ભાષા ઓળખ) મોડેલ પ્રસ્તાવિત છે, જે વપરાયેલી ભાષાને નિર્ધારિત કરવાની મંજૂરી આપે છે. તે. સિસ્ટમ આપમેળે તે ભાષાને ઓળખી શકે છે જેમાં માહિતી પ્રદાન કરવામાં આવે છે અને તેનો વપરાશકર્તાની ભાષામાં અનુવાદ કરી શકે છે.
અનુવાદ કોઈપણ દિશામાં સમર્થિત છે, 200 સમર્થિત ભાષાઓમાંથી કોઈપણ વચ્ચે. કોઈપણ ભાષા વચ્ચેના અનુવાદની ગુણવત્તાની પુષ્ટિ કરવા માટે, FLORES-200 બેન્ચમાર્ક ટેસ્ટ સેટ તૈયાર કરવામાં આવ્યો હતો, જે દર્શાવે છે કે NLLB-200 મોડલ, અનુવાદની ગુણવત્તાના સંદર્ભમાં, FLORES-44 સિસ્ટમ્સ કરતાં સરેરાશ 70% ચડિયાતું છે. BLEU મેટ્રિક્સનો ઉપયોગ કરતી વખતે મશીન લર્નિંગ પર આધારિત પ્રસ્તાવિત સંશોધન જે મશીન અનુવાદને પ્રમાણભૂત માનવ અનુવાદ સાથે સરખાવે છે. દુર્લભ આફ્રિકન ભાષાઓ અને ભારતીય બોલીઓ માટે, ગુણવત્તામાં શ્રેષ્ઠતા XNUMX% સુધી પહોંચે છે. તમે વિશિષ્ટ રીતે તૈયાર કરેલી ડેમો સાઇટ પર અનુવાદની ગુણવત્તાનું દૃષ્ટિપૂર્વક મૂલ્યાંકન કરી શકો છો.
જેઓ પ્રોજેક્ટમાં રસ ધરાવે છે, તેઓએ જાણવું જોઈએ કે આ મૉડલ ક્રિએટિવ કૉમન્સ BY-NC 4.0 લાઇસન્સ હેઠળ ઉપલબ્ધ છે, જે તમારા પ્રોજેક્ટ્સમાં નકલ, વિતરણ, સમાવેશ અને વ્યુત્પન્ન કાર્યો બનાવવાની પરવાનગી આપે છે, પરંતુ એટ્રિબ્યુશન, લાઇસન્સ જાળવી રાખવા અને બિન-વ્યાવસાયિક હેતુઓ માટે જ ઉપયોગને આધીન છે. મોડેલિંગ ટૂલને MIT લાયસન્સ હેઠળ લાઇસન્સ આપવામાં આવ્યું છે. NLLB મોડલનો ઉપયોગ કરીને વિકાસને ઉત્તેજીત કરવા માટે, સંશોધકોને શિષ્યવૃત્તિ આપવા માટે $200 ફાળવવાનું નક્કી કરવામાં આવ્યું હતું.
છેલ્લે જો તમને તેના વિશે વધુ જાણવામાં રસ છે નોંધ વિશે, તમે મૂળ પોસ્ટનો સંદર્ભ લઈ શકો છો નીચેની કડીમાં