FlexGen એ મોટા ભાષાના મોડલ્સની અનુમાન સંસાધન આવશ્યકતાઓને એક જ GPU માં ઘટાડવાના હેતુથી બનેલ એન્જિન છે.
તાજેતરમાં જ સમાચાર પ્રકાશિત થયા હતા સંશોધકોનું એક જૂથ સ્ટેનફોર્ડ યુનિવર્સિટી, બર્કલે ખાતે કેલિફોર્નિયા યુનિવર્સિટી, ETH ઝ્યુરિચ, ગ્રેજ્યુએટ સ્કૂલ ઑફ ઇકોનોમિક્સ, કાર્નેગી મેલોન યુનિવર્સિટી, તેમજ યાન્ડેક્ષ અને મેટા, નો સ્ત્રોત કોડ પ્રકાશિત કર્યો છે un મોટા ભાષાના મોડલ ચલાવવા માટેનું એન્જિન મર્યાદિત સંસાધનો સાથે સિસ્ટમોમાં.
કોડ નામ સાથે «FlexGen», એક પ્રોજેક્ટ છે જેનો હેતુ નોંધપાત્ર રીતે ઘટાડવાનો છે જરૂરિયાતો LLM અનુમાન કામગીરી માટે સંસાધનો. GitHub પર પોસ્ટ કરેલ, FlexGen ને માત્ર Python અને PyTorch ની જરૂર છે પરંતુ મોટાભાગે NVIDIA Tesla T4 અથવા GeForce RTX 3090 જેવા સિંગલ GPU સાથે ઉપયોગ કરી શકાય છે.
ઉદાહરણ તરીકે, એન્જિન ચેટજીપીટી અને કોપાયલોટની યાદ અપાવે તેવી કાર્યક્ષમતા બનાવવાની ક્ષમતા પૂરી પાડે છે 175GB વિડિયો મેમરીથી સજ્જ NVIDIA RTX175 ગેમિંગ ગ્રાફિક્સ કાર્ડ સાથે નિયમિત કમ્પ્યુટર પર 3090 બિલિયન પેરામીટર્સને આવરી લેતું પૂર્વ-પ્રશિક્ષિત OPT-24B મોડલ ચલાવવું.
તે ઉલ્લેખિત છે કે (LLM) મોડલ ચેટજીપીટી અને કોપાયલોટ જેવા સાધનોના સંચાલનને સમર્થન આપે છે. આ એવા મોટા મોડલ છે જે અબજો પરિમાણોનો ઉપયોગ કરે છે અને વિશાળ માત્રામાં ડેટા પર પ્રશિક્ષિત છે.
એલએલએમ અનુમાન કાર્યો માટે ઉચ્ચ કોમ્પ્યુટેશનલ અને મેમરી આવશ્યકતાઓ માટે સામાન્ય રીતે ઉચ્ચ-અંતિમ પ્રવેગકના ઉપયોગની જરૂર પડે છે.
અમને આનંદ છે કે લોકો FlexGen વિશે ખરેખર ઉત્સાહિત છે. જો કે, અમારું કાર્ય હજુ તૈયારીમાં છે અને જાહેર પ્રકાશન/ઘોષણા માટે હજી તૈયાર નથી. આ પ્રોજેક્ટ પરના પ્રારંભિક પ્રતિસાદથી, અમને સમજાયું કે આ README ની પ્રારંભિક આવૃત્તિઓ અને અમારા દસ્તાવેજ FlexGen ના હેતુ અંગે અસ્પષ્ટ હતા. LLM ની સંસાધન આવશ્યકતાઓને ઘટાડવાનો આ પ્રારંભિક પ્રયાસ છે, પરંતુ તેમાં ઘણી મર્યાદાઓ પણ છે અને જ્યારે પૂરતા સંસાધનો ઉપલબ્ધ હોય ત્યારે ઉપયોગના કેસોને બદલવાનો હેતુ નથી.
એલએલએમ અનુમાન એ એક પ્રક્રિયા છે જેમાં ઇનપુટ ટેક્સ્ટ વિશે આગાહીઓ બનાવવા માટે ભાષા મોડેલનો ઉપયોગ કરવામાં આવે છે: તેમાં ભાષા મોડેલનો સમાવેશ થાય છે, જેમ કે જીપીટી (જનરેટિવ પ્રિટ્રેઇન્ડ ટ્રાન્સફોર્મર) જેવા જનરેટિવ મોડલ, જે સંભવિત છે તેના વિશે આગાહી કરવા માટે. બનવું. ચોક્કસ ઇનપુટ કેપ્ચર કરેલ ટેક્સ્ટ પછી પ્રતિભાવ તરીકે પ્રદાન કરવામાં આવશે.
FlexGen વિશે
પેકેજમાં બૉટો બનાવવા માટે નમૂના સ્ક્રિપ્ટનો સમાવેશ થાય છે. જે વપરાશકર્તાને પરવાનગી આપે છે સાર્વજનિક રીતે ઉપલબ્ધ ભાષા મોડલમાંથી એક ડાઉનલોડ કરો અને તરત જ ચેટિંગ શરૂ કરો.
આધાર તરીકે, ફેસબુક દ્વારા પ્રકાશિત એક વિશાળ ભાષા મોડેલનો ઉપયોગ કરવાનો પ્રસ્તાવ છે, જે બુકકોર્પસ સંગ્રહ (10 હજાર પુસ્તકો), સીસી-સ્ટોરીઝ, પાઈલ (ઓપન સબટાઈટલ, વિકિપીડિયા, ડીએમ મેથેમેટિક્સ, હેકરન્યૂઝ વગેરે), Pushshift.io પર પ્રશિક્ષિત છે. (Reddit ડેટા પર આધારિત)) અને CCNewsV2 (સમાચાર આર્કાઇવ).
મોડલ લગભગ 180 બિલિયન ટોકન્સ (800 GB ડેટા) આવરી લે છે. મોડેલને તાલીમ આપવા માટે 33 NVIDIA A992 100 GB GPU સાથે ક્લસ્ટર ચલાવવામાં 80 દિવસનો સમય લાગ્યો.
સિંગલ NVIDIA T175 GPU (4 GB) સાથેની સિસ્ટમ પર OPT-16B ચલાવતા, ફ્લેક્સજેન એન્જિને અગાઉ ઓફર કરેલા સોલ્યુશન્સ કરતાં 100 ગણું વધુ ઝડપી કાર્યપ્રદર્શન દર્શાવ્યું છે, જે મોટા ભાષાના મોડલના ઉપયોગને વધુ સસ્તું બનાવે છે અને તેમને વિશિષ્ટ એક્સિલરેટર વિના સિસ્ટમ પર ચલાવવાની મંજૂરી આપે છે. .
તે જ સમયે, ફ્લેક્સજેન બહુવિધ GPU ની હાજરીમાં ગણતરીઓને સમાંતર બનાવવા માટે સ્કેલ કરી શકે છે. મોડેલનું કદ ઘટાડવા માટે, વધારાના પરિમાણ કમ્પ્રેશન સ્કીમ અને મોડેલ કેશીંગ મિકેનિઝમનો ઉપયોગ કરવામાં આવે છે.
હાલમાં, FlexGen માત્ર OPT ભાષાના મોડલને સપોર્ટ કરે છે, પરંતુ ભવિષ્યમાં, વિકાસકર્તાઓ બ્લૂમ (176 બિલિયન પેરામીટર્સ, 46 ભાષાઓ અને 13 પ્રોગ્રામિંગ ભાષાઓને સપોર્ટ કરે છે), કોડજેન (22 પ્રોગ્રામિંગ ભાષાઓમાં કોડ જનરેટ કરી શકે છે), અને GLM માટે સમર્થન ઉમેરવાનું પણ વચન આપે છે.
છેલ્લે એ ઉલ્લેખનીય છે કે કોડ Python માં લખાયેલ છે, PyTorch ફ્રેમવર્કનો ઉપયોગ કરે છે અને Apache 2.0 લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે.
આ માટે તેના વિશે વધુ જાણવામાં રસ છે, તમે વિગતો ચકાસી શકો છો નીચેની કડીમાં