FlexGen waa matoor la dhisay iyadoo ujeedadu tahay in la dhimo shuruudaha kheyraadka ee moodooyinka waaweyn ee luqadda hal GPU.
Warka ayaa la sii daayay goor dhow in koox cilmi-baarayaal ah oo ka socda Jaamacadda Stanford, Jaamacadda California ee Berkeley, ETH Zurich, Dugsiga Sare ee Dhaqaalaha, Jaamacadda Carnegie Mellon, iyo sidoo kale Yandex iyo Meta, ayaa daabacay koodhka isha un mishiinka loogu talagalay socodsiinta moodooyinka luqadaha waaweyn nidaamyada leh kheyraad xaddidan.
oo leh magac kood «FlexGen», waa mashruuc ujeedadiisu tahay in si weyn loo yareeyo shuruudaha agabka hawlgallada dulucda LLM. Lagu dhajiyay GitHub, FlexGen kaliya waxay u baahan tahay Python iyo PyTorch laakiin inta badan waxaa lagu isticmaali karaa hal GPU sida NVIDIA Tesla T4 ama GeForce RTX 3090.
Tusaale ahaan, Matoorku wuxuu bixiyaa awood uu ku abuuro shaqeynta xasuusinaysa ChatGPT iyo Copilot OPT-175B oo horay loo tababaray oo daboolaya 175 bilyan oo cabbir oo kombuyuutar caadi ah leh oo leh NVIDIA RTX3090 kaarka garaafyada ciyaarta oo ku qalabaysan 24GB ee xusuusta fiidiyowga.
Waxaa la sheegay in moodooyinka (LLM) ay taageerayaan hawlgalka aaladaha sida ChatGPT iyo Copilot. Kuwani waa moodallo waaweyn oo isticmaala balaayiin cabbir waxaana lagu tababaray xog aad u badan.
Shuruudaha xisaabinta sare iyo xusuusta ee hawlaha u fiirsashada LLM guud ahaan waxay u baahan yihiin isticmaalka dardar-geliyayaasha dhamaadka-sare.
Waan ku faraxsanahay in dadweynuhu runtii aad ugu faraxsan yihiin FlexGen. Si kastaba ha ahaatee, shaqadeenu wali way ku jirtaa diyaargarow oo wali diyaar uma aha sii daynta/ku dhawaaqida dadweynaha. Jawaab-celinta hore ee mashruucan, waxaan ogaannay in nuqullada hore ee README-kan iyo dukumeentigayagu aysan caddayn ujeeddada FlexGen. Tani waa dadaal horudhac ah oo lagu dhimayo shuruudaha kheyraadka LLMs, laakiin sidoo kale waxay leedahay xaddidaadyo badan oo aan loogu talagelin in lagu beddelo kiisaska isticmaalka marka ilo ku filan la helo.
Dareenka LLM waa habraac loo isticmaalo qaabka luqadda si loo soo saaro saadaalin ku saabsan qoraalka la geliyo: waxay ku lug leedahay adeegsiga qaabka luqadda, sida qaab-abuureed sida GPT (Transformer Generative Pretrained), si loo sameeyo saadaal ku saabsan waxa ay u badan tahay. inay dhacdo. in loo bixiyo jawaab ahaan ka dib qoraal gaar ah oo la qabtay.
Ku saabsan FlexGen
Xirmada waxaa ku jira qoraal muunad ah si loo abuuro bots. kaas oo u ogolaanaya isticmaalaha soo deji mid ka mid ah moodooyinka luqadda ee si guud loo heli karo oo isla markiiba bilow inaad la sheekeysato.
Saldhig ahaan, waxaa la soo jeediyay in la isticmaalo qaab luqadeed weyn oo ay daabacday Facebook, oo lagu tababaray ururinta BookCorpus (10 kun oo buug), CC-Sheekooyin, Pile (OpenSubtitles, Wikipedia, Xisaabta DM, HackerNews, iwm.), Pushshift.io (ku salaysan xogta Reddit)) iyo CCNewsV2 (khadka wararka).
Qaabku wuxuu daboolayaa ilaa 180 bilyan oo calaamadood (800 GB oo xog ah). Waxay qaadatay 33 maalmood in la wado kutlada oo wadata 992 NVIDIA A100 80 GB GPUs si loo tababaro moodalka.
Ku shaqaynta OPT-175B ee nidaamka leh hal NVIDIA T4 GPU (16 GB), mishiinka FlexGen wuxuu muujiyay ilaa 100x waxqabad ka dhakhso badan xalalkii hore ee la bixiyay, taasoo ka dhigaysa isticmaalka qaabka luqadda weyn mid la awoodi karo oo u ogolaanaya inay ku shaqeeyaan nidaamyada iyada oo aan lahayn dardar-geliyayaal khaas ah.
Isla mar ahaantaana, FlexGen wuxuu cabbiri karaa si uu u barbar dhigo xisaabinta iyadoo ay jiraan GPU-yo badan. Si loo dhimo cabbirka qaabka, nidaamka isku-buufinta cabbirka dheeraadka ah iyo habka kaydinta moodeelka ayaa la isticmaalaa.
Hadda, FlexGen kaliya waxay taageertaa moodooyinka luqadda OPT, laakiin mustaqbalka, horumariyayaashu waxay sidoo kale ballanqaadayaan inay ku dari doonaan taageerada BLOOM (176 bilyan oo cabbir, waxay taageertaa luqadaha 46 iyo luqadaha barnaamijyada 13), CodeGen (waxay dhalin kartaa koodka 22 luqadaha barnaamijyada), iyo GLM.
Ugu dambeyntii waxaa mudan in la sheego in koodka uu ku qoran yahay Python, uu isticmaalo qaabka PyTorch waxaana lagu qaybiyaa shatiga Apache 2.0.
Wixii ah Waxaan xiisaynayaa inaad wax badan ka ogaato, waxaad eegi kartaa faahfaahinta Xiriirka soo socda.