FlexGen je motor vytvorený s cieľom zredukovať požiadavky na zdroje veľkých jazykových modelov na jeden GPU.
Táto správa bola zverejnená nedávno skupina výskumníkov zo Stanfordskej univerzity, Kalifornskej univerzity v Berkeley, ETH Zurich, Graduate School of Economics, Carnegie Mellon University, ako aj Yandex a Meta zverejnili zdrojový kód un motor pre spustenie veľkých jazykových modelov v systémoch s obmedzenými zdrojmi.
s kódovým názvom «FlexGen», je projekt, ktorého cieľom je výrazne znížiť požiadavky zdroje pre operácie odvodzovania LLM. Zverejnené na GitHub, FlexGen vyžaduje iba Python a PyTorch, ale väčšinou sa dá použiť s jedným GPU, ako je NVIDIA Tesla T4 alebo GeForce RTX 3090.
Napr engine poskytuje možnosť vytvárať funkcie pripomínajúce ChatGPT a Copilot beží predtrénovaný model OPT-175B pokrývajúci 175 miliárd parametrov na bežnom počítači s hernou grafickou kartou NVIDIA RTX3090 vybavenou 24 GB video pamäte.
Spomína sa, že modely (LLM) podporujú fungovanie nástrojov ako ChatGPT a Copilot. Ide o veľké modely, ktoré využívajú miliardy parametrov a sú trénované na obrovských množstvách údajov.
Vysoké výpočtové a pamäťové požiadavky pre úlohy odvodenia LLM vo všeobecnosti vyžadujú použitie špičkových akcelerátorov.
Sme radi, že verejnosť je skutočne nadšená z FlexGen. Naša práca je však stále v príprave a ešte nie je pripravená na verejné zverejnenie/oznámenie. Z prvotnej spätnej väzby na tento projekt sme si uvedomili, že prvé verzie tohto README a nášho dokumentu neboli jasné, pokiaľ ide o účel FlexGen. Toto je predbežná snaha znížiť požiadavky na zdroje LLM, ale má tiež veľa obmedzení a nie je určená na nahradenie prípadov použitia, keď sú k dispozícii dostatočné zdroje.
Vyvodenie LLM je proces, v ktorom sa jazykový model používa na generovanie predpovedí o vstupnom texte: zahŕňa použitie jazykového modelu, ako je generatívny model, ako je GPT (Generative Pretrained Transformer), na predpovedanie toho, čo je najpravdepodobnejšie. stať sa. byť poskytnutá ako odpoveď po konkrétnom vstupnom zachytenom texte.
O FlexGen
Balík obsahuje vzorový skript na vytvorenie robotov. čo umožňuje užívateľovi stiahnite si jeden z verejne dostupných jazykových modelov a začnite hneď chatovať.
Ako základ sa navrhuje použiť veľký jazykový model publikovaný Facebookom, vyškolený na zbierkach BookCorpus (10 tisíc kníh), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews atď.), Pushshift.io (na základe údajov Reddit)) a CCNewsV2 (archív správ).
Model pokrýva približne 180 miliárd tokenov (800 GB dát). Trénovanie modelu trvalo 33 dní prevádzky klastra s 992 GPU NVIDIA A100 80 GB.
Pri prevádzke OPT-175B na systéme s jediným GPU NVIDIA T4 (16 GB) motor FlexGen preukázal až 100-krát rýchlejší výkon ako predtým ponúkané riešenia, vďaka čomu je používanie veľkých jazykových modelov cenovo dostupnejšie a umožňuje im bežať na systémoch bez špecializovaných akcelerátorov.
FlexGen môže zároveň škálovať, aby paralelizoval výpočty v prítomnosti viacerých GPU. Na zmenšenie veľkosti modelu sa používa dodatočná schéma kompresie parametrov a mechanizmus ukladania modelu do vyrovnávacej pamäte.
V súčasnej dobe, FlexGen podporuje iba jazykové modely OPT, no v budúcnosti vývojári sľubujú aj pridanie podpory pre BLOOM (176 miliárd parametrov, podporuje 46 jazykov a 13 programovacích jazykov), CodeGen (môže generovať kód v 22 programovacích jazykoch) a GLM.
Nakoniec stojí za zmienku, že kód je napísaný v Pythone, používa framework PyTorch a je distribuovaný pod licenciou Apache 2.0.
pre Máte záujem dozvedieť sa o tom viac, môžete skontrolovať podrobnosti Na nasledujúcom odkaze.