ФлекГен је мотор направљен са сврхом да смањи захтеве за ресурсима закључивања великих језичких модела на један ГПУ.
Недавно је објављена вест да grupa istraživača са Универзитета Станфорд, Универзитета Калифорније у Берклију, ЕТХ Цирих, Високе школе економије, Универзитета Царнегие Меллон, као и Иандек и Мета, објавили су изворни код un мотор за покретање великих језичких модела у системима са ограниченим ресурсима.
са кодним именом «ФлекГен», је пројекат који има за циљ значајно смањење Захтеви ресурси за ЛЛМ операције закључивања. Постављен на ГитХуб, ФлекГен захтева само Питхон и ПиТорцх, али се углавном може користити са једним ГПУ-ом као што је НВИДИА Тесла Т4 или ГеФорце РТКС 3090.
Нпр мотор пружа могућност креирања функционалности која подсећа на ЦхатГПТ и Цопилот покреће унапред обучени модел ОПТ-175Б који покрива 175 милијарди параметара на обичном рачунару са НВИДИА РТКС3090 графичком картицом за игре опремљеном са 24 ГБ видео меморије.
Помиње се да (ЛЛМ) модели подржавају рад алата као што су ЦхатГПТ и Цопилот. Ово су велики модели који користе милијарде параметара и обучени су за огромне количине података.
Високи рачунарски и меморијски захтеви за ЛЛМ задатке закључивања генерално захтевају употребу врхунских акцелератора.
Драго нам је да је јавност заиста узбуђена због ФлекГена. Међутим, наш рад је још увек у припреми и још увек није спреман за јавно објављивање/објаву. Из раних повратних информација о овом пројекту, схватили смо да ране верзије овог РЕАДМЕ-а и нашег документа нису биле јасне о сврси ФлекГен-а. Ово је прелиминарни напор да се смање захтеви за ресурсима за ЛЛМ, али такође има многа ограничења и није намењена да замени случајеве коришћења када је довољно ресурса на располагању.
ЛЛМ закључивање је процес у коме се језички модел користи за генерисање предвиђања о улазном тексту: укључује коришћење језичког модела, као што је генеративни модел као што је ГПТ (Генеративе Претраинед Трансформер), да се направи предвиђања о томе шта је највероватније десити се. бити достављен као одговор након одређеног уноса снимљеног текста.
О ФлекГен-у
Пакет укључује узорак скрипте за креирање ботова. што омогућава кориснику преузмите један од јавно доступних језичких модела и одмах почните да ћаскате.
Као основа, предлаже се коришћење великог језичког модела који је објавио Фацебоок, обучен на збиркама БоокЦорпус (10 хиљада књига), ЦЦ-Сториес, Пиле (ОпенСубтитлес, Википедиа, ДМ Матхематицс, ХацкерНевс, итд.), Пусхсхифт.ио (на основу података на Реддиту)) и ЦЦНевсВ2 (архива вести).
Модел покрива око 180 милијарди токена (800 ГБ података). Било је потребно 33 дана покретања кластера са 992 НВИДИА А100 80 ГБ ГПУ-а за обуку модела.
Покрећући ОПТ-175Б на систему са једним НВИДИА Т4 ГПУ (16 ГБ), ФлекГен мотор је показао до 100 пута брже перформансе од претходно понуђених решења, чинећи употребу модела великих језика приступачнијим и омогућавајући им да раде на системима без специјализованих акцелератора.
У исто време, ФлекГен може да скалира да би паралелизовао прорачуне у присуству више ГПУ-а. Да би се смањила величина модела, користи се додатна шема компресије параметара и механизам за кеширање модела.
Тренутно, ФлекГен подржава само ОПТ језичке моделе, али у будућности програмери такође обећавају да ће додати подршку за БЛООМ (176 милијарди параметара, подржава 46 језика и 13 програмских језика), ЦодеГен (може да генерише код на 22 програмска језика) и ГЛМ.
На крају, вреди напоменути да је код написан у Питхон-у, користи ПиТорцх оквир и дистрибуира се под лиценцом Апацхе 2.0.
За Заинтересован да сазнам више о томе, можете проверити детаље У следећем линку.