У мају 2020. године, OpenAI, компанија за вештачку интелигенцију коју су суоснивали Илон Маск и Сем Алтман, објавила је GPT-3, у то време рекламирану као водећа неуронска мрежа. Као најсавременији језички модел, GPT-3 укључује 175 милијарди параметара у поређењу са 1,5 милијарди параметара свог претходника, GPT-2.
GPT-3 је надмашио Мајкрософтов NLG Тјурингов (Тјурингова генерација природног језика) модел, који је имао 17 милијарди параметара и претходно је држао рекорд за највећу неуронску мрежу. Језички модел је био дивљен, критикован, па чак и испитиван; такође је пронашао нове и занимљиве примене.
А сада су се појавиле гласине да би ускоро могло бити објављено GPT-4 , следеће верзије језичког модела OpenAI-ја.
Иако датум објављивања још није објављен, OpenAI је дао неке назнаке о карактеристикама наследника GPT-3, из којих би многи могли очекивати да GPT-4 не би требало да буде већи од GPT-3, али да би требало да користи више рачунарских ресурса, чиме би се ограничио његов утицај на животну средину.
Током сесије, Алтман је наговестио да , супротно увреженом мишљењу, GPT-4 неће бити највећи језички модел . Иако ће модел свакако бити већи од претходних генерација неуронских мрежа, величина неће бити његова дефинишућа карактеристика.
Прво, компаније су схватиле да коришћење величине модела као индикатора за побољшање перформанси није једини или најбољи начин да се то уради. У 2020. години, Јаред Каплан и колеге из ОпенАИ-а су наводно закључили да се перформансе највише побољшавају када се повећања буџета за рачунарство првенствено додељују повећању броја параметара, пратећи однос степена и закона. Гоогле, Нвидиа, Мицрософт, ОпенАИ, ДеепМинд и друге компаније које развијају језичке моделе су прихватиле ове смернице по номиналној вредности.
Али МТ-НЛГ (Мегатрон-Туринг НЛГ, неуронска мрежа коју су прошле године изградили Нвидиа и Мицрософт са 530 милијарди параметара), ма како је одличан, није најбољи када су перформансе у питању. У ствари, није оцењен као најбољи ни у једној категорији. Мањи модели као што су Гопхер или Цхинцхилла (70 милијарди параметара), само делић њихове величине, били би много бољи од МТ-НЛГ у свим задацима. Тако је постало јасно да величина модела није једини фактор који води ка бољем разумевању језика.
Према Алтману, језички модели пате од критичног ограничења када је у питању оптимизација. Обука би била толико скупа да би компаније морале да праве компромис између тачности и трошкова. То често доводи до модела који су озбиљно недовољно оптимизовани.
Извршни директор је известио да је ГПТ-3 обучен само једном, упркос неким грешкама које би у другим случајевима довеле до преквалификације. Због тога се ОпенАИ наводно одлучио против тога због неприступачне цене, што је спречило истраживаче да пронађу најбољи скуп хиперпараметара за модел.
Још једна последица високих трошкова обуке је да би анализе понашања модела биле ограничене. Према једном извештају, када су истраживачи вештачке интелигенције закључили да је величина модела најрелевантнија варијабла за побољшање перформанси, нису узели у обзир број токена за обуку, односно количину података датих моделима. Ово би захтевало изузетне количине рачунарских ресурса. Технолошке компаније су наводно пратиле налазе истраживача јер је то било најбоље што су имали.
Алтман је рекао да ће GPT-4 користити знатно више израчунавања него његов претходник . Очекује се да ће OpenAI имплементирати идеје везане за оптимизацију у GPT-4, иако је обим ове имплементације неизвестан због његовог буџета.
Међутим, Алтманове изјаве показују да би се OpenAI требало фокусирати на оптимизацију варијабли које нису величина модела . Проналажење најбољег скупа хиперпараметара, оптималне величине модела и броја параметара могло би довести до невероватних побољшања у свим бенчмарковима.
Према аналитичарима, сва предвиђања за језичке моделе ће се урушити ако се ови приступи комбинују у један модел. Алтман је такође рекао да људи неће веровати колико бољи модели могу бити а да нису нужно већи. Можда сугерише да су напори на скалирању за сада готови.
ОпенАИ је наводно уложио много труда у решавање проблема усклађивања АИ: како натерати моделе језика да прате људске намере и придржавају се људских вредности?
Аналитичари кажу да ово није само тежак математички проблем (како да натерамо АИ да разуме тачно шта ми желимо?), већ и филозофски (не постоји универзални начин да се АИ усклади са људима, пошто је варијабилност људске вредности од групе до групе су огромне и често конфликтне).
Коначно, ако сте заинтересовани да сазнате више о овоме , можете погледати оригиналну публикацију на следећем линку.