У травні 2020 року OpenAI, компанія зі штучного інтелекту, співзасновниками якої є Ілон Маск та Сем Альтман, випустила GPT-3, яку на той час рекламували як провідну нейронну мережу. GPT-3, найсучасніша мовна модель, містить 175 мільярдів параметрів порівняно з 1,5 мільярдами параметрів її попередниці, GPT-2.
GPT-3 перевершила модель Microsoft NLG Turing (Turing Natural Language Generation), яка мала 17 мільярдів параметрів і раніше вважалася рекордсменкою за величиною нейронної мережі. Мовна модель викликала захоплення, критику і навіть ретельне дослідження; вона також знайшла нові та цікаві застосування.
А тепер з'явилися чутки, що випуск GPT-4 , наступної версії мовної моделі OpenAI, може відбутися найближчим часом.
Хоча дата випуску ще не оголошена, OpenAI надала деякі вказівки щодо характеристик наступника GPT-3, з яких багато хто може очікувати, що GPT-4 не повинен бути більшим за GPT-3, але використовувати більше обчислювальних ресурсів, тим самим обмежуючи його вплив на навколишнє середовище.
Під час сесії Альтман натякнув, що , всупереч поширеній думці, GPT-4 не буде найбільшою мовною моделлю . Хоча модель, безумовно, буде більшою за попередні покоління нейронних мереж, розмір не буде її визначальною характеристикою.
По-перше, компанії зрозуміли, що використання розміру моделі як індикатора для підвищення продуктивності — не єдиний чи найкращий спосіб зробити це. Як повідомляється, у 2020 році Джаред Каплан і його колеги з OpenAI дійшли висновку, що продуктивність покращується найбільше, коли збільшення обчислювального бюджету в першу чергу спрямовано на збільшення кількості параметрів відповідно до степеневого співвідношення. Google, Nvidia, Microsoft, OpenAI, DeepMind та інші компанії, які розробляють мовні моделі, прийняли ці рекомендації за чисту монету.
Але MT-NLG (Megatron-Turing NLG, нейронна мережа, створена Nvidia і Microsoft минулого року з 530 мільярдами параметрів), як би вона не була, не найкраща, коли справа доходить до продуктивності. Насправді, він не є найкращим у жодній контрольній категорії. Менші моделі, такі як Gopher або Chinchilla (70 мільярдів параметрів), лише невелика частка від їхнього розміру, були б набагато кращими за MT-NLG у всіх завданнях. Таким чином, стало зрозуміло, що розмір моделі – не єдиний фактор, який веде до кращого розуміння мови.
За словами Альтмана, мовні моделі мають критичне обмеження, коли йдеться про оптимізацію. Навчання було б настільки дорогим, що компаніям довелося б йти на компроміс між точністю та вартістю. Це часто призводить до моделей, які є значно недооптимізованими.
Генеральний директор повідомив, що GPT-3 проходив навчання лише один раз, незважаючи на деякі помилки, які в інших випадках призвели до перепідготовки. Через це, як повідомляється, OpenAI відмовився від цього через недосяжну вартість, що завадило дослідникам знайти найкращий набір гіперпараметрів для моделі.
Іншим наслідком високих витрат на навчання є те, що аналіз поведінки моделі буде обмежений. Згідно з одним звітом, коли дослідники ШІ дійшли висновку, що розмір моделі є найбільш релевантною змінною для підвищення продуктивності, вони не врахували кількість навчальних маркерів, тобто кількість даних, наданих моделям. Це вимагало б надзвичайної кількості обчислювальних ресурсів. Як повідомляється, технологічні компанії слідкували за висновками дослідників, оскільки це було найкраще, що у них було.
Альтман сказав, що GPT-4 використовуватиме значно більше обчислень, ніж його попередник . Очікується, що OpenAI реалізує ідеї, пов'язані з оптимізацією, в GPT-4, хоча масштаби цієї реалізації невідомі через його бюджет.
Однак заяви Альтмана показують, що OpenAI має зосередитися на оптимізації змінних, відмінних від розміру моделі . Пошук найкращого набору гіперпараметрів, оптимального розміру моделі та кількості параметрів може призвести до неймовірних покращень у всіх бенчмарках.
На думку аналітиків, усі передбачення мовних моделей зруйнуються, якщо ці підходи об’єднати в одну модель. Альтман також сказав, що люди не повірять, наскільки кращими можуть бути моделі, якщо вони не обов’язково більші. Це може свідчити про те, що зусилля щодо масштабування наразі закінчені.
Як повідомляється, OpenAI доклав багато зусиль для вирішення проблеми вирівнювання AI: як змусити мовні моделі відповідати людським намірам і дотримуватися людських цінностей?
Аналітики кажуть, що це не тільки складна математична проблема (як зробити так, щоб ШІ зрозумів саме те, що ми хочемо?), але й філософська (не існує універсального способу узгодити ШІ з людьми, оскільки мінливість людських цінностей від групи до групи величезна і часто конфліктна).
Зрештою, якщо ви зацікавлені дізнатися більше про це , ви можете ознайомитися з оригінальною публікацією за наступним посиланням.