В мае 2020 года компания OpenAI, занимающаяся разработкой искусственного интеллекта и основанная Илоном Маском и Сэмом Альтманом, выпустила GPT-3, которая на тот момент позиционировалась как ведущая нейронная сеть. GPT-3, представляющая собой передовую языковую модель, включает 175 миллиардов параметров по сравнению с 1,5 миллиардами параметров у её предшественницы, GPT-2.
GPT-3 превзошла модель генерации естественного языка Turing (Turing Natural Language Generation) от Microsoft, которая имела 17 миллиардов параметров и ранее удерживала рекорд по величине нейронной сети. Эта языковая модель вызывала восхищение, критику и даже пристальное внимание; она также нашла новые и интересные применения.
А теперь появились слухи о том, что релиз GPT-4 , следующей версии языковой модели OpenAI, может состояться в ближайшее время.
Хотя дата релиза еще не объявлена, OpenAI предоставила некоторые сведения о характеристиках преемника GPT-3, из которых многие могут предположить, что GPT-4 не будет больше, чем GPT-3, но будет использовать больше вычислительных ресурсов, тем самым ограничивая свое воздействие на окружающую среду.
В ходе сессии Альтман намекнул, что , вопреки распространенному мнению, GPT-4 не станет самой большой языковой моделью . Хотя модель, безусловно, будет больше, чем предыдущие поколения нейронных сетей, размер не будет ее определяющей характеристикой.
Во-первых, компании осознали, что использование размера модели в качестве показателя повышения производительности — не единственный и не лучший способ сделать это. Сообщается, что в 2020 году Джаред Каплан и его коллеги из OpenAI пришли к выводу, что производительность больше всего повышается, когда увеличение вычислительного бюджета в основном распределяется на увеличение количества параметров в соответствии со степенной зависимостью. Google, Nvidia, Microsoft, OpenAI, DeepMind и другие компании, разрабатывающие языковые модели, приняли эти рекомендации за чистую монету.
Но MT-NLG (Megatron-Turing NLG, нейронная сеть, созданная Nvidia и Microsoft в прошлом году с 530 миллиардами параметров), как бы она ни была хороша, не является лучшей, когда дело касается производительности. На самом деле, он не считается лучшим ни в одной из категорий тестов. Меньшие модели, такие как Gopher или Chinchilla (70 миллиардов параметров), всего лишь часть их размера, будут намного лучше, чем MT-NLG во всех задачах. Таким образом, стало понятно, что размер модели — не единственный фактор, ведущий к лучшему пониманию языка.
По мнению Альтмана, языковые модели страдают от критического ограничения в плане оптимизации. Обучение обходится настолько дорого, что компаниям приходится идти на компромисс между точностью и стоимостью. Это часто приводит к созданию моделей, которые сильно недооптимизированы.
Гендиректор сообщил, что ГПТ-3 обучался только один раз, несмотря на некоторые ошибки, которые в других случаях привели бы к переобучению. Из-за этого OpenAI, как сообщается, отказался от этого из-за недоступной стоимости, что помешало исследователям найти лучший набор гиперпараметров для модели.
Еще одним следствием высоких затрат на обучение является то, что анализ поведения модели будет ограничен. Согласно одному отчету, когда исследователи ИИ пришли к выводу, что размер модели является наиболее важной переменной для повышения производительности, они не учитывали количество обучающих токенов, то есть объем данных, предоставляемых моделям. Это потребовало бы чрезвычайного количества вычислительных ресурсов. Сообщается, что технологические компании следовали выводам исследователей, потому что это было лучшее, что у них было.
Альтман заявил, что GPT-4 будет использовать значительно больше вычислительных ресурсов, чем его предшественник . Ожидается, что OpenAI реализует в GPT-4 идеи, связанные с оптимизацией, хотя масштабы этой реализации остаются неопределенными из-за ограниченности бюджета.
Однако заявления Альтмана показывают, что OpenAI следует сосредоточиться на оптимизации переменных, отличных от размера модели . Нахождение оптимального набора гиперпараметров, оптимального размера модели и количества параметров может привести к невероятным улучшениям во всех тестовых задачах.
По мнению аналитиков, все прогнозы для языковых моделей рухнут, если эти подходы объединить в единую модель. Альтман также сказал, что люди не поверят, насколько лучше могут быть модели, не обязательно будучи больше. Это может указывать на то, что усилия по масштабированию на данный момент закончились.
Сообщается, что OpenAI приложил много усилий для решения проблемы выравнивания ИИ: как заставить языковые модели следовать человеческим намерениям и придерживаться человеческих ценностей?
Аналитики говорят, что это не только сложная математическая проблема (как заставить ИИ понять, чего именно мы хотим?), но и философская (не существует универсального способа согласования ИИ с людьми, поскольку изменчивость человеческие ценности от группы к группе огромны и часто противоречивы).
Наконец, если вас интересует более подробная информация по этому вопросу , вы можете ознакомиться с оригинальной публикацией по следующей ссылке.