В мае 2020 года OpenAI, компания по искусственному интеллекту, основанная Илоном Маском и Сэмом Альтманом, опубликовала GPT-3, которая затем была представлена как лучшая нейронная сеть на данный момент. Современная языковая модель, GPT-3 включает 175 миллиардов параметров по сравнению с 1,5 миллиардами параметров его предшественника GPT-2.
GPT-3 превзойти модель Тьюринга NLG (Turing Natural Language Generation) от Microsoft с 17 миллиардами параметров, которые ранее были рекордсменом для самой большой нейронной сети. Языковая модель вызывала восхищение, критику и даже тщательное изучение; он также нашел новые и интересные применения.
И сейчас ходили слухи, что выпуск ГПТ-4, скоро может появиться следующая версия языковой модели OpenAI.
Хотя дата выхода пока не объявлена, OpenAI дал некоторые указания о характеристиках преемника GPT-3, в связи с чем многие могли ожидать, что GPT-4 не должен быть больше, чем GPT-3, но должен использовать больше вычислительных ресурсов, что ограничит его воздействие на окружающую среду.
Во время сеанса, Альтман намекнул, что, вопреки распространенному мнению, GPT-4 не будет самой большой языковой моделью. Модель, несомненно, будет больше, чем нейронные сети предыдущих поколений, но размер не будет ее отличительной чертой.
Во-первых, компании осознали, что использование размера модели в качестве показателя повышения производительности — не единственный и не лучший способ сделать это. Сообщается, что в 2020 году Джаред Каплан и его коллеги из OpenAI пришли к выводу, что производительность больше всего повышается, когда увеличение вычислительного бюджета в основном распределяется на увеличение количества параметров в соответствии со степенной зависимостью. Google, Nvidia, Microsoft, OpenAI, DeepMind и другие компании, разрабатывающие языковые модели, приняли эти рекомендации за чистую монету.
Но MT-NLG (Megatron-Turing NLG, нейронная сеть, созданная Nvidia и Microsoft в прошлом году с 530 миллиардами параметров), как бы она ни была хороша, не является лучшей, когда дело касается производительности. На самом деле, он не считается лучшим ни в одной из категорий тестов. Меньшие модели, такие как Gopher или Chinchilla (70 миллиардов параметров), всего лишь часть их размера, будут намного лучше, чем MT-NLG во всех задачах. Таким образом, стало понятно, что размер модели — не единственный фактор, ведущий к лучшему пониманию языка.
Согласно Альтману, языковые модели страдают одним критическим ограничением. когда дело доходит до оптимизации. Обучение будет настолько дорогим, что компаниям придется идти на компромисс между точностью и стоимостью. Это часто приводит к плохой оптимизации моделей.
Гендиректор сообщил, что ГПТ-3 обучался только один раз, несмотря на некоторые ошибки, которые в других случаях привели бы к переобучению. Из-за этого OpenAI, как сообщается, отказался от этого из-за недоступной стоимости, что помешало исследователям найти лучший набор гиперпараметров для модели.
Еще одним следствием высоких затрат на обучение является то, что анализ поведения модели будет ограничен. Согласно одному отчету, когда исследователи ИИ пришли к выводу, что размер модели является наиболее важной переменной для повышения производительности, они не учитывали количество обучающих токенов, то есть объем данных, предоставляемых моделям. Это потребовало бы чрезвычайного количества вычислительных ресурсов. Сообщается, что технологические компании следовали выводам исследователей, потому что это было лучшее, что у них было.
Альтман сказал, что GPT-4 будет использовать гораздо больше вычислений, чем его предшественник. Ожидается, что OpenAI реализует идеи, связанные с оптимизацией, в GPT-4, хотя в какой степени это невозможно предсказать, поскольку его бюджет неизвестен.
Однако заявления о Альтман показывает, что OpenAI должен сосредоточиться на оптимизации переменных, отличных от размера модели.. Поиск наилучшего набора гиперпараметров, оптимального размера модели и количества параметров может привести к невероятным улучшениям во всех тестах.
По мнению аналитиков, все прогнозы для языковых моделей рухнут, если эти подходы объединить в единую модель. Альтман также сказал, что люди не поверят, насколько лучше могут быть модели, не обязательно будучи больше. Это может указывать на то, что усилия по масштабированию на данный момент закончились.
Сообщается, что OpenAI приложил много усилий для решения проблемы выравнивания ИИ: как заставить языковые модели следовать человеческим намерениям и придерживаться человеческих ценностей?
Аналитики говорят, что это не только сложная математическая проблема (как заставить ИИ понять, чего именно мы хотим?), но и философская (не существует универсального способа согласования ИИ с людьми, поскольку изменчивость человеческие ценности от группы к группе огромны и часто противоречивы).
В конце концов если вам интересно узнать об этом большевы можете обратиться к исходному сообщению По следующей ссылке.