Эта работа считается важной, поскольку позволяет лучше понять, как инструменты помощника ИИ в конечном итоге приводят пользователей к написанию небезопасного кода.
Недавно стало известно, что группа исследователей из Стэнфордского университетаd изучал влияние использования интеллектуальных помощников при написании кода на появление уязвимостей В коде.
Упоминается, что Они считались решения на базе платформы машинного обучения OpenAI Codex, например GitHub Copilot, которые позволяют пользователю формировать довольно сложные блоки кода, вплоть до готовых к использованию функций.
Стоит отметить, что на сегодняшний день есть еще опасения которые связаны с тем, что, поскольку использовался реальный код из общедоступных репозиториев GitHub, в том числе содержащие уязвимости, для обучения модели машинного обучения синтезированный код может повторять ошибки и предлагать код, содержащий уязвимости, а также не учитывает необходимость дополнительных проверок при обработке внешних данных.
В исследовании приняли участие 47 добровольцев с разным стажем. в программировании, от студентов до профессионалов с десятилетним стажем. Участники сОни были разделены на две группы: экспериментальные (33 человека) И контролировать (14 человек). Обе группы имели доступ к любым библиотекам и ресурсам в Интернете, включая использование готовых примеров из Stack Overflow. Экспериментальной группе была предоставлена возможность использовать ИИ-помощника.
Каждый участник получил по 5 связанных заданий с написанием кода, где потенциально легко сделать ошибки, ведущие к уязвимостям. Например, были задачи по написанию функций шифрования и дешифрования, использованию цифровых подписей, обработке данных, участвующих в формировании путей к файлам или SQL-запросам, манипулированию большими числами в коде C, обработке ввода, отображаемого на веб-страницах.
Эти инструменты основаны на таких моделях, как OpenAI Codex и Facebook InCoder, которые предварительно обучены на больших наборах данных общедоступного кода (например, из GitHub), что вызывает множество проблем с использованием, начиная от авторских прав автора и заканчивая последствиями для уязвимостей безопасности. В то время как в недавней работе эти риски изучались в небольших синтетических сценариях, риски безопасности кода помощника ИИ в контексте того, как разработчики решили его использовать, широко не изучались.
Чтобы рассмотреть влияние языков программирования на безопасность кода, полученного с помощью ИИ-помощников, задачи охватывали Python, C и JavaScript.
В результате даe обнаружил, что участники, которые использовали помощника ИИ умный на основе модели codex-davinci-002 производил значительно менее безопасный код чем участники, которые не использовали помощника ИИ. В целом только 67% участников группы, использующей ИИ-помощник, смогли указать правильный и безопасный код, в то время как в другой группе этот показатель составил 79%.
При этом показатели безопасности (самооценка) поменялись местами: участники, использовавшие ИИ-помощника, считали, что их код будет более безопасным чем у участников другой группы. Кроме того, было замечено, что участники, которые меньше доверяли мастеру ИИ и тратили больше времени на анализ и внесение изменений в данные подсказки, генерировали меньше уязвимостей в коде.
Например, код, скопированный из криптобиблиотек, содержал значения параметров по умолчанию более безопасным, чем код, предложенный мастером ИИ. Также при использовании ИИ-помощника был исправлен выбор менее надежных алгоритмов шифрования и отсутствие аутентификации возвращаемых значений. В задаче манипулирования числами C код, написанный с помощью ИИ-мастера, имел больше ошибок, которые приводили к целочисленному переполнению.
Кроме того, можно указать на подобное исследование группой из Нью-Йоркского университета, состоявшейся в ноябре с участием 58 студентов, которых попросили реализовать структуру для обработки списка покупок на C. Результаты показали незначительное влияние ИИ-помощника на безопасность кода: пользователи, использовавшие ИИ-помощник, совершали в среднем примерно на 10 % больше ошибок, связанных с безопасностью.
Наконец да вы заинтересованы в возможности узнать об этом больше, вы можете проверить подробности По следующей ссылке.