Тази работа се счита за важна, тъй като позволява по-добро разбиране на начина, по който помощните инструменти за изкуствен интелект в крайна сметка карат потребителите да пишат опасен код.
Наскоро новината съобщи това група изследователи от Станфордския университетd изследва въздействието от използването на интелигентни асистенти при писане на код на поява на уязвимости В кода.
Споменава се, че Те бяха разгледани решения, базирани на платформата за машинно обучение OpenAI Codex, като GitHub Copilot, които позволяват на потребителя да формира доста сложни блокове код, до готови за използване функции.
Заслужава да се спомене, че към днешна дата все още има опасения които са свързани с факта, че тъй като е използван реален код от публични хранилища на GitHub, включително тези, които съдържат уязвимости, за обучение на модела за машинно обучение, синтезираният код може да повтори грешки и да предложи код, който съдържа уязвимости, а също така не взема предвид необходимостта от допълнителни проверки при обработката на външни данни.
В проучването са участвали 47 доброволци с различен опит в програмирането, от студенти до професионалисти с десет години опит. Участниците сТе бяха разделени на две групи: експериментални (33 души) y контрол (14 души). И двете групи имаха достъп до всякакви библиотеки и ресурси в Интернет, включително използването на готови за използване примери от Stack Overflow. Експерименталната група получи възможност да използва AI асистента.
Всеки участник получи 5 свързани задачи с писане на код, където е потенциално лесно да се правят грешки, които водят до уязвимости. Например, имаше задачи за писане на функции за криптиране и декриптиране, използване на цифрови подписи, обработка на данни, участващи във формирането на файлови пътища или SQL заявки, манипулиране на големи числа в C код, обработка на въведени данни, показани на уеб страници.
Тези инструменти са базирани на модели като Codex на OpenAI и InCoder на Facebook, които са предварително обучени на големи набори от данни от публично достъпен код (напр. от GitHub), повдигайки различни опасения при използването, вариращи от авторски права на автор до последици за уязвимости в сигурността. Въпреки че неотдавнашната работа проучи тези рискове в по-малки синтетични сценарии, рисковете за сигурността на кода на AI помощника в контекста на начина, по който разработчиците избират да ги използват, не са подробно проучени.
За да се разгледа влиянието на езиците за програмиране върху сигурността на кода, получен чрез използване на AI асистенти, задачите обхващаха Python, C и JavaScript.
В резултат на това даe установи, че участниците, които са използвали AI асистент базиран на модел смарт codex-davinci-002 създаде значително по-малко защитен код отколкото участниците, които не са използвали AI асистент. Като цяло само 67% от участниците в групата, използващи AI асистента, са успели да предоставят правилен и сигурен код, докато в другата група тази цифра е 79%.
В същото време показателите за сигурност (самочувствие) се обърнаха: на участниците, които са използвали AI асистента, вярват, че техният код ще бъде по-сигурен отколкото на участниците в другата група. Освен това беше отбелязано, че участниците, които се доверяват по-малко на съветника за изкуствен интелект и прекарват повече време в анализиране и правене на промени в дадените съвети, генерират по-малко уязвимости в кода.
Например кодът, копиран от крипто библиотеки, съдържа стойности на параметри по подразбиране по-сигурен от кода, предложен от съветника за AI. Също така, когато използвате AI асистента, изборът на по-малко надеждни алгоритми за криптиране и липсата на удостоверяване на върнатите стойности бяха фиксирани. В задачата за манипулиране на число C, кодът, написан със съветника за AI, имаше повече грешки, които доведоха до препълване на цели числа.
Освен това, може да се посочи подобно изследване от група от Нюйоркския университет, проведено през ноември с участието на 58 студенти, които бяха помолени да внедрят структура за обработка на списък за пазаруване в C. Резултатите показаха малко влияние на AI помощника върху сигурността на кода: потребителите, които използваха AI помощника, направиха средно около 10% повече грешки, свързани със сигурността.
Накрая да вие се интересувате да научите повече за това, можете да проверите подробностите В следващия линк.