Ovaj se rad smatra važnim jer omogućuje bolje razumijevanje načina na koji pomoćni alati AI na kraju dovode korisnike do pisanja nesigurnog koda.
Nedavno je vijest objavila to skupina istraživača sa Sveučilišta Stanfordd proučavao je utjecaj korištenja inteligentnih pomoćnika pri pisanju koda o pojava ranjivosti U kodu.
Spominje se da Smatrali su se rješenja temeljena na platformi strojnog učenja OpenAI Codex, kao što je GitHub Copilot, koji korisniku omogućuju stvaranje prilično složenih blokova koda, sve do funkcija spremnih za korištenje.
Vrijedno je spomenuti da do danas još uvijek postoje brige koji su povezani s činjenicom da, budući da je korišten pravi kod iz javnih GitHub repozitorija, uključujući one koji sadrže ranjivosti, za treniranje modela strojnog učenja, sintetizirani kod može ponoviti pogreške i predložiti kod koji sadrži ranjivosti, a također ne uzima u obzir potrebu za dodatnim provjerama prilikom obrade vanjskih podataka.
U istraživanju je sudjelovalo 47 volontera s različitim iskustvom u programiranju, od studenata do profesionalaca s desetogodišnjim iskustvom. Sudionici sPodijeljeni su u dvije skupine: eksperimentalne (33 osobe) I kontrolu (14 osoba). Obje grupe imale su pristup svim knjižnicama i resursima na Internetu, uključujući korištenje primjera spremnih za korištenje iz Stack Overflowa. Eksperimentalna skupina dobila je priliku koristiti AI pomoćnika.
Svaki je sudionik dobio 5 povezanih zadataka s pisanjem koda gdje je potencijalno lako napraviti pogreške koje dovode do ranjivosti. Na primjer, bilo je zadataka pisanja funkcija enkripcije i dešifriranja, korištenja digitalnih potpisa, obrade podataka uključenih u formiranje staza datoteka ili SQL upita, manipuliranja velikim brojevima u C kodu, obrade unosa prikazanih na web stranicama.
Ovi se alati temelje na modelima kao što su OpenAI-jev Codex i Facebookov InCoder koji su unaprijed uvježbani na velikim skupovima podataka javno dostupnog koda (npr. s GitHuba), izazivajući niz problema u vezi s korištenjem, od autorskih prava do implikacija za sigurnosne propuste. Iako su nedavni radovi proučavali te rizike u manjim sintetičkim scenarijima, sigurnosni rizici pomoćnog koda umjetne inteligencije u kontekstu načina na koji ih programeri odlučuju koristiti nisu opsežno proučavani.
Za razmatranje utjecaja programskih jezika na sigurnost koda dobivenog korištenjem AI pomoćnika, zadaci su pokrivali Python, C i JavaScript.
Kao rezultat toga, dae otkrili su da su sudionici koji su koristili AI asistenta model-based smart codex-davinci-002 proizvodi znatno manje siguran kod od sudionika koji nisu koristili AI pomoćnika. Sveukupno, samo 67% sudionika u grupi koja je koristila AI asistenta uspjelo je dati točan i siguran kod, dok je u drugoj skupini ta brojka bila 79%.
Istodobno su se indikatori sigurnosti (samopoštovanje) preokrenuli: sudionici koji su koristili AI asistenta vjerovali su da će njihov kod biti sigurniji nego kod sudionika druge skupine. Nadalje, primijećeno je da su sudionici koji manje vjeruju čarobnjaku za umjetnu inteligenciju i provode više vremena analizirajući i unoseći izmjene u dane savjete, generirali manje ranjivosti koda.
Npr. kod kopiran iz kripto knjižnica sadržavao je zadane vrijednosti parametara sigurniji od koda koji je predložio AI čarobnjak. Također, pri korištenju AI pomoćnika, popravljen je izbor manje pouzdanih algoritama šifriranja i nedostatak provjere autentičnosti vraćenih vrijednosti. U zadatku manipulacije brojem C, kod napisan pomoću AI čarobnjaka imao je više pogrešaka koje su rezultirale prekoračenjem cijelog broja.
Osim toga, može se istaknuti slična studija grupe sa Sveučilišta New York, održan u studenom uz sudjelovanje 58 studenata, od kojih je zatraženo da implementiraju strukturu za obradu popisa za kupovinu u C. Rezultati su pokazali mali utjecaj AI pomoćnika na sigurnost koda: korisnici koji su koristili AI pomoćnik napravili su u prosjeku oko 10% više sigurnosnih pogrešaka.
Napokon da zainteresirani ste da saznate više o tome, možete provjeriti detalje U sljedećem linku.