Zaznavanje pritiskov na tipke z zvokom dosežemo tako, da prisluškovalno napravo približamo tarči
Vsakič, ko sem čisto navdušen nad metodami, ki so odkrite in/ali razvite tako za pridobivanje informacij kot za dostop do razdelka X, vdor v napravo X in do zdaj me še vedno zelo fascinirajo tiste, ki temeljijo na zvoki, ki jih ustvarja ventilator procesorja za pridobivanje informacij, kot tudi uporaba za gledanje skozi stene, med mnogimi drugimi.
Zato osebno zelo rad delim tovrstne novice tukaj na blogu in v primeru Danes bom delil novice o razvoj metoda da je ustvaril ekipo raziskovalcev, ki Temelji na zaznavanju informacij, vnesenih na tipkovnici 95-odstotna natančnost pri analiziranju zvoka pritiskov na tipke, ki ga posname bližnji pametni telefon ali zajame bližnji mikrofon.
Dokazana natančnost zaznavanja vnosa prekaša vse metode akustične analize znakov na simbol prej znano Ne uporabljajo jezikovnega modela. Predlagano metodo je mogoče uporabiti na primer za ugotavljanje vnesenih gesel ali vtipkanih sporočil v situaciji, ko je napadalec svoj pametni telefon položil poleg žrtve ali prejel zvočni posnetek med vnašanjem zaupnih informacij (na primer, ko se žrtev med komunikacijo prijavi v log z geslom za nekatere informacijske sisteme).
Z nedavnim razvojem globokega učenja, vseprisotnostjo mikrofonov in porastom spletnih storitev prek osebnih naprav predstavljajo akustični stranski napadi večjo grožnjo tipkovnicam kot kdaj koli prej.
Vnos je ponovno ustvarjen s klasifikatorjem, ki temelji na modelu strojnega učenja, ki upošteva značilnosti zvoka in raven glasnosti ob pritisku različnih tipk.
Omenjeno je, da za izvedbo napada je potrebno predhodno usposabljanje modela, ki zahteva ujemanje vhodnega zvoka z informacijami o pritisnjenih tipkah. V idealnih pogojih je mogoče model učiti z uporabo zlonamerne programske opreme, nameščene na napadenem računalniku, ki omogoča hkratno snemanje zvoka iz mikrofona in prestrezanje pritiskov na tipke.
V bolj realističnem scenariju bi lahko podatke, potrebne za usposabljanje modela, zbrali tako, da primerjate vhodna besedilna sporočila z zvokom iz nabora, posnetega kot rezultat videokonference. Natančnost zaznavanja vnosa pri urjenju modela, ki temelji na analizi vnosa videokonference Zoom in Skype, se rahlo zmanjša na 93 % oziroma 91,7 %.
V poskusu za usposabljanje modela strojnega učenja z uporabo zvoka iz konference Zoom je bila vsaka od 36 tipk (0-9, a-z) na tipkovnici pritisnjena 25-krat zaporedoma z različnimi prsti in z različno močjo.
Podatke o zvoku vsakega pritiska smo pretvorili v sliko s spektrogramom, ki odraža spremembo frekvence in amplitude zvoka skozi čas
spektrogrami prenesen na usposabljanje v klasifikator po modelu CoAtNet, ki se uporablja za klasifikacijo slik v sistemih umetnega vida. To pomeni, da se med treningom slika primerja s spektrogramom vsakega pritiska tipke z imenom tipke. Za določitev tipk, ki jih pritisne zvok, model CoAtNet vrne najverjetnejšo tipko na podlagi oddanega spektrograma, podobno kot vrne najverjetnejšo oznako pri prepoznavanju predmetov po njihovi podobi.
V prihodnosti nameravajo raziskovalci raziskati možnost poustvarjanja vnosa s tipkovnico s snemanjem zvoka iz pametnih zvočnikov in za izboljšanje natančnosti določanja vnesenega besedila uporabiti jezikovni model, ki vnos razvršča v kontekstu celih besed.
Končno če vas zanima več o tem, podrobnosti lahko preverite v naslednja povezava.