Klavišų paspaudimų aptikimas garsu pasiekiamas pastačius klausymosi įrenginį arti taikinio
Kiekvieną kartą, kai esu labai sužavėtas metodais, kurie yra atrasti ir (arba) sukurti tiek informacijai gauti, tiek prieigai prie X skyriaus, nulaužti X įrenginį, todėl iki šiol mane labai žavi tie, kurie yra pagrįsti garsai, kuriuos generuoja procesoriaus ventiliatorius, norint gauti informaciją, taip pat naudojimas norint pamatyti sienas, be daugelio kitų.
Štai kodėl man asmeniškai labai patinka dalintis tokio tipo naujienomis čia, tinklaraštyje ir Šiandien pasidalinsiu naujienomis apie plėtra metodas kad sukūrė tyrėjų komandą, kuri Jis pagrįstas klaviatūra įvestos informacijos aptikimu 95 % tikslumas, kai analizuojamas klavišų paspaudimų garsas, įrašytas netoliese esančiu išmaniuoju telefonu arba užfiksuotas netoliese esančio mikrofono.
Įrodytas įvesties aptikimo tikslumas pranoksta visus akustinės analizės metodus simbolis vienam simboliui anksčiau žinomi Jie nenaudoja kalbos modelio. Siūlomas metodas gali būti naudojamas, pavyzdžiui, nustatant įvestus slaptažodžius ar įvestus pranešimus, kai užpuolikas padėjo išmanųjį telefoną šalia aukos arba gavo garso įrašą įvesdamas konfidencialią informaciją (pavyzdžiui, kai bendravimo metu auka registruojasi). kai kurių informacinių sistemų slaptažodžiu).
Dėl naujausių gilaus mokymosi pokyčių, mikrofonų paplitimo ir internetinių paslaugų per asmeninius įrenginius atsiradimo, akustinių šoninių kanalų atakos kelia didesnę grėsmę klaviatūroms nei bet kada anksčiau.
Įvestis atkuriama naudojant klasifikatorių, pagrįstą mašininio mokymosi modeliu, kuriame atsižvelgiama į garso charakteristikas ir garsumo lygį, kai paspaudžiami skirtingi klavišai.
Minima, kad puolimui įvykdyti būtinas išankstinis modelio apmokymas, kuris reikalauja suderinti įvesties garsą su informacija apie paspaudžiamus klavišus. Idealiomis sąlygomis modelis gali būti apmokytas naudojant užpultame kompiuteryje įdiegtą kenkėjišką programą, leidžiančią vienu metu įrašyti garsą iš mikrofono ir perimti klavišų paspaudimus.
Realesniu atveju modeliui parengti reikalingi duomenys galėtų būti renkami suderinant įvesties tekstinius pranešimus su garso įrašu iš rinkinio, įrašyto vaizdo konferencijos metu. Įvesties aptikimo tikslumas treniruojant modelį, pagrįstą Zoom ir Skype vaizdo konferencijų įvesties analize, šiek tiek sumažėja iki atitinkamai 93% ir 91,7%.
Atliekant eksperimentą, skirtą mašininio mokymosi modeliui išmokyti naudojant garsą iš „Zoom“ konferencijos, kiekvienas iš 36 klaviatūros klavišų (0–9, a–z) buvo paspaustas 25 kartus iš eilės skirtingais pirštais ir skirtinga jėga.
Duomenys apie kiekvieno paspaudimo garsą buvo paversti vaizdu su spektrograma, atspindinčia garso dažnio ir amplitudės kitimą laikui bėgant
spektrogramos perkeltas mokymams į klasifikatorių pagal CoAtNet modelį, naudojamas vaizdams klasifikuoti dirbtinės regėjimo sistemose. Tai yra, treniruočių metu vaizdas lyginamas su kiekvieno klavišo paspaudimo spektrograma su klavišo pavadinimu. Norėdami nustatyti garso paspaustus klavišus, CoAtNet modelis pagal perduotą spektrogramą grąžina labiausiai tikėtiną klavišą, panašiai kaip grąžina labiausiai tikėtiną etiketę atpažįstant objektus pagal jų vaizdą.
Ateityje mokslininkai ketina ištirti galimybę atkurti klaviatūros įvestį įrašant garsą iš išmaniųjų garsiakalbių ir, siekiant pagerinti įvesties teksto nustatymo tikslumą, naudoti kalbos modelį, kuris klasifikuoja įvestį. visų žodžių kontekste.
Pagaliau jei norite sužinoti daugiau apie tai, išsamią informaciją galite patikrinti sekanti nuoroda.