Zbulimi i goditjeve të tastave nga zëri arrihet duke vendosur një pajisje dëgjimi afër objektivit
Sa herë që më bëjnë mjaft përshtypje metodat që zbulohen dhe/ose zhvillohen si për të marrë informacion ashtu edhe për të hyrë në seksionin X, hakoni pajisjen X dhe është se deri më tani ato që ende më magjepsin shumë janë ato që bazohen në tingujt e gjeneruar nga tifozi i CPU-së për të marrë informacion, si dhe përdorimi i tingullit për të parë nëpër mure, ndër shumë të tjera.
Kjo është arsyeja pse, personalisht, më pëlqen shumë të ndaj këtë lloj lajmi këtu në blog dhe në rastin e Sot do të ndaj lajmet për zhvillimin e një metodë se ai krijoi një ekip studiuesish të cilët Ai bazohet në zbulimin e informacionit të futur në tastierë 95% e saktë kur analizohet tingulli i goditjeve të tastave të regjistruara nga një smartphone aty pranë ose i marrë nga një mikrofoni aty pranë.
Saktësia e provuar e zbulimit të hyrjes i kalon të gjitha metodat e analizës akustike karakter për simbol njohur më parë Ata nuk përdorin një model gjuhësor. Metoda e propozuar mund të përdoret, për shembull, për të përcaktuar fjalëkalimet e futura ose mesazhet e shtypura, në një situatë kur sulmuesi vendosi smartphone-in e tij pranë viktimës ose mori një regjistrim zanor gjatë futjes së informacionit konfidencial (për shembull, kur viktima regjistron gjatë komunikimit me një fjalëkalim për disa sisteme informacioni).
Me zhvillimet e fundit në mësimin e thellë, përhapjen e mikrofonave dhe rritjen e shërbimeve online nëpërmjet pajisjeve personale, sulmet e kanaleve anësore akustike paraqesin një kërcënim më të madh për tastierat se kurrë më parë.
Hyrja rikrijohet duke përdorur një klasifikues të bazuar në një model të mësimit të makinës që merr parasysh karakteristikat e zërit dhe nivelin e volumit kur shtypen butona të ndryshëm.
Përmendet se për të kryer një sulm, kërkohet trajnim paraprak i modelit, e cila kërkon përputhjen e zërit të hyrjes me informacionin rreth tasteve që shtypen. Në kushte ideale, modeli mund të trajnohet duke përdorur malware të instaluar në kompjuterin e sulmuar, duke bërë të mundur regjistrimin e njëkohshëm të tingullit nga një mikrofoni dhe përgjimin e goditjeve të tasteve.
Në një skenar më realist, të dhënat e nevojshme për të trajnuar modelin mund të mblidhen duke përputhur mesazhet me tekst me audio nga një grup i regjistruar si rezultat i një video-konference. Saktësia e zbulimit të hyrjes kur stërvitni një model të bazuar në analizën e hyrjes së videokonferencave në Zoom dhe Skype zvogëlohet pak në 93% dhe 91,7%, respektivisht.
Në një eksperiment për të trajnuar një model të mësimit të makinës duke përdorur audio nga një konferencë Zoom, secili nga 36 tastet (0-9, a-z) në tastierë u shtyp 25 herë radhazi me gishta të ndryshëm dhe me forcë të ndryshme.
Të dhënat për zërin e çdo shtypi u shndërruan në imazh me një spektrogram që pasqyron ndryshimin e frekuencës dhe amplitudës së zërit me kalimin e kohës
spektrogramet transferuar për trajnim në një klasifikues bazuar në modelin CoAtNet, përdoret për klasifikimin e imazheve në sistemet e shikimit artificial. Kjo do të thotë, gjatë stërvitjes imazhi krahasohet me spektrogramin e çdo goditjeje tasti me emrin e çelësit. Për të përcaktuar tastet e shtypura nga tingulli, modeli CoAtNet kthen çelësin më të mundshëm bazuar në spektrogramin e transmetuar, ngjashëm me kthimin e etiketës më të mundshme kur i dallon objektet sipas imazhit të tyre.
Në të ardhmen, studiuesit synojnë të eksplorojnë mundësinë e rikrijimit të hyrjes së tastierës duke regjistruar zërin nga altoparlantët inteligjentë dhe, për të përmirësuar saktësinë e përcaktimit të tekstit hyrës, të përdorin një model gjuhësor që klasifikon hyrjen në kontekstin e fjalëve të plota.
Më në fund nëse jeni të interesuar të dini më shumë për të, ju mund të kontrolloni detajet në lidhja vijuese.