A billentyűleütések hanggal történő észlelése úgy érhető el, hogy a lehallgató eszközt a cél közelébe helyezik
Minden alkalommal lenyűgöznek azok a módszerek, amelyeket mind az információszerzés, mind az X szekció eléréséhez fedeztek fel és/vagy fejlesztettek ki, feltörik az X eszközt, és mostanáig azok a módszerek nyűgöznek le, amelyek a a CPU ventilátor által generált hangok információszerzés céljából, valamint a falakon átlátni kívánt hangok használata, sok egyéb mellett.
Ezért szeretek én személy szerint ilyen jellegű híreket megosztani itt a blogon, és ma egy kutatócsoport által kidolgozott módszer fejlesztéséről szóló hírt osztok meg, amely a billentyűzeten beírt információk 95%-os pontosságú érzékelésén alapul, egy közeli okostelefonnal rögzített vagy egy közeli mikrofonnal rögzített billentyűleütések hangjának elemzésével.
A bemutatott bemeneti érzékelési pontosság felülmúlja az összes korábban ismert, nyelvi modellt nem használó akusztikus karakterenkénti elemzési módszert . A javasolt módszer például felhasználható a beírt jelszavak vagy begépelt üzenetek meghatározására olyan helyzetekben, amikor a támadó okostelefonját az áldozat mellé helyezte, vagy hangfelvételt fogadott, miközben az áldozat bizalmas információkat adott meg (például amikor az áldozat jelszóval jelentkezik be egy információs rendszerbe egy kommunikáció során).
A mély tanulás legújabb fejleményei, a mikrofonok mindenütt elterjedtsége és a személyes eszközökön keresztüli online szolgáltatások térnyerése miatt az akusztikus oldalcsatornás támadások minden eddiginél nagyobb veszélyt jelentenek a billentyűzetekre.
A bemenetet egy gépi tanulási modellen alapuló osztályozó segítségével hozza létre újra, amely figyelembe veszi a hangjellemzőket és a hangerőszintet a különböző billentyűk lenyomásakor.
Megemlítik, hogy egy támadás végrehajtásához a modell előzetes betanítása szükséges , ami magában foglalja a bemeneti hang és a lenyomott billentyűk információinak összehasonlítását. Ideális esetben a modell a célzott számítógépre telepített rosszindulatú program segítségével tanítható be, amely lehetővé teszi az egyidejű mikrofonfelvételt és a billentyűleütések elfogását.
Valósághűbb forgatókönyv szerint a modell betanításához szükséges adatokat össze lehetne gyűjteni úgy, hogy a bemeneti szöveges üzeneteket egy videokonferencia eredményeként rögzített készlet hangjával egyeztetik. A Zoom és a Skype videokonferencia bemeneti elemzésén alapuló modell betanítása során a bemenet észlelési pontossága enyhén, 93%-ra, illetve 91,7%-ra csökken.
Egy gépi tanulási modell betanítására irányuló kísérletben egy Zoom-konferencia hangja segítségével a billentyűzet mind a 36 billentyűjét (0-9, a-z) 25-ször egymás után nyomták meg különböző ujjakkal és eltérő erővel.
Az egyes impulzusok hangjára vonatkozó adatokat spektrogrammal ellátott képpé alakították, amely tükrözte a hang frekvenciájának és amplitúdójának időbeli változását.
A spektrogramokat betanítás céljából egy, a gépi látórendszerekben képosztályozásra használt CoAtNet modellen alapuló osztályozóba továbbították . Ez azt jelenti, hogy a betanítás során a képet összehasonlítják az egyes billentyűleütések spektrogramjával, a megfelelő billentyűnévvel. Annak meghatározásához, hogy mely billentyűket nyomták le a hang, a CoAtNet modell a továbbított spektrogram alapján visszaadja a legvalószínűbb billentyűt, hasonlóan ahhoz, ahogyan a legvalószínűbb címkét adja vissza az objektumok képük alapján történő felismerésekor.
A jövőben a kutatók fel kívánják tárni annak lehetőségét, hogy az intelligens hangszórókból származó hang rögzítésével újra lehessen létrehozni a billentyűzetes bevitelt, és a bemeneti szöveg meghatározásának pontosságának javítása érdekében olyan nyelvi modellt alkalmazzanak, amely a bevitelt egész szavak kontextusában osztályozza.
Végül, ha többet szeretnél megtudni erről , a részleteket az alábbi linken találod.