Detektering av tangenttryckningar genom ljud uppnås genom att placera en lyssningsapparat nära målet
Varje gång blir jag ganska imponerad av de metoder som upptäcks och/eller utvecklas både för att få information och för att komma åt X-sektionen, hacka X-enheten och det är att de som fortfarande fascinerar mig mycket är de som är baserade på ljud som genereras av CPU-fläkten för att få information, samt användningen av för att se genom väggar, bland många andra.
Det är därför jag personligen verkligen tycker om att dela den här typen av nyheter här på bloggen, och idag ska jag dela med mig av nyheten om utvecklingen av en metod skapad av ett forskarteam som bygger på att detektera information som matas in på tangentbordet med 95 % noggrannhet genom att analysera ljudet av tangenttryckningar inspelade med en smartphone i närheten eller fångade av en mikrofon i närheten.
Den demonstrerade noggrannheten vid inmatningsdetektering överträffar alla tidigare kända metoder för akustisk tecken-för-symbol- analys som inte använder en språkmodell. Den föreslagna metoden kan till exempel användas för att fastställa inmatade lösenord eller skrivna meddelanden i situationer där angriparen placerade sin smartphone bredvid offret eller tog emot en ljudinspelning medan offret angav konfidentiell information (t.ex. när offret loggar in på ett informationssystem med ett lösenord under en kommunikation).
Med den senaste utvecklingen inom djupinlärning, mikrofonernas allestädes närvarande, och uppkomsten av onlinetjänster via personliga enheter, utgör akustiska sidokanalattacker ett större hot mot tangentbord än någonsin tidigare.
Ingången återskapas med hjälp av en klassificerare baserad på en maskininlärningsmodell som tar hänsyn till ljudegenskaper och volymnivå när olika tangenter trycks ned.
Det nämns att utförandet av en attack kräver preliminär träning av modellen , vilket innebär att matcha inmatningsljudet med information om de tangenter som trycks ned. Helst kan modellen tränas med hjälp av skadlig kod installerad på den angripna datorn, vilket möjliggör samtidig mikrofoninspelning och tangenttryckningsavlyssning.
I ett mer realistiskt scenario kan de data som behövs för att träna modellen samlas in genom att matcha inmatade textmeddelanden med ljud från en uppsättning inspelad som ett resultat av en videokonferens. Indatadetekteringsnoggrannheten vid träning av en modell baserad på Zoom- och Skype-videokonferensinmatningsanalys minskar något till 93 % respektive 91,7 %.
I ett experiment för att träna en maskininlärningsmodell med hjälp av ljud från en Zoom-konferens, trycktes var och en av de 36 tangenterna (0-9, a-z) på tangentbordet 25 gånger i rad med olika fingrar och med olika kraft.
Data om ljudet från varje puls omvandlades till en bild med ett spektrogram som reflekterade förändringen i ljudets frekvens och amplitud över tid.
Spektrogrammen överfördes för träning till en klassificerare baserad på CoAtNet-modellen , som används för bildklassificering i maskinseendesystem. Det vill säga, under träningen jämförs bilden med spektrogrammet för varje tangenttryckning med motsvarande tangentnamn. För att avgöra vilka tangenter som trycktes ner av ljudet returnerar CoAtNet-modellen den mest sannolika tangenten baserat på det överförda spektrogrammet, ungefär som att returnera den mest sannolika etiketten när objekt känner igen sin bild.
I framtiden avser forskarna att undersöka möjligheten att återskapa tangentbordsinmatning genom att spela in ljud från smarta högtalare och, för att förbättra noggrannheten vid bestämning av inmatad text, använda en språkmodell som klassificerar inmatning i sammanhang med hela ord.
Slutligen, om du är intresserad av att lära dig mer om detta , kan du hitta detaljerna på följande länk.