He kehittivät menetelmän näppäinpainallusten määrittämiseksi äänen perusteella 

Näppäinpainallusten havaitseminen äänellä

Näppäinpainallusten havaitseminen äänellä saavutetaan sijoittamalla kuuntelulaite kohteen lähelle

Joka kerta, kun olen melko vaikuttunut menetelmistä, joita löydetään ja/tai kehitetään sekä tiedon hankkimiseksi että X-osion, hakkeroinnin ja X-laitteen käyttämiseksi, ja tähän asti minua kiehtovat edelleen ne, jotka perustuvat prosessorin tuulettimen tuottamat äänet tiedon saamiseksi sekä monien muiden seinien läpi näkeminen.

Siksi henkilökohtaisesti haluan todella jakaa tämäntyyppisiä uutisia täällä blogissa ja tapauksessa Tänään jaan uutisia aiheesta kehitys menetelmä että hän loi tutkijaryhmän, joka Se perustuu näppäimistöllä syötettyjen tietojen tunnistamiseen 95 % tarkka analysoitaessa läheisen älypuhelimen tallentamien näppäinpainallusten ääntä tai läheisen mikrofonin poimimia ääniä.

Todistettu syötteen tunnistuksen tarkkuus ylittää kaikki akustiset analyysimenetelmät merkki per symboli aiemmin tiedossa He eivät käytä kielimallia. Ehdotettua menetelmää voidaan käyttää esimerkiksi syötettyjen salasanojen tai kirjoitettujen viestien määrittämiseen tilanteessa, jossa hyökkääjä asetti älypuhelimen uhrin viereen tai vastaanotti äänitallenteen syöttäessään luottamuksellisia tietoja (esimerkiksi kun uhri kirjautuu kommunikoinnin aikana joidenkin tietojärjestelmien salasanalla).

Syväoppimisen viimeaikaisen kehityksen, mikrofonien yleistymisen ja henkilökohtaisten laitteiden kautta tarjottavien online-palvelujen lisääntymisen myötä akustiset sivukanavahyökkäykset ovat suurempi uhka näppäimistöille kuin koskaan ennen.

Syöte luodaan uudelleen koneoppimismalliin perustuvalla luokittimella, joka ottaa huomioon äänen ominaisuudet ja äänenvoimakkuuden, kun eri näppäimiä painetaan.

Mainitaan se hyökkäyksen suorittaminen edellyttää mallin alustavaa koulutusta, joka edellyttää tuloäänen vastaamista painettavien näppäinten tietojen kanssa. Ihanteellisissa olosuhteissa mallia voidaan kouluttaa hyökättyyn tietokoneeseen asennettujen haittaohjelmien avulla, jolloin voidaan samanaikaisesti tallentaa ääntä mikrofonista ja siepata näppäinpainalluksia.

Realistisemmassa skenaariossa mallin kouluttamiseen tarvittavat tiedot voitaisiin kerätä yhdistämällä syötetyt tekstiviestit videoneuvottelun tuloksena tallennetun sarjan ääneen. Syöttötunnistuksen tarkkuus opetettaessa mallia, joka perustuu Zoom- ja Skype-videoneuvottelun tuloanalyysiin, laskee hieman, vastaavasti 93 %:iin ja 91,7 %:iin.

Kokeessa koneoppimismallin opettamiseksi käyttämällä Zoom-konferenssin ääntä, kutakin näppäimistön 36 näppäintä (0-9, a-z) painettiin 25 kertaa peräkkäin eri sormilla ja eri voimalla.

Jokaisen painalluksen ääntä koskevat tiedot muutettiin kuvaksi spektrogrammi, joka heijastaa äänen taajuuden ja amplitudin muutosta ajan myötä

spektrogrammit siirretty koulutukseen CoAtNet-malliin perustuvaan luokittelijaan, jota käytetään kuvien luokitteluun keinotekoisissa näköjärjestelmissä. Toisin sanoen koulutuksen aikana kuvaa verrataan kunkin näppäimen painalluksen spektrogrammiin näppäimen nimellä. Äänen painamien näppäinten määrittämiseksi CoAtNet-malli palauttaa todennäköisimmän näppäimen lähetetyn spektrogrammin perusteella, samalla tavalla kuin palauttaa todennäköisimmän nimiön, kun objektit tunnistetaan niiden kuvan perusteella.

Jatkossa tutkijat aikovat tutkia mahdollisuutta luoda näppäimistösyöte uudelleen tallentamalla ääntä älykaiuttimista ja parantaakseen syöttötekstin määrityksen tarkkuutta käyttämällä kielimallia, joka luokittelee syötteen kokonaisten sanojen kontekstissa.

Vihdoin jos olet kiinnostunut tietämään siitä lisää, voit tarkistaa yksityiskohdat seuraava linkki.


Lisää ensisijaiseksi lähteeksi