Pengesanan ketukan kekunci melalui bunyi dicapai dengan meletakkan peranti mendengar dekat dengan sasaran
Setiap kali saya agak kagum dengan kaedah yang ditemui dan/atau dibangunkan kedua-duanya untuk mendapatkan maklumat dan untuk mengakses bahagian X, menggodam peranti X dan sehingga kini yang masih menarik perhatian saya adalah yang berdasarkan bunyi yang dijana oleh kipas CPU untuk mendapatkan maklumat, serta penggunaan untuk melihat melalui dinding, antara lain.
Itulah sebabnya, secara peribadi, saya sangat suka berkongsi berita jenis ini di sini di blog dan dalam kes Hari ini saya akan berkongsi berita tentang pembangunan bagi suatu kaedah bahawa dia mencipta pasukan penyelidik yang Ia berdasarkan pengesanan maklumat yang dimasukkan pada papan kekunci 95% tepat apabila menganalisis bunyi ketukan kekunci yang dirakam oleh telefon pintar berdekatan atau diambil oleh mikrofon berdekatan.
Ketepatan pengesanan input yang terbukti mengatasi semua kaedah analisis akustik aksara setiap simbol diketahui sebelum ini Mereka tidak menggunakan model bahasa. Kaedah yang dicadangkan boleh digunakan, sebagai contoh, untuk menentukan kata laluan yang dimasukkan atau mesej yang ditaip, dalam situasi di mana penyerang meletakkan telefon pintarnya di sebelah mangsa atau menerima rakaman bunyi semasa memasukkan maklumat sulit (contohnya, semasa komunikasi mangsa log masuk dengan kata laluan untuk beberapa sistem maklumat).
Dengan perkembangan terkini dalam pembelajaran mendalam, kewujudan mikrofon di mana-mana, dan peningkatan perkhidmatan dalam talian melalui peranti peribadi, serangan saluran sisi akustik memberikan ancaman yang lebih besar kepada papan kekunci berbanding sebelum ini.
Input dicipta semula menggunakan pengelas berdasarkan model pembelajaran mesin yang mengambil kira ciri bunyi dan tahap kelantangan apabila kekunci berbeza ditekan.
Disebutkan bahawa untuk melakukan serangan, latihan awal model diperlukan, yang memerlukan pemadanan bunyi input dengan maklumat tentang kekunci yang ditekan. Di bawah keadaan yang ideal, model boleh dilatih menggunakan perisian hasad yang dipasang pada komputer yang diserang, membolehkan untuk merakam bunyi secara serentak dari mikrofon dan memintas ketukan kekunci.
Dalam senario yang lebih realistik, data yang diperlukan untuk melatih model boleh dikumpul dengan memadankan mesej teks input dengan audio daripada set yang dirakam hasil daripada persidangan video. Ketepatan pengesanan input apabila melatih model berdasarkan analisis input persidangan video Zoom dan Skype berkurangan sedikit kepada 93% dan 91,7%.
Dalam percubaan untuk melatih model pembelajaran mesin menggunakan audio daripada persidangan Zum, setiap satu daripada 36 kekunci (0-9, a-z) pada papan kekunci ditekan 25 kali berturut-turut dengan jari yang berbeza dan dengan daya yang berbeza.
Data tentang bunyi setiap akhbar telah diubah menjadi imej dengan spektrogram yang mencerminkan perubahan frekuensi dan amplitud bunyi dari semasa ke semasa
spektrogram dipindahkan untuk latihan kepada pengelas berdasarkan model CoAtNet, digunakan untuk pengelasan imej dalam sistem penglihatan buatan. Iaitu, semasa latihan imej dibandingkan dengan spektrogram setiap ketukan kekunci dengan nama kekunci. Untuk menentukan kekunci yang ditekan oleh bunyi, model CoAtNet mengembalikan kekunci yang paling mungkin berdasarkan spektrogram yang dihantar, sama seperti mengembalikan label yang paling berkemungkinan apabila mengecam objek melalui imejnya.
Pada masa hadapan, penyelidik berhasrat untuk meneroka kemungkinan mencipta semula input papan kekunci dengan merakam bunyi daripada pembesar suara pintar dan, untuk meningkatkan ketepatan menentukan teks input, menggunakan model bahasa yang mengklasifikasikan input dalam konteks keseluruhan perkataan.
Akhirnya sekiranya anda berminat untuk mengetahui lebih lanjut mengenainya, anda boleh menyemak butiran di pautan berikut.