Deteksi penekanan tombol dengan suara dicapai dengan menempatkan perangkat pendengar di dekat target
Setiap kali saya cukup terkesan dengan metode yang ditemukan dan/atau dikembangkan baik untuk mendapatkan informasi maupun untuk mengakses bagian X, meretas perangkat X dan sampai sekarang yang masih membuat saya terpesona adalah yang didasarkan pada suara yang dihasilkan oleh kipas CPU untuk mendapatkan informasi, serta penggunaan untuk melihat menembus dinding, di antara banyak lainnya.
Itu sebabnya, secara pribadi, saya sangat suka membagikan berita semacam ini di sini di blog dan di kasus Hari ini saya akan membagikan berita tentang pengembangan dari sebuah metode bahwa ia menciptakan tim peneliti yang Ini didasarkan pada pendeteksian informasi yang dimasukkan pada keyboard 95% akurat saat menganalisis suara penekanan tombol yang direkam oleh smartphone terdekat atau ditangkap oleh mikrofon terdekat.
Akurasi deteksi input yang terbukti mengungguli semua metode analisis akustik karakter per simbol diketahui sebelumnya Mereka tidak menggunakan model bahasa. Metode yang diusulkan dapat digunakan, misalnya, untuk menentukan kata sandi yang dimasukkan atau pesan yang diketik, dalam situasi di mana penyerang meletakkan ponsel cerdasnya di sebelah korban atau menerima rekaman suara saat memasukkan informasi rahasia (misalnya, ketika korban mencatat selama komunikasi dengan kata sandi untuk beberapa sistem informasi).
Dengan perkembangan terkini dalam pembelajaran mendalam, keberadaan mikrofon di mana-mana, dan munculnya layanan online melalui perangkat pribadi, serangan saluran samping akustik menghadirkan ancaman yang lebih besar pada keyboard daripada sebelumnya.
Input dibuat ulang menggunakan pengklasifikasi berdasarkan model pembelajaran mesin yang mempertimbangkan karakteristik suara dan tingkat volume saat tombol yang berbeda ditekan.
Disebutkan itu untuk melakukan serangan, pelatihan awal model diperlukan, yang memerlukan pencocokan suara input dengan informasi tentang tombol yang ditekan. Dalam kondisi ideal, model dapat dilatih menggunakan malware yang dipasang di komputer yang diserang, sehingga memungkinkan untuk merekam suara dari mikrofon secara bersamaan dan mencegat penekanan tombol.
Dalam skenario yang lebih realistis, data yang diperlukan untuk melatih model dapat dikumpulkan dengan mencocokkan pesan teks masukan dengan audio dari rangkaian rekaman hasil konferensi video. Akurasi deteksi input saat melatih model berdasarkan analisis input konferensi video Zoom dan Skype sedikit menurun masing-masing menjadi 93% dan 91,7%.
Dalam percobaan untuk melatih model pembelajaran mesin menggunakan audio dari konferensi Zoom, masing-masing dari 36 tombol (0-9, a-z) pada keyboard ditekan 25 kali berturut-turut dengan jari yang berbeda dan dengan kekuatan yang berbeda.
Data tentang suara setiap pers diubah menjadi gambar dengan spektrogram yang mencerminkan perubahan frekuensi dan amplitudo suara dari waktu ke waktu
spektogram ditransfer untuk pelatihan ke pengklasifikasi berdasarkan model CoAtNet, digunakan untuk klasifikasi gambar dalam sistem penglihatan buatan. Yaitu, selama pelatihan gambar dibandingkan dengan spektogram dari setiap penekanan tombol dengan nama kuncinya. Untuk menentukan tombol yang ditekan oleh suara, model CoAtNet mengembalikan kunci yang paling mungkin berdasarkan spektogram yang ditransmisikan, mirip dengan mengembalikan label yang paling mungkin saat mengenali objek melalui gambarnya.
Di masa depan, para peneliti bermaksud untuk mengeksplorasi kemungkinan membuat ulang input keyboard dengan merekam suara dari speaker pintar dan, untuk meningkatkan akurasi penentuan teks input, menggunakan model bahasa yang mengklasifikasikan input dalam konteks kata utuh.
Akhirnya jika Anda tertarik untuk mengetahui lebih banyak tentangnya, Anda dapat memeriksa detailnya di link berikut.