يتم الكشف عن ضغطات المفاتيح بالصوت عن طريق وضع جهاز استماع بالقرب من الهدف
في كل مرة أتأثر فيها تمامًا بالطرق التي تم اكتشافها و / أو تطويرها للحصول على المعلومات والوصول إلى قسم X ، اخترق جهاز X وحتى الآن تلك التي لا تزال تثير إعجابي كثيرًا هي تلك التي تستند إلى الأصوات التي تم إنشاؤها بواسطة مروحة وحدة المعالجة المركزية للحصول على المعلومات ، بالإضافة إلى استخدام الرؤية من خلال الجدران ، من بين أشياء أخرى كثيرة.
لهذا السبب ، شخصيًا ، أحب حقًا مشاركة هذا النوع من الأخبار هنا على المدونة وفي حالة اليوم سوف أشارك الأخبار حول التطور ل طريقة التي أوجدت فريقًا من الباحثين يعتمد على اكتشاف المعلومات التي يتم إدخالها على لوحة المفاتيح دقيقة بنسبة 95٪ عند تحليل صوت ضغطات المفاتيح التي تم تسجيلها بواسطة هاتف ذكي قريب أو تم التقاطها بواسطة ميكروفون قريب.
دقة الكشف عن المدخلات المؤكدة يتفوق على جميع طرق التحليل الصوتي حرف لكل رمز معروف سابقا لا يستخدمون نموذج لغوي. يمكن استخدام الطريقة المقترحة ، على سبيل المثال ، لتحديد كلمات المرور التي تم إدخالها أو الرسائل المكتوبة ، في حالة وضع المهاجم هاتفه الذكي بجوار الضحية أو تلقى تسجيلًا صوتيًا أثناء إدخال معلومات سرية (على سبيل المثال ، أثناء الاتصال ، يسجل الضحية بكلمة مرور لبعض أنظمة المعلومات).
مع التطورات الأخيرة في التعلم العميق ، وانتشار الميكروفونات في كل مكان ، وظهور الخدمات عبر الإنترنت عبر الأجهزة الشخصية ، تشكل هجمات القنوات الجانبية الصوتية تهديدًا أكبر للوحات المفاتيح أكثر من أي وقت مضى.
يتم إعادة إنشاء الإدخال باستخدام مصنف يعتمد على نموذج التعلم الآلي الذي يأخذ في الاعتبار خصائص الصوت ومستوى الصوت عند الضغط على مفاتيح مختلفة.
يذكر أن لتنفيذ هجوم ، مطلوب تدريب أولي للنموذج، الأمر الذي يتطلب مطابقة صوت الإدخال مع معلومات حول المفاتيح التي يتم الضغط عليها. في ظل الظروف المثالية ، يمكن تدريب النموذج باستخدام البرامج الضارة المثبتة على الكمبيوتر المهاجم ، مما يجعل من الممكن تسجيل الصوت في نفس الوقت من الميكروفون واعتراض ضغطات المفاتيح.
في سيناريو أكثر واقعية ، يمكن جمع البيانات اللازمة لتدريب النموذج عن طريق مطابقة الرسائل النصية المدخلة مع الصوت من مجموعة مسجلة كنتيجة لمؤتمر فيديو. تنخفض دقة الكشف عن المدخلات عند تدريب نموذج يعتمد على Zoom و Skype لتحليل مدخلات مؤتمرات الفيديو بشكل طفيف إلى 93٪ و 91,7٪ على التوالي.
في تجربة لتدريب نموذج التعلم الآلي باستخدام الصوت من مؤتمر Zoom ، تم الضغط على كل مفتاح من المفاتيح الـ 36 (0-9 ، a-z) على لوحة المفاتيح 25 مرة على التوالي بأصابع مختلفة وبقوة مختلفة.
تم تحويل البيانات المتعلقة بصوت كل ضغطة إلى صورة مع مخطط طيفي يعكس التغير في تردد وسعة الصوت بمرور الوقت
الطيف تم نقلها للتدريب إلى مصنف بناءً على نموذج CoAtNet، تستخدم لتصنيف الصور في أنظمة الرؤية الاصطناعية. أي أثناء التدريب ، تتم مقارنة الصورة بالمخطط الطيفي لكل ضغطة مفتاح باسم المفتاح. لتحديد المفاتيح التي يتم الضغط عليها بواسطة الصوت ، يقوم نموذج CoAtNet بإرجاع المفتاح الأكثر احتمالاً بناءً على المخطط الطيفي المرسل ، على غرار إرجاع التسمية الأكثر احتمالاً عند التعرف على الكائنات من صورتها.
في المستقبل ، يعتزم الباحثون استكشاف إمكانية إعادة إنشاء مدخلات لوحة المفاتيح عن طريق تسجيل الصوت من مكبرات الصوت الذكية ، ولتحسين دقة تحديد نص الإدخال ، استخدم نموذج اللغة الذي يصنف المدخلات.في سياق الكلمات بأكملها.
أخيرا إذا كنت مهتمًا بمعرفة المزيد عنها، يمكنك التحقق من التفاصيل في الرابط التالي.