การตรวจจับการกดแป้นด้วยเสียงทำได้โดยการวางอุปกรณ์ฟังไว้ใกล้กับเป้าหมาย
ทุกครั้งฉันรู้สึกประทับใจมากกับวิธีการที่ค้นพบและ/หรือพัฒนาทั้งเพื่อรับข้อมูลและเข้าถึงส่วน X, แฮ็ก X อุปกรณ์ และจนถึงตอนนี้วิธีที่ยังคงทำให้ฉันทึ่งมากคือวิธีที่อิงจาก เสียงที่สร้างโดยพัดลม CPU เพื่อรับข้อมูล เช่นเดียวกับการใช้การมองทะลุกำแพง และอื่น ๆ อีกมากมาย
นั่นคือเหตุผลที่โดยส่วนตัวแล้วฉันชอบแบ่งปันข่าวประเภทนี้ที่นี่บนบล็อกและในกรณีของ วันนี้จะมาแจ้งข่าวเกี่ยวกับ การพัฒนาของ วิธีการ ที่เขาสร้างทีมนักวิจัยที่ ขึ้นอยู่กับการตรวจจับข้อมูลที่ป้อนบนแป้นพิมพ์ แม่นยำ 95% เมื่อวิเคราะห์เสียงการกดแป้นพิมพ์ที่บันทึกโดยสมาร์ทโฟนในบริเวณใกล้เคียงหรือรับเสียงจากไมโครโฟนในบริเวณใกล้เคียง
พิสูจน์ความแม่นยำในการตรวจจับอินพุต มีประสิทธิภาพดีกว่าวิธีวิเคราะห์อะคูสติกทั้งหมด ตัวอักษรต่อสัญลักษณ์ รู้จักกันมาก่อน พวกเขาไม่ได้ใช้รูปแบบภาษา วิธีที่เสนอสามารถใช้เพื่อกำหนดรหัสผ่านหรือข้อความที่พิมพ์ในสถานการณ์ที่ผู้โจมตีวางสมาร์ทโฟนไว้ข้างเหยื่อหรือได้รับการบันทึกเสียงขณะป้อนข้อมูลที่เป็นความลับ (ตัวอย่างเช่น เมื่อเหยื่อบันทึกระหว่างการสื่อสาร ด้วยรหัสผ่านสำหรับระบบสารสนเทศบางระบบ)
ด้วยการพัฒนาล่าสุดในการเรียนรู้เชิงลึก การแพร่หลายของไมโครโฟน และการเพิ่มขึ้นของบริการออนไลน์ผ่านอุปกรณ์ส่วนตัว การโจมตีด้วยช่องทางด้านข้างแบบอะคูสติกทำให้เกิดภัยคุกคามต่อคีย์บอร์ดมากกว่าที่เคยเป็นมา
อินพุตถูกสร้างขึ้นใหม่โดยใช้ตัวแยกประเภทตามโมเดลแมชชีนเลิร์นนิงที่คำนึงถึงลักษณะเสียงและระดับเสียงเมื่อกดคีย์ต่างๆ
เป็นที่กล่าวขวัญกันว่า ในการดำเนินการโจมตีจำเป็นต้องมีการฝึกอบรมแบบจำลองเบื้องต้นซึ่งต้องจับคู่เสียงอินพุตกับข้อมูลเกี่ยวกับปุ่มที่กำลังกด ภายใต้เงื่อนไขที่เหมาะสม แบบจำลองสามารถฝึกฝนโดยใช้มัลแวร์ที่ติดตั้งบนคอมพิวเตอร์ที่ถูกโจมตี ทำให้สามารถบันทึกเสียงจากไมโครโฟนและสกัดกั้นการกดแป้นพร้อมกันได้
ในสถานการณ์จริงมากขึ้น ข้อมูลที่จำเป็นในการฝึกโมเดลสามารถรวบรวมได้โดยจับคู่ข้อความอินพุตกับเสียงจากชุดที่บันทึกเป็นผลลัพธ์ของการประชุมทางวิดีโอ ความแม่นยำในการตรวจจับอินพุตเมื่อฝึกโมเดลตามการวิเคราะห์อินพุตการประชุมทางวิดีโอผ่าน Zoom และ Skype ลดลงเล็กน้อยเหลือ 93% และ 91,7% ตามลำดับ
ในการทดลองเพื่อฝึกโมเดลแมชชีนเลิร์นนิงโดยใช้เสียงจาก Zoom conference แป้นทั้ง 36 แป้น (0-9, a-z) บนแป้นพิมพ์ถูกกด 25 ครั้งติดต่อกันด้วยนิ้วที่แตกต่างกันและออกแรงต่างกัน
ข้อมูลเกี่ยวกับเสียงของการกดแต่ละครั้งจะถูกแปลงเป็นภาพ ด้วยสเปกตรัมที่สะท้อนการเปลี่ยนแปลงของความถี่และแอมพลิจูดของเสียงเมื่อเวลาผ่านไป
สเปกตรัม โอนย้ายเพื่อฝึกอบรมไปยังตัวแยกประเภทตามโมเดล CoAtNetใช้สำหรับจำแนกภาพในระบบการมองเห็นเทียม นั่นคือระหว่างการฝึก ภาพจะถูกเปรียบเทียบกับสเปกตรัมของการกดแป้นแต่ละครั้งพร้อมชื่อของแป้น ในการระบุคีย์ที่กดด้วยเสียง แบบจำลอง CoAtNet จะส่งคืนคีย์ที่เป็นไปได้มากที่สุดตามสเปกตรัมที่ส่ง ซึ่งคล้ายกับการส่งคืนป้ายกำกับที่เป็นไปได้มากที่สุดเมื่อจดจำวัตถุด้วยภาพ
ในอนาคต นักวิจัยตั้งใจที่จะสำรวจความเป็นไปได้ในการสร้างการป้อนข้อมูลด้วยแป้นพิมพ์ใหม่โดยการบันทึกเสียงจากลำโพงอัจฉริยะ และเพื่อปรับปรุงความแม่นยำในการกำหนดข้อความที่ป้อน ให้ใช้รูปแบบภาษาที่จัดประเภทการป้อนข้อมูลในบริบทของคำทั้งหมด
ในที่สุด หากคุณสนใจที่จะทราบข้อมูลเพิ่มเติมคุณสามารถตรวจสอบรายละเอียดได้ในไฟล์ ลิงค์ต่อไปนี้