พวกเขาพัฒนาวิธีการกำหนดเสียงกดแป้นพิมพ์ 

ทุกครั้งฉันรู้สึกประทับใจมากกับวิธีการที่ค้นพบและ/หรือพัฒนาทั้งเพื่อรับข้อมูลและเข้าถึงส่วน X, แฮ็ก X อุปกรณ์ และจนถึงตอนนี้วิธีที่ยังคงทำให้ฉันทึ่งมากคือวิธีที่อิงจาก เสียงที่สร้างโดยพัดลม CPU เพื่อรับข้อมูล เช่นเดียวกับการใช้การมองทะลุกำแพง และอื่น ๆ อีกมากมาย

นั่นเป็นเหตุผลที่ผมชอบแบ่งปันข่าวประเภทนี้ในบล็อก และวันนี้ผมจะมาแบ่งปันข่าวเกี่ยวกับการพัฒนาวิธีการที่คิดค้นโดยทีมวิจัย ซึ่งใช้การตรวจจับข้อมูลที่ป้อนบนแป้นพิมพ์ด้วยความแม่นยำ 95% โดยการวิเคราะห์เสียงการกดแป้นพิมพ์ที่บันทึกด้วยสมาร์ทโฟนที่อยู่ใกล้เคียงหรือรับได้จากไมโครโฟนที่อยู่ใกล้เคียง

ความแม่นยำในการตรวจจับข้อมูลที่แสดงให้เห็นนั้น เหนือกว่า วิธีการวิเคราะห์อักขระต่อสัญลักษณ์ ด้วยเสียงทั้งหมด ที่เคยมีมาก่อนหน้านี้ซึ่งไม่ได้ใช้แบบจำลองภาษา วิธีการที่เสนอสามารถนำไปใช้ได้ เช่น เพื่อตรวจสอบรหัสผ่านที่ป้อนหรือข้อความที่พิมพ์ในสถานการณ์ที่ผู้โจมตีวางสมาร์ทโฟนไว้ข้างเหยื่อ หรือได้รับการบันทึกเสียงในขณะที่เหยื่อกำลังป้อนข้อมูลที่เป็นความลับ (เช่น เมื่อเหยื่อเข้าสู่ระบบข้อมูลด้วยรหัสผ่านระหว่างการสื่อสาร)

ด้วยการพัฒนาล่าสุดในการเรียนรู้เชิงลึก การแพร่หลายของไมโครโฟน และการเพิ่มขึ้นของบริการออนไลน์ผ่านอุปกรณ์ส่วนตัว การโจมตีด้วยช่องทางด้านข้างแบบอะคูสติกทำให้เกิดภัยคุกคามต่อคีย์บอร์ดมากกว่าที่เคยเป็นมา

อินพุตถูกสร้างขึ้นใหม่โดยใช้ตัวแยกประเภทตามโมเดลแมชชีนเลิร์นนิงที่คำนึงถึงลักษณะเสียงและระดับเสียงเมื่อกดคีย์ต่างๆ

มีการกล่าวถึงว่าการโจมตีต้องอาศัยการฝึกฝนโมเดลเบื้องต้นซึ่งเกี่ยวข้องกับการจับคู่เสียงที่ป้อนเข้ามากับข้อมูลเกี่ยวกับการกดแป้นพิมพ์ ในอุดมคติแล้ว สามารถฝึกฝนโมเดลได้โดยใช้มัลแวร์ที่ติดตั้งอยู่ในคอมพิวเตอร์เป้าหมาย ซึ่งจะช่วยให้สามารถบันทึกเสียงจากไมโครโฟนและดักจับการกดแป้นพิมพ์ได้พร้อมกัน

ในสถานการณ์จริงมากขึ้น ข้อมูลที่จำเป็นในการฝึกโมเดลสามารถรวบรวมได้โดยจับคู่ข้อความอินพุตกับเสียงจากชุดที่บันทึกเป็นผลลัพธ์ของการประชุมทางวิดีโอ ความแม่นยำในการตรวจจับอินพุตเมื่อฝึกโมเดลตามการวิเคราะห์อินพุตการประชุมทางวิดีโอผ่าน Zoom และ Skype ลดลงเล็กน้อยเหลือ 93% และ 91,7% ตามลำดับ

ในการทดลองเพื่อฝึกโมเดลแมชชีนเลิร์นนิงโดยใช้เสียงจาก Zoom conference แป้นทั้ง 36 แป้น (0-9, a-z) บนแป้นพิมพ์ถูกกด 25 ครั้งติดต่อกันด้วยนิ้วที่แตกต่างกันและออกแรงต่างกัน

ข้อมูลเสียงของแต่ละพัลส์ถูกแปลงเป็นภาพด้วยสเปกโทรแกรม ซึ่งสะท้อนถึงการเปลี่ยนแปลงของความถี่และแอมพลิจูดของเสียงเมื่อเวลาผ่านไป

สเปกโทรแกรมถูกส่งต่อไปยังตัวจำแนกประเภทที่ใช้โมเดล CoAtNetซึ่งใช้สำหรับการจำแนกภาพในระบบวิชั่นเชิงเครื่องจักร กล่าวคือ ในระหว่างการฝึกฝน ภาพจะถูกเปรียบเทียบกับสเปกโทรแกรมของการกดแป้นพิมพ์แต่ละครั้งกับชื่อแป้นพิมพ์ที่ตรงกัน เพื่อระบุว่าเสียงนั้นกดแป้นพิมพ์ใดบ้าง โมเดล CoAtNet จะส่งคืนแป้นพิมพ์ที่มีความเป็นไปได้มากที่สุดโดยอิงจากสเปกโทรแกรมที่ส่งมา คล้ายกับการส่งคืนป้ายกำกับที่มีความเป็นไปได้มากที่สุดเมื่อจดจำวัตถุจากภาพ

ในอนาคต นักวิจัยตั้งใจที่จะสำรวจความเป็นไปได้ในการสร้างการป้อนข้อมูลด้วยแป้นพิมพ์ใหม่โดยการบันทึกเสียงจากลำโพงอัจฉริยะ และเพื่อปรับปรุงความแม่นยำในการกำหนดข้อความที่ป้อน ให้ใช้รูปแบบภาษาที่จัดประเภทการป้อนข้อมูลในบริบทของคำทั้งหมด

สุดท้ายนี้หากคุณสนใจเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้คุณสามารถดูรายละเอียดได้ที่ลิงก์ต่อไปนี้