บริษัท Micron Technology (บริษัทที่เชี่ยวชาญด้านการผลิต DRAM และหน่วยความจำแฟลช) ประกาศเปิดตัวเอนจินใหม่ชื่อ"HSE" (Heterogeneous-memory Storage Engine) ซึ่งได้รับการพัฒนาขึ้นโดยคำนึงถึงลักษณะเฉพาะของการใช้งานในหน่วย SSD ที่ใช้หน่วยความจำแฟลช NAND (X100, TLC, QLC 3D NAND) หรือหน่วยความจำแบบอ่านอย่างเดียว (NVDIMM)
เอนจินนี้ได้รับการออกแบบให้เป็นไลบรารีสำหรับฝังในแอปพลิเคชันอื่นๆ และรองรับการประมวลผลข้อมูลแบบคีย์-ค่าโค้ดของ HSE เขียนด้วยภาษา C และเผยแพร่ภายใต้ใบอนุญาต Apache 2.0
แอปพลิเคชันของเอนจินนี้รวมถึงการจัดเก็บข้อมูลระดับต่ำในระบบจัดการฐานข้อมูลแบบ NoSQL, ระบบจัดเก็บข้อมูลแบบกำหนดด้วยซอฟต์แวร์ (SDS) เช่น Ceph และ Scality RING, แพลตฟอร์มสำหรับการประมวลผลข้อมูลจำนวนมาก (Big Data), ระบบคอมพิวเตอร์ประสิทธิภาพสูง (HPC), อุปกรณ์ Internet of Things (IoT) และโซลูชันสำหรับระบบการเรียนรู้ของเครื่อง
HSE ได้รับการปรับแต่งไม่เพียงแต่เพื่อประสิทธิภาพสูงสุดเท่านั้นแต่ยังเพื่อให้มั่นใจถึงความทนทานของ SSD ประเภทต่างๆ ด้วย ความเร็วสูงเกิดขึ้นได้จากโมเดลการจัดเก็บข้อมูลแบบไฮบริด:ข้อมูลที่สำคัญที่สุดจะถูกจัดเก็บไว้ในแคช ซึ่งช่วยลดจำนวนการเข้าถึงดิสก์
ตัวอย่างของการรวมเอ็นจิ้นใหม่เข้ากับโปรเจ็กต์ของบุคคลที่สามได้มีการเตรียม MongoDB DBMS เวอร์ชันเชิงเอกสารซึ่งได้รับการแปลเพื่อใช้ HSE
ในเชิงเทคโนโลยี HSE ใช้โมดูลหลักเพิ่มเติมที่เรียกว่า mpoolซึ่งใช้ส่วนต่อประสานเฉพาะสำหรับการจัดเก็บข้อมูลสำหรับไดรฟ์โซลิดสเตต โดยคำนึงถึงความสามารถและลักษณะเฉพาะของไดรฟ์เหล่านั้น ทำให้ได้ความเร็วและความทนทานที่แตกต่างไปจากเดิมอย่างสิ้นเชิง mpool เป็นโครงการโอเพนซอร์สที่พัฒนาโดย Micron Technology ซึ่งเปิดตัวพร้อมกับ HSE แต่มีความโดดเด่นในฐานะโครงการโครงสร้างพื้นฐานที่แยกต่างหาก mpool รองรับการใช้งานหน่วยความจำถาวรและพื้นที่จัดเก็บข้อมูลแบบโซน แต่ปัจจุบันรองรับเฉพาะ SSD แบบดั้งเดิมเท่านั้น
การทดสอบประสิทธิภาพโดยใช้แพ็กเกจ YCSB (Yahoo Cloud Serving Benchmark) แสดงให้เห็นถึงประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญเมื่อใช้พื้นที่จัดเก็บข้อมูล 2 TB กับการประมวลผลบล็อกข้อมูลขนาด 1 KB โดยเฉพาะอย่างยิ่งในการทดสอบที่มีการกระจายการอ่านและการเขียนอย่างสม่ำเสมอ ประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญนั้นเห็นได้ชัดเจน
ตัวอย่างเช่นMongoDB ที่ใช้เอนจิน HSE พิสูจน์แล้วว่าเร็วกว่าเวอร์ชันที่ใช้เอนจิน WiredTiger มาตรฐานประมาณ 8 เท่า และเอนจิน RocksDB DBMS มีประสิทธิภาพเหนือกว่า HSE มากกว่า 6 เท่า ตัวชี้วัดประสิทธิภาพที่ยอดเยี่ยมยังเห็นได้ชัดเจนในการทดสอบ ซึ่งประกอบด้วยการอ่านข้อมูล 95% และการเปลี่ยนแปลงหรือเพิ่มเติมข้อมูลเพียง 5%
การทดสอบอื่นที่ดำเนินการเกี่ยวข้องกับการอ่านเท่านั้นซึ่งแสดงผลกำไรประมาณ 40% การเพิ่มขึ้นของความสามารถในการอยู่รอดของ SSD ในระหว่างการเขียนเมื่อเทียบกับโซลูชันที่ใช้ RocksDB นั้นอยู่ที่ประมาณ 7 เท่า
คุณสมบัติที่สำคัญของ HSE:
- รองรับตัวดำเนินการมาตรฐานและขั้นสูง เพื่อประมวลผลข้อมูลในรูปแบบคีย์ / ค่า
- รองรับธุรกรรมเต็มรูปแบบและด้วยความสามารถในการแยกเซ็กเมนต์หน่วยเก็บข้อมูลโดยการสร้างสแนปชอต (ยังสามารถใช้สแน็ปช็อตเพื่อรักษาคอลเลกชันแยกต่างหากในร้านค้าได้)
- ความสามารถในการใช้เคอร์เซอร์เพื่อสำรวจข้อมูลในการแสดงตามสแน็ปช็อต
- แบบจำลองข้อมูลที่ปรับให้เหมาะสมสำหรับประเภทโหลดแบบผสมในที่เก็บเดียว
- กลไกที่ยืดหยุ่น เพื่อจัดการความน่าเชื่อถือในการจัดเก็บ
- โครงร่างการจัดเตรียมข้อมูลที่ปรับแต่งได้ (การแจกจ่ายผ่านหน่วยความจำประเภทต่างๆที่มีอยู่ในที่เก็บข้อมูล)
- ไลบรารีที่มี C API ซึ่งสามารถเชื่อมโยงแบบไดนามิกกับแอปพลิเคชันใดก็ได้
ความสามารถในการปรับขนาดข้อมูลเป็นเทราไบต์และคีย์หลายแสนล้านคีย์ในพื้นที่จัดเก็บ - การประมวลผลการดำเนินการแบบขนานนับพันอย่างมีประสิทธิภาพ
- แบนด์วิดท์เพิ่มขึ้นอย่างมีนัยสำคัญเวลาในการตอบสนองลดลงและการอ่าน / เขียนที่สูงขึ้นสำหรับปริมาณงานประเภทต่างๆเมื่อเทียบกับวิธีแก้ปัญหาทั่วไป
- ความสามารถในการใช้ SSD ประเภทต่างๆในที่เก็บข้อมูลเดียวกันเพื่อเพิ่มประสิทธิภาพและความทนทาน
คุณสามารถเข้าถึงโค้ดของเครื่องยนต์ได้จากลิงก์ต่อไปนี้