Micron Technology (sebuah perusahaan yang mengkhususkan diri dalam produksi DRAM dan memori flash) mengumumkan pengenalan mesin baru yang disebut "HSE" (Heterogeneous-memory Storage Engine), yang dikembangkan dengan mempertimbangkan karakteristik khusus penggunaan pada unit SSD berbasis flash NAND (X100, TLC, QLC 3D NAND) atau memori baca saja (NVDIMM).
Mesin ini dirancang sebagai pustaka untuk disematkan dalam aplikasi lain dan mendukung pemrosesan data key-value . Kode HSE ditulis dalam bahasa C dan didistribusikan di bawah lisensi Apache 2.0.
Beberapa aplikasi dari mesin ini antara lain penyimpanan data tingkat rendah dalam DBMS NoSQL, penyimpanan yang ditentukan perangkat lunak (SDS) seperti Ceph dan Scality RING, platform untuk memproses data dalam jumlah besar (Big Data), sistem komputasi berkinerja tinggi (HPC), perangkat Internet of Things (IoT), dan solusi untuk sistem pembelajaran mesin.
HSE dioptimalkan tidak hanya untuk performa maksimal tetapi juga untuk memastikan daya tahan berbagai kelas SSD. Kecepatan tinggi dicapai melalui model penyimpanan hibrida: data yang paling relevan disimpan dalam cache, mengurangi jumlah akses disk.
Sebagai contoh pengintegrasian mesin baru ke dalam proyek pihak ketiga, versi berorientasi dokumen dari DBMS MongoDB disiapkan, yang diterjemahkan untuk menggunakan HSE.
Secara teknologi, HSE didasarkan pada modul inti tambahan, mpool , yang mengimplementasikan antarmuka khusus untuk menyimpan objek untuk solid-state drive (SSD), dengan mempertimbangkan kemampuan dan karakteristiknya, sehingga memungkinkan fitur kecepatan dan daya tahan yang secara fundamental berbeda. Mpool juga merupakan pengembangan open-source oleh Micron Technology, yang dirilis bersamaan dengan HSE, tetapi menonjol sebagai proyek infrastruktur yang terpisah. Mpool mengasumsikan penggunaan memori persisten dan penyimpanan zona, tetapi saat ini hanya SSD tradisional yang didukung.
Pengujian performa menggunakan paket YCSB (Yahoo Cloud Serving Benchmark) menunjukkan peningkatan performa yang signifikan saat menggunakan penyimpanan 2 TB dengan pemrosesan blok data 1 KB. Peningkatan performa yang sangat signifikan diamati pada pengujian dengan distribusi operasi baca dan tulis yang seragam.
Sebagai contoh, MongoDB dengan mesin HSE terbukti sekitar 8 kali lebih cepat daripada versi dengan mesin WiredTiger standar, dan mesin DBMS RocksDB mengungguli HSE lebih dari 6 kali lipat. Indikator kinerja yang sangat baik juga terlihat dalam pengujian, yang mencakup 95% operasi baca dan hanya 5% perubahan atau penambahan.
Tes lain yang dilakukan hanya melibatkan operasi baca, ini menunjukkan keuntungan sekitar 40%. Peningkatan daya tahan SSD selama operasi tulis dibandingkan dengan solusi berbasis RocksDB diperkirakan 7 kali lipat.
Fitur Utama HSE:
- Dukungan untuk operator standar dan lanjutan untuk memproses data dalam format kunci / nilai;
- Dukungan transaksi penuh dan dengan kemampuan untuk mengisolasi segmen penyimpanan dengan membuat snapshot (snapshot juga dapat digunakan untuk memelihara koleksi terpisah di toko).
- Kemampuan untuk menggunakan kursor untuk melintasi data dalam representasi berbasis snapshot.
- Model data yang dioptimalkan untuk jenis beban campuran dalam satu repositori.
- Mekanisme fleksibel untuk mengelola keandalan penyimpanan.
- Skema orkestrasi data yang dapat disesuaikan (distribusi melalui berbagai jenis memori yang ada di repositori).
- Perpustakaan dengan C API yang dapat ditautkan secara dinamis ke aplikasi apa pun.
Kemampuan untuk menskalakan hingga terabyte data dan ratusan miliar kunci dalam penyimpanan. - Pemrosesan yang efektif dari ribuan operasi paralel.
- Peningkatan signifikan dalam bandwidth, pengurangan latensi, dan peningkatan baca / tulis untuk berbagai jenis beban kerja dibandingkan dengan solusi umum.
- Kemampuan untuk menggunakan kelas SSD yang berbeda dalam penyimpanan yang sama untuk mengoptimalkan kinerja dan daya tahan.
Anda dapat mengakses kode mesin dari tautan berikut.