Teknologi mikron (syarikat yang mengkhususkan diri dalam pengeluaran DRAM dan memori flash) melancarkan pengenalan mengenai enjin baru dipanggil "HSE" (Mesin Penyimpanan Heterogen-memori), yang dikembangkan dengan mempertimbangkan penggunaan tertentu pada pemacu SSD berasaskan NAND flash (X100, TLC, QLC 3D NAND) atau memori hanya baca (NVDIMM).
Mesin dibuat dalam bentuk perpustakaan untuk memasukkan aplikasi lain dan menyokong pemprosesan data dalam format nilai-kuncir. Kod HSE ditulis dalam C dan diedarkan di bawah lesen Apache 2.0.
Antara aplikasi enjin, aplikasi untuk penyimpanan data tahap rendah disebutkan dalam NoSQL DBMS, gudang perisian (SDS, penyimpanan yang ditentukan perisian) seperti Ceph dan Scality RING, platform untuk memproses sejumlah besar data (Big Data), sistem pengkomputeran berprestasi tinggi (HPC), peranti Internet of things (IoT) dan penyelesaian untuk sistem pembelajaran mesin.
HSE dioptimumkan bukan hanya untuk prestasi maksimum, tetapi juga untuk memastikan ketahanan pelbagai jenis pemacu SSD. Kelajuan tinggi dicapaimelalui model storan hibrid: data yang paling relevan disimpan dalam cache, mengurangkan bilangan akses cakera.
Sebagai contoh mengintegrasikan enjin baru ke dalam projek pihak ketiga, versi berorientasikan dokumen dari DBMS MongoDB disiapkan, yang diterjemahkan untuk menggunakan HSE.
Dari segi teknologi, HSE didasarkan pada modul kernel tambahan mpool, yang mengimplementasikan antara muka khusus untuk menyimpan objek untuk pemacu keadaan pepejal, dengan mengambil kira kemampuan dan ciri-cirinya, yang membolehkan ciri kelajuan dan ketahanan yang berbeza secara asasnya. Mpool juga merupakan pengembangan Teknologi Micron yang terbuka bersamaan dengan HSE, tetapi menonjol sebagai projek infrastruktur yang terpisah. Mpool menganggap penggunaan memori berterusan dan penyimpanan zon, tetapi pada masa ini hanya SSD tradisional yang disokong.
Ujian prestasi dengan pakej YCSB (Yahoo Cloud Serving Benchmark) menunjukkan peningkatan prestasi yang ketara ketika menggunakan penyimpanan 2TB dengan pemprosesan blok data 1KB. Peningkatan prestasi yang sangat ketara diperhatikan dalam ujian dengan pemerataan operasi membaca dan menulis.
Contohnya MongoDB dengan enjin HSE ternyata lebih cepat 8 kali ganda daripada versi dengan enjin WiredTiger standard, dan enjin RocksDB DBMS mengungguli HSE lebih daripada 6 kali. Petunjuk yang sangat baik juga dapat dilihat dalam ujian, yang menunjukkan 95% operasi baca dan 5% perubahan atau penambahan.
Ujian lain yang dilakukan hanya melibatkan operasi membaca, ia menunjukkan keuntungan sekitar 40%. Peningkatan daya tahan SSD semasa operasi menulis berbanding penyelesaian berasaskan RocksDB dianggarkan sebanyak 7 kali.
Ciri-ciri Utama HSE:
- Sokongan untuk pengendali standard dan maju untuk memproses data dalam format kunci / nilai;
- Sokongan transaksi penuh dan dengan kemampuan untuk mengasingkan segmen penyimpanan dengan membuat gambar (gambar juga dapat digunakan untuk memelihara koleksi yang terpisah di sebuah kedai).
- Keupayaan untuk menggunakan kursor untuk melintasi data dalam perwakilan berdasarkan gambar.
- Model data yang dioptimumkan untuk jenis beban campuran dalam satu repositori.
- Mekanisme fleksibel untuk menguruskan kebolehpercayaan penyimpanan.
- Skema orkestrasi data yang dapat disesuaikan (pengedaran melalui pelbagai jenis memori yang terdapat di repositori).
- Perpustakaan dengan C API yang boleh dihubungkan secara dinamik dengan sebarang aplikasi.
Keupayaan untuk skala hingga terabyte data dan beratus-ratus bilion kunci dalam simpanan. - Pemprosesan beribu-ribu operasi selari yang berkesan.
- Peningkatan lebar jalur yang ketara, pengurangan latensi, dan peningkatan membaca / menulis untuk pelbagai jenis beban kerja berbanding dengan penyelesaian biasa.
- Keupayaan untuk menggunakan pelbagai kelas SSD dalam storan yang sama untuk mengoptimumkan prestasi dan ketahanan.
Anda boleh mengakses kod enjin dari pautan di bawah.