HSE, enjin penyimpanan sumber terbuka, SSE dioptimumkan untuk SSD

Micron Technology (sebuah syarikat yang pakar dalam pengeluaran DRAM dan memori kilat) mengumumkan pengenalan enjin baharu yang dipanggil "HSE" (Heterogenous-memory Storage Engine), yang dibangunkan dengan mengambil kira ciri-ciri khusus penggunaan dalam unit SSD berdasarkan NAND flash (X100, TLC, QLC 3D NAND) atau memori baca sahaja (NVDIMM).

Enjin ini direka bentuk sebagai pustaka untuk pembenaman dalam aplikasi lain dan menyokong pemprosesan data nilai utama . Kod HSE ditulis dalam C dan diedarkan di bawah lesen Apache 2.0.

Antara aplikasi enjin ini ialah storan data peringkat rendah dalam DBMS NoSQL, storan tertakrif perisian (SDS) seperti Ceph dan Scality RING, platform untuk memproses sejumlah besar data (Big Data), sistem pengkomputeran berprestasi tinggi (HPC), peranti Internet of Things (IoT) dan penyelesaian untuk sistem pembelajaran mesin.

HSE dioptimumkan bukan sahaja untuk prestasi maksimum tetapi juga untuk memastikan ketahanan pelbagai kelas SSD. Kelajuan tinggi dicapai melalui model storan hibrid: data yang paling relevan disimpan dalam cache, sekali gus mengurangkan bilangan akses cakera.

Sebagai contoh mengintegrasikan enjin baru ke dalam projek pihak ketiga, versi berorientasikan dokumen dari DBMS MongoDB disiapkan, yang diterjemahkan untuk menggunakan HSE.

Dari segi teknologi, HSE adalah berdasarkan modul teras tambahan, mpool , yang melaksanakan antara muka khusus untuk menyimpan objek untuk pemacu keadaan pepejal, dengan mengambil kira keupayaan dan ciri-cirinya, sekali gus membolehkan ciri kelajuan dan ketahanan yang berbeza secara asas. Mpool juga merupakan pembangunan sumber terbuka oleh Micron Technology, yang dikeluarkan serentak dengan HSE, tetapi ia menonjol sebagai projek infrastruktur yang berasingan. Mpool mengandaikan penggunaan memori berterusan dan storan zon, tetapi pada masa ini hanya SSD tradisional yang disokong.

Ujian prestasi menggunakan pakej YCSB (Yahoo Cloud Serving Benchmark) menunjukkan peningkatan prestasi yang ketara apabila menggunakan storan 2 TB dengan pemprosesan blok data 1 KB. Peningkatan prestasi yang ketara diperhatikan dalam ujian dengan taburan operasi baca dan tulis yang seragam.

Contohnya, MongoDB dengan enjin HSE terbukti lebih kurang 8 kali lebih pantas daripada versi dengan enjin WiredTiger standard, dan enjin DBMS RocksDB mengatasi HSE lebih daripada 6 kali ganda. Petunjuk prestasi yang cemerlang juga jelas dalam ujian, yang menampilkan 95% operasi baca dan hanya 5% perubahan atau penambahan.

Ujian lain yang dilakukan hanya melibatkan operasi membaca, ia menunjukkan keuntungan sekitar 40%. Peningkatan daya tahan SSD semasa operasi menulis berbanding penyelesaian berasaskan RocksDB dianggarkan sebanyak 7 kali.

Ciri-ciri Utama HSE:

  • Sokongan untuk pengendali standard dan maju untuk memproses data dalam format kunci / nilai;
  • Sokongan transaksi penuh dan dengan kemampuan untuk mengasingkan segmen penyimpanan dengan membuat gambar (gambar juga dapat digunakan untuk memelihara koleksi yang terpisah di sebuah kedai).
  • Keupayaan untuk menggunakan kursor untuk melintasi data dalam perwakilan berdasarkan gambar.
  • Model data yang dioptimumkan untuk jenis beban campuran dalam satu repositori.
  • Mekanisme fleksibel untuk menguruskan kebolehpercayaan penyimpanan.
  • Skema orkestrasi data yang dapat disesuaikan (pengedaran melalui pelbagai jenis memori yang terdapat di repositori).
  • Perpustakaan dengan C API yang boleh dihubungkan secara dinamik dengan sebarang aplikasi.
    Keupayaan untuk skala hingga terabyte data dan beratus-ratus bilion kunci dalam simpanan.
  • Pemprosesan beribu-ribu operasi selari yang berkesan.
  • Peningkatan lebar jalur yang ketara, pengurangan latensi, dan peningkatan membaca / menulis untuk pelbagai jenis beban kerja berbanding dengan penyelesaian biasa.
  • Keupayaan untuk menggunakan pelbagai kelas SSD dalam storan yang sama untuk mengoptimumkan prestasi dan ketahanan.

Anda boleh mengakses kod enjin daripada pautan berikut.


Tambahkan sebagai sumber pilihan dalam Google