Micron Technology (DRAM-i ja välkmälu tootmisele spetsialiseerunud ettevõte) teatas uue mootori nimega "HSE" (Heterogeneous-memory Storage Engine) turuletoomisest , mis töötati välja, võttes arvesse NAND-välkmälul (X100, TLC, QLC 3D NAND) või kirjutuskaitstud mälul (NVDIMM) põhinevate SSD-seadmete kasutamise eripärasid .
Mootor on loodud teekina , mida saab manustada teistesse rakendustesse, ja see toetab võtme-väärtuse andmetöötlust . HSE kood on kirjutatud C-keeles ja levitatakse Apache 2.0 litsentsi alusel.
Mootori rakenduste hulka kuuluvad madala taseme andmesalvestus NoSQL-i andmebaasisüsteemides, tarkvarapõhine salvestus (SDS) nagu Ceph ja Scality RING, platvormid suurte andmemahtude (Big Data) töötlemiseks, kõrgjõudlusega andmetöötlussüsteemid (HPC), asjade interneti (IoT) seadmed ja masinõppesüsteemide lahendused.
HSE on optimeeritud mitte ainult maksimaalse jõudluse saavutamiseks , vaid ka erinevate SSD-klasside vastupidavuse tagamiseks. Suur kiirus saavutatakse hübriidsalvestusmudeli abil: kõige olulisemad andmed salvestatakse vahemällu, vähendades kettale juurdepääsude arvu.
Näitena uue mootori integreerimisest kolmandate osapoolte projektidesse valmistati ette MongoDB DBMS-i dokumendile orienteeritud versioon, mis tõlgiti HSE kasutamiseks.
Tehnoloogiliselt põhineb HSE täiendaval põhimoodulil mpool , mis rakendab spetsiaalset liidest tahkis-ketaste objektide salvestamiseks, võttes arvesse nende võimekust ja omadusi, võimaldades seeläbi põhimõtteliselt erinevaid kiiruse ja vastupidavuse funktsioone. Mpool on samuti Micron Technology avatud lähtekoodiga arendus, mis avaldati samaaegselt HSE-ga, kuid see paistab silma eraldi infrastruktuuriprojektina. Mpool eeldab püsiva mälu ja tsoonsalvestuse kasutamist, kuid praegu toetatakse ainult traditsioonilisi SSD-sid.
YCSB (Yahoo Cloud Serving Benchmark) paketi abil läbi viidud jõudlustestid näitasid märkimisväärset jõudluse kasvu 2 TB salvestusruumi ja 1 KB andmeplokkide töötlemise korral. Eriti olulist jõudluse kasvu täheldati testis lugemis- ja kirjutamisoperatsioonide ühtlase jaotuse korral.
Näiteks osutus HSE mootoriga MongoDB ligikaudu 8 korda kiiremaks kui standardse WiredTigeri mootoriga versioon ja RocksDB andmebaasihaldusmootori tulemus oli HSE-st enam kui 6 korda parem. Suurepärased jõudlusnäitajad ilmnesid ka testides, kus lugemisoperatsioonide arv oli 95% ja muudatuste või lisanduste arv ainult 5%.
Teine läbi viidud test hõlmab ainult lugemisoperatsioone, see näitab umbes 40% kasumit. SSD-de elulemuse suurenemist kirjutamistoimingute ajal võrreldakse RocksDB-põhise lahendusega hinnanguliselt 7 korda.
HSE põhijooned:
- Tugi standard- ja edasijõudnutele andmete töötlemiseks võtme / väärtuse vormingus;
- Täielik tehingute tugi ja võimalus eraldada salvestussegmente hetktõmmiste loomise abil (hetktõmmiseid saab kasutada ka poes eraldi kogude säilitamiseks).
- Võimalus kasutada kursoreid andmete läbimiseks hetktõmmisepõhistes esitustes.
- Andmemudel, mis on optimeeritud segahoidla tüüpide jaoks ühes hoidlas.
- Paindlikud mehhanismid ladustamiskindluse haldamiseks.
- Kohandatavad andmete orkestreerimisskeemid (levitamine hoidlas olevate eri tüüpi mälude kaudu).
- C API-ga teek mida saab dünaamiliselt siduda mis tahes rakendusega.
Võimalus laiendada andmeid terabaitideks ja sadu miljardeid võtmeid salvestusruumis. - Tuhandete paralleelsete toimingute tõhus töötlemine.
- Märkimisväärne ribalaiuse suurenemine, vähenenud latentsus ja suurenenud lugemis- / kirjutamisvõimalused erinevat tüüpi töökoormuse korral võrreldes tavaliste lahendustega.
- Võime kasutada eri klasside SSD-sid samas salvestusruumis jõudluse ja vastupidavuse optimeerimiseks.
Mootori koodile pääsete ligi järgmiselt lingilt.