Micron Technology (en virksomhed med speciale i produktion af DRAM og flashhukommelse) annoncerede introduktionen af ​​en ny motor kaldet "HSE" (Heterogeneous-memory Storage Engine), som blev udviklet under hensyntagen til de specifikke karakteristika ved brug i SSD-enheder baseret på NAND-flash (X100, TLC, QLC 3D NAND) eller skrivebeskyttet hukommelse (NVDIMM).
Motoren er designet som et bibliotek til indlejring i andre applikationer og understøtter nøgle-værdi-databehandling . HSE-koden er skrevet i C og distribueret under Apache 2.0-licensen.
Blandt motorens anvendelser er lavniveau-datalagring i NoSQL DBMS, softwaredefineret lagring (SDS) såsom Ceph og Scality RING, platforme til behandling af store mængder data (Big Data), højtydende databehandlingssystemer (HPC), Internet of Things (IoT)-enheder og løsninger til maskinlæringssystemer.
HSE er ikke kun optimeret for maksimal ydeevne , men også for at sikre holdbarheden af ​​forskellige SSD-klasser. Høj hastighed opnås gennem en hybrid lagringsmodel: de mest relevante data gemmes i cachen, hvilket reducerer antallet af diskadgange.
Som et eksempel på at integrere den nye motor i tredjepartsprojekter blev der udarbejdet en dokumentorienteret version af MongoDB DBMS, som blev oversat til at bruge HSE.

Teknologisk set er HSE baseret på et ekstra kernemodul, mpool , som implementerer en specialiseret grænseflade til lagring af objekter til solid-state-drev, idet der tages højde for deres muligheder og egenskaber, hvilket muliggør fundamentalt forskellige hastigheds- og holdbarhedsfunktioner. Mpool er også en open source-udvikling af Micron Technology, udgivet samtidig med HSE, men det skiller sig ud som et separat infrastrukturprojekt. Mpool forudsætter brugen af ​​persistent hukommelse og zonelagring, men i øjeblikket understøttes kun traditionelle SSD'er.
Ydelsestests med YCSB- pakken (Yahoo Cloud Serving Benchmark) viste en betydelig ydelsesforøgelse ved brug af 2 TB lagerplads med 1 KB datablokbehandling. En særlig betydelig ydelsesforøgelse blev observeret i testen med en ensartet fordeling af læse- og skriveoperationer.
For eksempel viste MongoDB med HSE-motoren sig at være cirka 8 gange hurtigere end versionen med standard WiredTiger-motoren, og RocksDB DBMS-motoren klarede sig bedre end HSE med mere end 6 gange. Fremragende præstationsindikatorer er også tydelige i testene, som viste 95% læseoperationer og kun 5% ændringer eller tilføjelser.
En anden test, der er udført, involverer kun læst operationer, det viser en fortjeneste på ca. 40%. Stigningen i overlevelsesevne for SSD'er under skriveoperationer sammenlignet med den RocksDB-baserede løsning anslås til 7 gange.
Nøglefunktioner ved HSE:
- Support til standard og avancerede operatører at behandle data i nøgle- / værdiformat
- Fuld transaktionssupport og med muligheden for at isolere lagersegmenter ved at oprette snapshots (snapshots kan også bruges til at opretholde separate samlinger i en butik).
- Evne til at bruge markører til at krydse data i snapshot-baserede repræsentationer.
- En datamodel optimeret til blandet belastningstyper i et enkelt arkiv.
- Fleksible mekanismer til at styre pålidelighed.
- Skemaer, der kan tilpasses data orkestrering (distribution gennem forskellige typer hukommelse, der findes i lageret).
- Et bibliotek med en C API som kan knyttes dynamisk til enhver applikation.
Evnen til at skalere til terabyte data og hundredvis af milliarder nøgler i lager. - Effektiv behandling af tusinder af parallelle operationer.
- Betydelig stigning i båndbredde, reduceret ventetid og højere læse / skrive for forskellige typer arbejdsbyrde sammenlignet med typiske løsninger.
- Evnen til at bruge forskellige klasser af SSD'er i samme lager for at optimere ydeevne og holdbarhed.
Du kan få adgang til motorkoden via følgende link.