micron Technology (et firma specialiseret i produktion af DRAM og flash-hukommelse) afslørede introduktionen af en ny motor kaldet "HSE" (Heterogenous-memory Storage Engine), som blev udviklet med det specifikke brug i tankerne på NAND flashbaserede SSD-drev (X100, TLC, QLC 3D NAND) eller skrivebeskyttet hukommelse (NVDIMM).
Motoren er lavet i form af et bibliotek at integrere i andre applikationer og understøtter databehandling i nøgleværdiformatr. HSE-koden er skrevet i C og distribueret under Apache 2.0-licensen.
Blandt motorapplikationerne applikationer til datalagring på lavt niveau nævnes i NoSQL DBMS, softwarelagre (SDS, softwaredefineret lagring) såsom Ceph og Scality RING, platforme til behandling af store datamængder (Big Data), højtydende computersystemer (HPC), Internet of things (IoT) -enheder og løsninger til maskinlæringssystemer.
HSE er ikke kun optimeret til maksimal ydelse, men også for at sikre holdbarheden af forskellige slags SSD-drev. Den høje hastighed blev opnåetgennem en hybrid lagringsmodel: de mest relevante data er cachelagret, hvilket reducerer antallet af diskadgang.
Som et eksempel på at integrere den nye motor i tredjepartsprojekter blev der udarbejdet en dokumentorienteret version af MongoDB DBMS, som blev oversat til at bruge HSE.
Teknologisk set HSE er baseret på et yderligere kernemodul mpool, som implementerer en specialiseret grænseflade til lagring af objekter til solid state-drev under hensyntagen til deres egenskaber og egenskaber, hvilket gør det muligt at opnå fundamentalt forskellige egenskaber ved hastighed og holdbarhed. Mpool er også en Micron Technology-udvikling, der er åben samtidig med HSE, men det skiller sig ud som et separat infrastrukturprojekt. Mpool antager brugen af vedvarende hukommelse og zonelagring, men i øjeblikket understøttes kun traditionelle SSD'er.
Ydelsestest med YCSB-pakken (Yahoo Cloud Serving Benchmark) viste en signifikant stigning i ydeevne, når du bruger 2 TB lagring med 1 KB datablockbehandling. En særlig betydelig præstationsforøgelse observeres i testen med en jævn fordeling af læse- og skriveoperationer.
Fx MongoDB med HSE-motoren viste sig at være ca. 8 gange hurtigere end versionen med standard WiredTiger-motoren, og RocksDB DBMS-motoren overgik HSE mere end 6 gange. Fremragende indikatorer er også synlige i testene, som viser 95% af læseoperationer og 5% af ændringer eller tilføjelser.
En anden test, der er udført, involverer kun læst operationer, det viser en fortjeneste på ca. 40%. Stigningen i overlevelsesevne for SSD'er under skriveoperationer sammenlignet med den RocksDB-baserede løsning anslås til 7 gange.
Nøglefunktioner ved HSE:
- Support til standard og avancerede operatører at behandle data i nøgle- / værdiformat
- Fuld transaktionssupport og med muligheden for at isolere lagersegmenter ved at oprette snapshots (snapshots kan også bruges til at opretholde separate samlinger i en butik).
- Evne til at bruge markører til at krydse data i snapshot-baserede repræsentationer.
- En datamodel optimeret til blandet belastningstyper i et enkelt arkiv.
- Fleksible mekanismer til at styre pålidelighed.
- Skemaer, der kan tilpasses data orkestrering (distribution gennem forskellige typer hukommelse, der findes i lageret).
- Et bibliotek med en C API som kan knyttes dynamisk til enhver applikation.
Evnen til at skalere til terabyte data og hundredvis af milliarder nøgler i lager. - Effektiv behandling af tusinder af parallelle operationer.
- Betydelig stigning i båndbredde, reduceret ventetid og højere læse / skrive for forskellige typer arbejdsbyrde sammenlignet med typiske løsninger.
- Evnen til at bruge forskellige klasser af SSD'er i samme lager for at optimere ydeevne og holdbarhed.
Du kan få adgang til motorkoden fra nedenstående link.