Micron Technology (et selskap som spesialiserer seg på produksjon av DRAM og flashminne) annonserte introduksjonen av en ny motor kalt «HSE» (Heterogeneous-memory Storage Engine), som ble utviklet med tanke på de spesifikke egenskapene ved bruk i SSD-enheter basert på NAND-flash (X100, TLC, QLC 3D NAND) eller skrivebeskyttet minne (NVDIMM).
Motoren er utformet som et bibliotek for innebygging i andre applikasjoner og støtter nøkkelverdi-databehandling . HSE-koden er skrevet i C og distribuert under Apache 2.0-lisensen.
Blant bruksområdene til motoren er lavnivålagring av data i NoSQL DBMS, programvaredefinert lagring (SDS) som Ceph og Scality RING, plattformer for behandling av store mengder data (Big Data), høyytelsesdatamaskiner (HPC) systemer, tingenes internett (IoT) enheter og løsninger for maskinlæringssystemer.
HSE er optimalisert ikke bare for maksimal ytelse , men også for å sikre holdbarheten til ulike SSD-klasser. Høy hastighet oppnås gjennom en hybrid lagringsmodell: de mest relevante dataene lagres i hurtigbufferen, noe som reduserer antall disktilganger.
Som et eksempel på å integrere den nye motoren i tredjepartsprosjekter ble det utarbeidet en dokumentorientert versjon av MongoDB DBMS, som ble oversatt til bruk av HMS.
Teknologisk sett er HSE basert på en ekstra kjernemodul, mpool , som implementerer et spesialisert grensesnitt for lagring av objekter for SSD-disker, med tanke på deres kapasiteter og egenskaper, og dermed muliggjør fundamentalt forskjellige hastighets- og holdbarhetsfunksjoner. Mpool er også en åpen kildekode-utvikling av Micron Technology, utgitt samtidig med HSE, men det skiller seg ut som et separat infrastrukturprosjekt. Mpool forutsetter bruk av permanent minne og sonelagring, men for øyeblikket støttes bare tradisjonelle SSD-er.
Ytelsestester med YCSB- pakken (Yahoo Cloud Serving Benchmark) viste en betydelig ytelsesøkning ved bruk av 2 TB lagringsplass med 1 KB datablokkbehandling. En spesielt betydelig ytelsesøkning ble observert i testen med en jevn fordeling av lese- og skriveoperasjoner.
For eksempel viste MongoDB med HSE-motoren seg å være omtrent 8 ganger raskere enn versjonen med standard WiredTiger-motor, og RocksDB DBMS-motoren overgikk HSE med mer enn 6 ganger. Utmerkede ytelsesindikatorer er også tydelige i testene, som inneholdt 95 % leseoperasjoner og bare 5 % endringer eller tillegg.
En annen test utført inkluderer bare leseoperasjoner, den viser et overskudd på ca 40%. Økningen i overlevelse av SSD-er under skriveoperasjoner sammenlignet med den RocksDB-baserte løsningen er estimert til 7 ganger.
Hovedtrekk ved HMS:
- Støtte for standard og avanserte operatører å behandle data i nøkkel- / verdiformat;
- Full transaksjonsstøtte og med muligheten til å isolere lagringssegmenter ved å lage øyeblikksbilder (øyeblikksbilder kan også brukes til å opprettholde separate samlinger i en butikk).
- Evne til å bruke markører til å krysse data i øyeblikksbaserte representasjoner.
- En datamodell optimalisert for blandet belastningstyper i et enkelt arkiv.
- Fleksible mekanismer for å administrere pålitelighet for lagring.
- Tilpasses data orkestrering ordninger (distribusjon gjennom forskjellige typer minne som finnes i depotet).
- Et bibliotek med C API som kan kobles dynamisk til alle applikasjoner.
Evnen til å skalere til terabyte data og hundrevis av milliarder nøkler som er lagret. - Effektiv behandling av tusenvis av parallelle operasjoner.
- Betydelig økning i båndbredde, redusert ventetid og høyere lese / skrive for forskjellige typer arbeidsbelastning sammenlignet med typiske løsninger.
- Muligheten til å bruke forskjellige klasser av SSD-er i samme lagring for å optimalisere ytelse og holdbarhet.
Du kan få tilgang til motorkoden fra følgende lenke.