micron Technology (et selskap spesialisert i produksjon av DRAM og flashminne) avduket introduksjonen av en ny motor kalt "HMS" (Heterogenous memory Storage Engine), som ble utviklet med tanke på spesifikasjonene for bruk på NAND flash-baserte SSD-stasjoner (X100, TLC, QLC 3D NAND) eller skrivebeskyttet minne (NVDIMM).
Motoren er laget i form av et bibliotek å legge inn i andre applikasjoner og støtter databehandling i nøkkelverdiformatr. HMS-koden er skrevet i C og distribuert under Apache 2.0-lisensen.
Blant motorapplikasjonene, applikasjoner for datalagring på lavt nivå er nevnt i NoSQL DBMS, programvarelager (SDS, programvaredefinert lagring) som Ceph og Scality RING, plattformer for behandling av store datamengder (Big Data), høyytelses databehandlingssystemer (HPC), Internet of things (IoT) -enheter og løsninger for maskinlæringssystemer.
HMS er optimalisert ikke bare for maksimal ytelse, men også for å sikre holdbarheten til forskjellige typer SSD-stasjoner. Den høye hastigheten ble oppnåddgjennom en hybrid lagringsmodell: de mest relevante dataene er hurtigbufret, og reduserer antall disktilgang.
Som et eksempel på å integrere den nye motoren i tredjepartsprosjekter ble det utarbeidet en dokumentorientert versjon av MongoDB DBMS, som ble oversatt til bruk av HMS.
Teknologisk sett HMS er basert på en ekstra kjernemodul mpool, som implementerer et spesialisert grensesnitt for lagring av objekter for solid state-stasjoner, med tanke på deres evner og egenskaper, slik at man kan oppnå fundamentalt forskjellige egenskaper ved hastighet og holdbarhet. Mpool er også en Micron Technology-utvikling som er åpen samtidig med HMS, men den skiller seg ut som et eget infrastrukturprosjekt. Mpool forutsetter bruk av vedvarende minne og sonelagring, men for øyeblikket støttes bare tradisjonelle SSD-er.
Ytelsestesting med YCSB-pakken (Yahoo Cloud Serving Benchmark) viste en betydelig økning i ytelse når du bruker 2 TB lagring med 1 KB datablokkbehandling. En spesielt betydelig ytelsesøkning er observert i testen med en jevn fordeling av lese- og skriveoperasjoner.
Eg MongoDB med HMS-motoren viste seg å være omtrent 8 ganger raskere enn versjonen med standard WiredTiger-motor, og RocksDB DBMS-motoren overgikk HMS mer enn 6 ganger. Utmerkede indikatorer er også synlige i testene, som viser 95% av leseoperasjoner og 5% av endringer eller tillegg.
En annen test utført inkluderer bare leseoperasjoner, den viser et overskudd på ca 40%. Økningen i overlevelse av SSD-er under skriveoperasjoner sammenlignet med den RocksDB-baserte løsningen er estimert til 7 ganger.
Hovedtrekk ved HMS:
- Støtte for standard og avanserte operatører å behandle data i nøkkel- / verdiformat;
- Full transaksjonsstøtte og med muligheten til å isolere lagringssegmenter ved å lage øyeblikksbilder (øyeblikksbilder kan også brukes til å opprettholde separate samlinger i en butikk).
- Evne til å bruke markører til å krysse data i øyeblikksbaserte representasjoner.
- En datamodell optimalisert for blandet belastningstyper i et enkelt arkiv.
- Fleksible mekanismer for å administrere pålitelighet for lagring.
- Tilpasses data orkestrering ordninger (distribusjon gjennom forskjellige typer minne som finnes i depotet).
- Et bibliotek med C API som kan kobles dynamisk til alle applikasjoner.
Evnen til å skalere til terabyte data og hundrevis av milliarder nøkler som er lagret. - Effektiv behandling av tusenvis av parallelle operasjoner.
- Betydelig økning i båndbredde, redusert ventetid og høyere lese / skrive for forskjellige typer arbeidsbelastning sammenlignet med typiske løsninger.
- Muligheten til å bruke forskjellige klasser av SSD-er i samme lagring for å optimalisere ytelse og holdbarhet.
Du kan få tilgang til motorkoden fra lenken under.