Tehnologija Micron (podjetje, specializirano za proizvodnjo DRAM-a in bliskovnega pomnilnika) predstavil uvedbo nov motor z imenom "HSE" (Heterogeneous-memory Storage Engine), ki je bil razvit z upoštevanjem posebnosti uporabe na pogonih SSD, ki temeljijo na NAND flash (X100, TLC, QLC 3D NAND) ali samo za branje pomnilnika (NVDIMM).
Motor je izdelan v obliki knjižnice vdelati v druge aplikacije in podpira obdelavo podatkov v obliki ključ-vrednostr. Koda HSE je napisana v jeziku C in se distribuira pod licenco Apache 2.0.
Med motornimi aplikacijami omenjene so aplikacije za shranjevanje podatkov na nizki ravni v DBMS NoSQL skladišča programske opreme (SDS, programsko definirano shranjevanje), kot sta Ceph in Scality RING, platforme za obdelavo velikih količin podatkov (veliki podatki), visokozmogljivi računalniški sistemi (HPC), naprave za internet stvari (IoT) in rešitve za sisteme strojnega učenja.
HSE je optimiziran ne le za največjo zmogljivost, ampak tudi zagotoviti trajnost različnih vrst pogonov SSD. Dosežena je bila velika hitrosts hibridnim modelom shranjevanja: najpomembnejši podatki so v predpomnilniku, kar zmanjša število dostopov do diska.
Kot primer vključitve novega motorja v tuje projekte je bila pripravljena dokumentno usmerjena različica DBMS MongoDB, ki je bila prevedena v uporabo HSE.
Tehnološko HSE temelji na dodatnem modulu jedra mpool, ki izvaja specializiran vmesnik za shranjevanje predmetov za pogone SSD, ob upoštevanju njihovih zmogljivosti in lastnosti, kar omogoča pridobitev bistveno različnih lastnosti hitrosti in trajnosti. Mpool je tudi Micron Technology, odprt hkrati s HSE, vendar izstopa kot ločen infrastrukturni projekt. Mpool predvideva uporabo trajnega pomnilnika in območja za shranjevanje, vendar so trenutno podprti le tradicionalni SSD-ji.
Testiranje učinkovitosti s paketom YCSB (Yahoo Cloud Serving Benchmark) je pokazal znatno povečanje zmogljivosti pri uporabi 2TB pomnilnika z 1KB obdelave podatkovnih blokov. Še posebej pomembno povečanje zmogljivosti je opaziti v testu z enakomerno porazdelitvijo operacij branja in pisanja.
Npr MongoDB z motorjem HSE se je izkazal za približno 8-krat hitrejši kot različica s standardnim motorjem WiredTiger, motor DBMS RocksDB pa je presegel HSE več kot 6-krat. Odlični kazalniki so vidni tudi na testih, ki kažejo 95% operacij branja in 5% sprememb ali dopolnitev.
Drugi opravljeni test vključuje samo bralne operacije in kaže približno 40-odstotni dobiček. Povečanje preživetja SSD-jev med operacijami pisanja v primerjavi z rešitvijo, ki temelji na RocksDB, je ocenjeno na 7-krat.
Ključne značilnosti HSE:
- Podpora za standardne in napredne operaterje za obdelavo podatkov v obliki ključ / vrednost;
- Popolna podpora za transakcije in možnost izolacije segmentov pomnilnika z ustvarjanjem posnetkov (posnetke lahko uporabite tudi za vzdrževanje ločenih zbirk v trgovini).
- Sposobnost uporabe kazalcev za prehod podatkov v predstavitvah, ki temeljijo na posnetkih.
- Podatkovni model, optimiziran za mešane vrste obremenitve v enem skladišču.
- Prilagodljivi mehanizmi za upravljanje zanesljivosti shranjevanja.
- Prilagodljive sheme orkestracije podatkov (distribucija skozi različne vrste pomnilnika, ki so v repozitoriju).
- Knjižnica s API-jem C. ki se lahko dinamično poveže s katero koli aplikacijo.
Sposobnost prilagajanja na terabajte podatkov in na stotine milijard ključev v pomnilniku. - Učinkovita obdelava tisoč vzporednih operacij.
- Znatno povečanje pasovne širine, zmanjšana zakasnitev in večja bralnost / pisanje za različne vrste delovne obremenitve v primerjavi s tipičnimi rešitvami.
- Možnost uporabe različnih razredov SSD-jev v istem pomnilniku za optimizacijo zmogljivosti in trajnosti.
Dostopate do kode motorja s spodnje povezave.