Micron Technology (una companyia especialitzada en la producció de DRAM i memòria flaix) va donar a conèixer la introducció d' un nou motor anomenat HSE (Heterogeneous-memory Storage Engine), que es va desenvolupar tenint en compte les caracterÃstiques especÃfiques de l'ús en unitats SSD basades en flaix NAND (X100, TLC, QLC 3D NAND).
El motor està fet en forma duna biblioteca per incrustar en altres aplicacions i admet el processament de dades en el format clau-val r. El codi HSE està escrit en C i distribuït sota la llicència Apache 2.0.
Entre les aplicacions del motor, s'esmenten aplicacions per a emmagatzematge de dades de baix nivell a DBMS NoSQL, magatzems de programari (SDS, emmagatzematge definit per programari) com Ceph i Scality RING, plataformes per processar grans quantitats de dades (Big Data), sistemes informà tics d'alt rendiment (HPC), dispositius d'Internet coses (IoT) i solucions per a sistemes d'aprenentatge automà tic.
HSE està optimitzat no només per assolir el mà xim rendiment, sinó també per garantir la durabilitat de diverses classes d'unitats SSD. L'alta velocitat es va aconseguir a través d'un model d'emmagatzematge hÃbrid: les dades més rellevants s'emmagatzemen a la memòria cau, cosa que redueix la quantitat d'accessos al disc.
Com a exemple d'integració de el nou motor en projectes de tercers, es va preparar una versió de l'DBMS MongoDB orientat a documents, que es va traduir per utilitzar HSE.

Tecnològicament, HSE es basa en un mòdul de nucli addicional mpool , que implementa una interfÃcie especialitzada per emmagatzemar objectes per a unitats d'estat sòlid, tenint en compte les seves capacitats i caracterÃstiques, cosa que permet obtenir caracterÃstiques fonamentalment diferents de velocitat i durabilitat. Mpool també és un desenvolupament de Micron Technology obert simultà niament amb l'HSE, però destaca com un projecte d'infraestructura independent. Mpool assumeix l'ús de memòria persistent i emmagatzematge de zona, però actualment només s'admeten SSD tradicionals.
Les proves de rendiment amb el paquet YCSB (Yahoo Cloud Serving Benchmark) van mostrar un augment significatiu en el rendiment en fer servir un emmagatzematge de 2 TB amb processament de blocs de dades d'1 KB. S'observa un augment de rendiment particularment significatiu a la prova amb una distribució uniforme de les operacions de lectura i escriptura.
Per exemple, MongoDB amb el motor HSE va resultar ser aproximadament 8 vegades més rà pid que la versió amb el motor WiredTiger està ndard, i el motor RocksDB DBMS va superar l'HSE més de 6 vegades. Els indicadors excel·lents també són visibles a les proves, que presenten el 95% de les operacions de lectura i el 5% dels canvis o addicions.
Una altra prova realitzada implica només operacions de lectura, demostra un guany d'aproximadament el 40%. L'augment en la capacitat de supervivència de les unitats SSD durant les operacions d'escriptura en comparació amb la solució basada en RocksDB s'estima en 7 vegades.
CaracterÃstiques clau de HSE:
- Suport per operadors està ndard i avançats per processar dades en format clau / valor;
- Suport complet de transaccions i amb la capacitat d'aïllar segments d'emmagatzematge mitjançant la creació d'instantà nies (les instantà nies també es poden utilitzar per mantenir col·leccions independents en una botiga).
- Capacitat per utilitzar cursors per travessar dades en representacions basades en instantà nies.
- Un model de dades optimitzat per a tipus de cà rrega mixta en un únic repositori.
- mecanismes flexibles per gestionar la fiabilitat de l'emmagatzematge.
- Esquemes d'orquestració de dades personalitzables (distribució a través de diferents tipus de memòria presents al repositori).
- Una biblioteca amb una API C que pot vincular-dinà micament a qualsevol aplicació.
La capacitat d'escalar a terabytes de dades i centenars de milers de milions de claus en emmagatzematge. - Processament efectiu de milers d'operacions paral·leles.
- Augment significatiu en l'ample de banda, latència reduïda i major escriptura / lectura per a diversos tipus de cà rrega de treball en comparació amb les solucions alternatives tÃpiques.
- La capacitat d'utilitzar diferents classes de SSD en el mateix emmagatzematge per optimitzar el rendiment i la durabilitat.
Pots accedir al codi del motor des del següent enllaç.