Spoločnosť Micron Technology (špecializovaná na výrobu DRAM a flash pamätí) oznámila uvedenie nového enginu s názvom „HSE“ (Heterogeneous-memory Storage Engine), ktorý bol vyvinutý s ohľadom na špecifické vlastnosti použitia v SSD jednotkách založených na NAND flash (X100, TLC, QLC 3D NAND) alebo pamäti len na čítanie (NVDIMM).
Engine je navrhnutý ako knižnica na vkladanie do iných aplikácií a podporuje spracovanie dát typu kľúč-hodnota . Kód HSE je napísaný v jazyku C a distribuovaný pod licenciou Apache 2.0.
Medzi aplikácie tohto enginu patrí nízkoúrovňové ukladanie dát v NoSQL DBMS, softvérovo definované úložiská (SDS) ako Ceph a Scality RING, platformy na spracovanie veľkého množstva dát (Big Data), systémy vysokovýkonných výpočtov (HPC), zariadenia internetu vecí (IoT) a riešenia pre systémy strojového učenia.
HSE je optimalizované nielen pre maximálny výkon , ale aj pre zabezpečenie odolnosti rôznych tried SSD diskov. Vysoká rýchlosť sa dosahuje vďaka hybridnému modelu úložiska: najrelevantnejšie dáta sa ukladajú do vyrovnávacej pamäte, čím sa znižuje počet prístupov k disku.
Ako príklad integrácie nového enginu do projektov tretích strán bola pripravená dokumentovo orientovaná verzia MongoDB DBMS, ktorá bola preložená do použitia HSE.
Technologicky je HSE založené na dodatočnom jadrovom module mpool , ktorý implementuje špecializované rozhranie na ukladanie objektov pre SSD disky, berúc do úvahy ich možnosti a charakteristiky, čím umožňuje zásadne odlišné funkcie rýchlosti a odolnosti. Mpool je tiež open-source vývoj od spoločnosti Micron Technology, vydaný súbežne s HSE, ale vyniká ako samostatný infraštruktúrny projekt. Mpool predpokladá použitie perzistentnej pamäte a zónového úložiska, ale v súčasnosti sú podporované iba tradičné SSD disky.
Testy výkonu s použitím balíka YCSB (Yahoo Cloud Serving Benchmark) ukázali výrazný nárast výkonu pri použití 2 TB úložiska so spracovaním 1 KB dátových blokov. Obzvlášť výrazný nárast výkonu bol pozorovaný v teste s rovnomerným rozložením operácií čítania a zápisu.
Napríklad MongoDB s enginom HSE sa ukázal byť približne 8-krát rýchlejší ako verzia so štandardným enginom WiredTiger a engine RocksDB DBMS prekonal HSE viac ako 6-krát. Vynikajúce ukazovatele výkonu sú zrejmé aj z testov, ktoré zahŕňali 95 % operácií čítania a iba 5 % zmien alebo doplnkov.
Ďalší vykonaný test zahŕňa iba operácie čítania, vykazuje zisk asi 40%. Zvýšenie prežitia diskov SSD počas operácií zápisu v porovnaní s riešením založeným na RocksDB sa odhaduje na 7-násobok.
Kľúčové vlastnosti HSE:
- Podpora štandardných a pokročilých operátorov spracovávať údaje vo formáte kľúč / hodnota;
- Plná podpora transakcií a schopnosť izolovať segmenty úložiska vytváraním snímok (snímky je možné použiť aj na udržiavanie samostatných zbierok v obchode).
- Schopnosť používať kurzory na prechádzanie údajmi v snímkach.
- Dátový model optimalizovaný pre zmiešané typy zaťaženia v jednom úložisku.
- Pružné mechanizmy na správu spoľahlivosti úložiska.
- Prispôsobiteľné schémy orchestrácie údajov (distribúcia prostredníctvom rôznych typov pamäte prítomných v úložisku).
- Knižnica s C API ktoré je možné dynamicky prepojiť s ľubovoľnou aplikáciou.
Schopnosť škálovať na terabajty dát a stovky miliárd kľúčov v úložisku. - Efektívne spracovanie tisícov paralelných operácií.
- Významné zvýšenie šírky pásma, zníženie latencie a zvýšenie čítania a zápisu pre rôzne typy pracovného zaťaženia v porovnaní s typickými riešeniami.
- Schopnosť používať rôzne triedy diskov SSD v rovnakom úložisku na optimalizáciu výkonu a životnosti.
Kód motora nájdete na nasledujúcom odkaze.