micron Technology (spoločnosť špecializovaná na výrobu DRAM a flash pamätí) predstavila zavedenie volal nový motor „HSE“ (Heterogeneous-memory Storage Engine), ktorý bol vyvinutý s ohľadom na špecifiká použitia na jednotkách SSD založených na flash NAND (X100, TLC, QLC 3D NAND) alebo pamäť iba na čítanie (NVDIMM).
Motor je vyrobený vo forme knižnice vložiť do iných aplikácií a podporuje spracovanie údajov vo formáte kľúč - hodnotar. Kód HSE je napísaný v jazyku C a distribuovaný pod licenciou Apache 2.0.
Z motorových aplikácií sú spomenuté aplikácie pre nízkoúrovňové ukladanie dát v NoSQL DBMS, softvérové sklady (SDS, softvérom definované úložisko) ako Ceph a Scality RING, platformy na spracovanie veľkého množstva dát (Big Data), vysokovýkonné výpočtové systémy (HPC), zariadenia internetu vecí (IoT) a riešenia pre systémy strojového učenia.
HSE je optimalizovaný nielen pre maximálny výkon, ale tiež na zaistenie životnosti rôznych druhov diskov SSD. Dosiahla sa vysoká rýchlosťprostredníctvom modelu hybridného úložiska: najdôležitejšie údaje sa ukladajú do medzipamäte, čo znižuje počet prístupov na disk.
Ako príklad integrácie nového enginu do projektov tretích strán bola pripravená dokumentovo orientovaná verzia MongoDB DBMS, ktorá bola preložená do použitia HSE.
Technologicky, HSE je založený na ďalšom jadre modulu mpool, ktorá implementuje špecializované rozhranie na ukladanie objektov pre disky SSD s prihliadnutím na ich schopnosti a vlastnosti, čo umožňuje zásadne odlišné charakteristiky rýchlosti a životnosti. Spoločnosť Mpool je tiež vývojom Micron Technology otvoreným súčasne s HSE, vyniká však ako samostatný projekt infraštruktúry. Spoločnosť Mpool predpokladá použitie perzistentnej pamäte a zónového úložiska, v súčasnosti sú však podporované iba tradičné disky SSD.
Testovanie výkonu s balíkom YCSB (Yahoo Cloud Serving Benchmark) preukázal výrazné zvýšenie výkonu pri použití 2TB úložiska so spracovaním dátových blokov 1KB. Obzvlášť významné zvýšenie výkonu sa pozoruje v teste s rovnomerným rozdelením operácií čítania a zápisu.
Napr Ukázalo sa, že MongoDB s motorom HSE bol asi 8-krát rýchlejší než verzia so štandardným motorom WiredTiger a motor RocksDB DBMS prekonal výkon HSE viac ako 6-krát. Vynikajúce ukazovatele sú viditeľné aj v testoch, ktoré ukazujú 95% operácií čítania a 5% zmien alebo doplnkov.
Ďalší vykonaný test zahŕňa iba operácie čítania, vykazuje zisk asi 40%. Zvýšenie prežitia diskov SSD počas operácií zápisu v porovnaní s riešením založeným na RocksDB sa odhaduje na 7-násobok.
Kľúčové vlastnosti HSE:
- Podpora štandardných a pokročilých operátorov spracovávať údaje vo formáte kľúč / hodnota;
- Plná podpora transakcií a schopnosť izolovať segmenty úložiska vytváraním snímok (snímky je možné použiť aj na udržiavanie samostatných zbierok v obchode).
- Schopnosť používať kurzory na prechádzanie údajmi v snímkach.
- Dátový model optimalizovaný pre zmiešané typy zaťaženia v jednom úložisku.
- Pružné mechanizmy na správu spoľahlivosti úložiska.
- Prispôsobiteľné schémy orchestrácie údajov (distribúcia prostredníctvom rôznych typov pamäte prítomných v úložisku).
- Knižnica s C API ktoré je možné dynamicky prepojiť s ľubovoľnou aplikáciou.
Schopnosť škálovať na terabajty dát a stovky miliárd kľúčov v úložisku. - Efektívne spracovanie tisícov paralelných operácií.
- Významné zvýšenie šírky pásma, zníženie latencie a zvýšenie čítania a zápisu pre rôzne typy pracovného zaťaženia v porovnaní s typickými riešeniami.
- Schopnosť používať rôzne triedy diskov SSD v rovnakom úložisku na optimalizáciu výkonu a životnosti.
Môžete získať prístup k kódu motora z odkazu nižšie.