Společnost Micron Technology (specializující se na výrobu pamětí DRAM a flash) oznámila uvedení nového enginu s názvem „HSE“ (Heterogeneous-memory Storage Engine), který byl vyvinut s ohledem na specifické vlastnosti použití v SSD jednotkách založených na NAND flash (X100, TLC, QLC 3D NAND) nebo read-only memory (NVDIMM).
Engine je navržen jako knihovna pro vkládání do jiných aplikací a podporuje zpracování dat typu klíč-hodnota . Kód HSE je napsán v jazyce C a distribuován pod licencí Apache 2.0.
Mezi aplikace tohoto enginu patří nízkoúrovňové ukládání dat v NoSQL DBMS, softwarově definované úložiště (SDS) jako Ceph a Scality RING, platformy pro zpracování velkého množství dat (Big Data), systémy vysoce výkonných výpočtů (HPC), zařízení internetu věcí (IoT) a řešení pro systémy strojového učení.
HSE je optimalizováno nejen pro maximální výkon , ale také pro zajištění odolnosti různých tříd SSD. Vysoké rychlosti je dosaženo hybridním modelem úložiště: nejrelevantnější data jsou uložena v mezipaměti, což snižuje počet přístupů k disku.
Jako příklad integrace nového enginu do projektů třetích stran byla připravena dokumentově orientovaná verze MongoDB DBMS, která byla přeložena do použití HSE.
Technologicky je HSE založeno na dodatečném základním modulu mpool , který implementuje specializované rozhraní pro ukládání objektů pro SSD disky s ohledem na jejich možnosti a vlastnosti, a umožňuje tak zásadně odlišné vlastnosti rychlosti a odolnosti. Mpool je také open-source vývoj od společnosti Micron Technology, vydaný současně s HSE, ale vystupuje jako samostatný infrastrukturní projekt. Mpool předpokládá použití perzistentní paměti a zónového úložiště, ale v současné době jsou podporovány pouze tradiční SSD disky.
Výkonnostní testy s využitím balíčku YCSB (Yahoo Cloud Serving Benchmark) ukázaly výrazný nárůst výkonu při použití 2 TB úložiště se zpracováním 1 KB datových bloků. Obzvláště výrazný nárůst výkonu byl pozorován v testu s rovnoměrným rozložením operací čtení a zápisu.
Například MongoDB s enginem HSE se ukázala být přibližně 8krát rychlejší než verze se standardním enginem WiredTiger a engine pro správu databází RocksDB překonal HSE více než 6krát. Vynikající ukazatele výkonu jsou patrné i v testech, které zahrnovaly 95 % operací čtení a pouze 5 % změn nebo doplňků.
Další provedený test zahrnuje pouze operace čtení, ukazuje zisk asi 40%. Nárůst přežití SSD disků během operací zápisu ve srovnání s řešením založeným na RocksDB se odhaduje na 7krát.
Klíčové vlastnosti HSE:
- Podpora standardních i pokročilých operátorů zpracovávat data ve formátu klíč / hodnota;
- Plná podpora transakcí a schopnost izolovat segmenty úložiště vytvořením snímků (snímky lze také použít k udržování samostatných kolekcí v obchodě).
- Schopnost používat kurzory k procházení dat v reprezentacích na základě snímků.
- Datový model optimalizovaný pro smíšené typy načtení v jednom úložišti.
- Flexibilní mechanismy pro správu spolehlivosti úložiště.
- Přizpůsobitelná schémata orchestrace dat (distribuce prostřednictvím různých typů paměti přítomných v úložišti).
- Knihovna s C API které lze dynamicky propojit s jakoukoli aplikací.
Schopnost škálovat na terabajty dat a stovky miliard klíčů v úložišti. - Efektivní zpracování tisíců paralelních operací.
- Významné zvýšení šířky pásma, snížení latence a zvýšení čtení / zápisu pro různé typy pracovní zátěže ve srovnání s typickými řešeními.
- Schopnost používat různé třídy SSD ve stejném úložišti pro optimalizaci výkonu a životnosti.
Kód motoru naleznete na následujícím odkazu.