micron Technology (společnost specializovaná na výrobu DRAM a flash pamětí) představila zavedení volal nový motor "HSE" (Heterogeneous-memory Storage Engine), který byl vyvinut s ohledem na specifika použití na discích SSD založených na NAND flash (X100, TLC, QLC 3D NAND) nebo paměť jen pro čtení (NVDIMM).
Motor je vyroben ve formě knihovny vložit do jiných aplikací a podporuje zpracování dat ve formátu klíč – hodnotar. Kód HSE je napsán v jazyce C a distribuován pod licencí Apache 2.0.
Mezi motorovými aplikacemi jsou zmíněny aplikace pro ukládání dat na nízké úrovni v NoSQL DBMS, softwarové sklady (SDS, softwarově definované úložiště), jako je Ceph a Scality RING, platformy pro zpracování velkého množství dat (Big Data), vysoce výkonné výpočetní systémy (HPC), zařízení internetu věcí (IoT) a řešení pro systémy strojového učení.
HSE je optimalizován nejen pro maximální výkon, ale také k zajištění odolnosti různých druhů disků SSD. Bylo dosaženo vysoké rychlostiprostřednictvím modelu hybridního úložiště: nejdůležitější data se ukládají do mezipaměti, což snižuje počet přístupů na disk.
Jako příklad integrace nového enginu do projektů třetích stran byla připravena dokumentově orientovaná verze MongoDB DBMS, která byla přeložena do použití HSE.
Technologicky, HSE je založen na dalším modulu jádra mpool, která implementuje specializované rozhraní pro ukládání objektů na discích SSD s přihlédnutím k jejich schopnostem a vlastnostem, což umožňuje zásadně odlišné charakteristiky rychlosti a trvanlivosti. Mpool je také vývojem Micron Technology otevřeným současně s HSE, ale vyniká jako samostatný infrastrukturní projekt. Mpool předpokládá použití trvalé paměti a zónového úložiště, ale v současné době jsou podporovány pouze tradiční disky SSD.
Testování výkonu s balíčkem YCSB (Yahoo Cloud Serving Benchmark) ukázal výrazné zvýšení výkonu při použití 2TB úložiště se zpracováním datového bloku 1KB. Obzvláště významné zvýšení výkonu je pozorováno v testu s rovnoměrným rozdělením operací čtení a zápisu.
Např Ukázalo se, že MongoDB s motorem HSE byl asi 8krát rychlejší než verze se standardním motorem WiredTiger a motor RocksDB DBMS překonal HSE více než 6krát. Vynikající indikátory jsou také viditelné v testech, které ukazují 95% operací čtení a 5% změn nebo doplnění.
Další provedený test zahrnuje pouze operace čtení, ukazuje zisk asi 40%. Nárůst přežití SSD disků během operací zápisu ve srovnání s řešením založeným na RocksDB se odhaduje na 7krát.
Klíčové vlastnosti HSE:
- Podpora standardních i pokročilých operátorů zpracovávat data ve formátu klíč / hodnota;
- Plná podpora transakcí a schopnost izolovat segmenty úložiště vytvořením snímků (snímky lze také použít k udržování samostatných kolekcí v obchodě).
- Schopnost používat kurzory k procházení dat v reprezentacích na základě snímků.
- Datový model optimalizovaný pro smíšené typy načtení v jednom úložišti.
- Flexibilní mechanismy pro správu spolehlivosti úložiště.
- Přizpůsobitelná schémata orchestrace dat (distribuce prostřednictvím různých typů paměti přítomných v úložišti).
- Knihovna s C API které lze dynamicky propojit s jakoukoli aplikací.
Schopnost škálovat na terabajty dat a stovky miliard klíčů v úložišti. - Efektivní zpracování tisíců paralelních operací.
- Významné zvýšení šířky pásma, snížení latence a zvýšení čtení / zápisu pro různé typy pracovní zátěže ve srovnání s typickými řešeními.
- Schopnost používat různé třídy SSD ve stejném úložišti pro optimalizaci výkonu a životnosti.
Můžete získat přístup k kódu motoru z níže uvedeného odkazu.