A Micron Technology (DRAM és flash memória gyártására szakosodott vállalat) bejelentette egy új, "HSE" (Heterogeneous-memory Storage Engine) nevű motor bevezetését , amelyet a NAND flash (X100, TLC, QLC 3D NAND) vagy csak olvasható memória (NVDIMM) alapú SSD-egységekben való használat sajátosságainak figyelembevételével fejlesztettek ki.
A motort más alkalmazásokba beágyazható könyvtárként tervezték , és támogatja a kulcs-érték adatfeldolgozást . A HSE kód C nyelven íródott, és az Apache 2.0 licenc alatt kerül terjesztésre.
A motor alkalmazásai között szerepel az alacsony szintű adattárolás a NoSQL adatbázis-kezelő rendszerekben, a szoftveresen definiált tárolás (SDS), mint például a Ceph és a Scality RING, nagy mennyiségű adat (Big Data) feldolgozására szolgáló platformok, nagy teljesítményű számítástechnikai (HPC) rendszerek, a dolgok internete (IoT) eszközök, valamint a gépi tanulási rendszerekhez való megoldások.
A HSE-t nemcsak a maximális teljesítmény , hanem a különböző SSD-osztályok tartósságának biztosítása érdekében is optimalizálták. A nagy sebességet egy hibrid tárolási modell éri el: a legfontosabb adatok a gyorsítótárban tárolódnak, csökkentve a lemezhozzáférések számát.
Az új motor harmadik féltől származó projektekbe történő integrálásának példájaként elkészült a MongoDB DBMS dokumentum-orientált változata, amelyet lefordítottak a HSE használatára.
Technológiailag a HSE egy további alapmodulon, az mpoolon alapul , amely egy speciális interfészt valósít meg a szilárdtestalapú meghajtók objektumainak tárolására, figyelembe véve azok képességeit és jellemzőit, így alapvetően eltérő sebesség- és tartóssági funkciókat tesz lehetővé. Az mpool szintén a Micron Technology nyílt forráskódú fejlesztése, amely a HSE-vel egyidejűleg jelent meg, de különálló infrastruktúra-projektként kiemelkedik. Az mpool feltételezi a perzisztens memória és a zónatárolás használatát, de jelenleg csak a hagyományos SSD-k támogatottak.
Az YCSB (Yahoo Cloud Serving Benchmark) csomaggal végzett teljesítménytesztek jelentős teljesítménynövekedést mutattak 2 TB tárhely és 1 KB adatblokk-feldolgozás használata esetén. Különösen jelentős teljesítménynövekedést figyeltek meg az olvasási és írási műveletek egyenletes eloszlású tesztjeinél.
Például a HSE motorral ellátott MongoDB körülbelül nyolcszor gyorsabbnak bizonyult, mint a standard WiredTiger motorral ellátott verzió, a RocksDB DBMS motor pedig több mint hatszorosan múlta felül a HSE-t. A tesztek kiváló teljesítménymutatókat is mutatnak, amelyek 95%-os olvasási műveleteket és mindössze 5%-os változtatásokat vagy kiegészítéseket mutattak.
Egy másik teszt csak olvasási műveleteket tartalmaz, körülbelül 40% -os nyereséget mutat. Az SSD-k túlélhetőségének növekedése az írási műveletek során a RocksDB-alapú megoldáshoz képest becslések szerint hétszeresére nő.
A HSE főbb jellemzői:
- Támogatás standard és haladó operátoroknak az adatok kulcs / érték formátumban történő feldolgozása;
- Teljes tranzakciós támogatás és a tároló szegmensek pillanatképek készítésével történő elkülönítésének lehetősége (a pillanatfelvételeket a boltban külön gyűjtemények fenntartására is fel lehet használni).
- Kurzorok használata adatok bejárásához pillanatkép-alapú ábrázolásokban.
- Vegyes terhelési típusokra optimalizált adatmodell egyetlen adattárban.
- Rugalmas mechanizmusok a tárolási megbízhatóság kezeléséhez.
- Testreszabható adat-hangszerelési sémák (terjesztés a tárban lévő különféle típusú memóriákon keresztül).
- C API-val rendelkező könyvtár amely dinamikusan összekapcsolható bármely alkalmazással.
Terabájt méretű adatokra és kulcsok százmilliárdjaira méretezhető a tárolóban. - Több ezer párhuzamos művelet hatékony feldolgozása.
- Jelentős növekedés a sávszélességben, csökkent a késés és a megnövelt írási / írási képesség a különféle típusú terhelésekhez képest, a tipikus megoldásokhoz képest.
- Különböző típusú SSD-k használatának lehetősége ugyanazon tárolóban a teljesítmény és a tartósság optimalizálása érdekében.
A motor kódját az alábbi linken érheted el .