Micron Technology (kompanija specijalizirana za proizvodnju DRAM i flash memorije) najavila je predstavljanje novog motora pod nazivom "HSE" (Heterogeneous-memory Storage Engine), koji je razvijen uzimajući u obzir specifične karakteristike upotrebe u SSD jedinicama baziranim na NAND flash memoriji (X100, TLC, QLC 3D NAND) ili memoriji samo za čitanje (NVDIMM).
Mehanizam je dizajniran kao biblioteka za ugradnju u druge aplikacije i podržava obradu podataka ključ-vrijednost . HSE kod je napisan u C-u i distribuiran pod Apache 2.0 licencom.
Među primjenama ovog mehanizma su pohrana podataka niskog nivoa u NoSQL DBMS-u, softverski definirana pohrana (SDS) kao što su Ceph i Scality RING, platforme za obradu velikih količina podataka (Big Data), sistemi računarstva visokih performansi (HPC), uređaji Interneta stvari (IoT) i rješenja za sisteme mašinskog učenja.
HSE je optimizovan ne samo za maksimalne performanse , već i za osiguranje trajnosti različitih SSD klasa. Velika brzina se postiže hibridnim modelom skladištenja: najrelevantniji podaci se pohranjuju u keš memoriju, smanjujući broj pristupa disku.
Kao primjer integracije novog motora u projekte nezavisnih proizvođača, pripremljena je verzija MongoDB DBMS-a orijentisana na dokumente, koja je prevedena da koristi HSE.
Tehnološki, HSE se zasniva na dodatnom osnovnom modulu, mpool , koji implementira specijalizirani interfejs za pohranjivanje objekata za SSD diskove, uzimajući u obzir njihove mogućnosti i karakteristike, omogućavajući tako fundamentalno različite karakteristike brzine i izdržljivosti. Mpool je također razvoj otvorenog koda od strane Micron Technology, objavljen istovremeno sa HSE, ali se ističe kao zaseban infrastrukturni projekat. Mpool pretpostavlja korištenje perzistentne memorije i zonskog skladištenja, ali trenutno su podržani samo tradicionalni SSD diskovi.
Testovi performansi korištenjem YCSB (Yahoo Cloud Serving Benchmark) paketa pokazali su značajno povećanje performansi pri korištenju 2 TB prostora za pohranu s obradom blokova podataka od 1 KB. Posebno značajno povećanje performansi uočeno je u testu s ravnomjernom raspodjelom operacija čitanja i pisanja.
Na primjer, MongoDB sa HSE engine-om se pokazao približno 8 puta bržim od verzije sa standardnim WiredTiger engine-om, a RocksDB DBMS engine je nadmašio HSE za više od 6 puta. Odlični pokazatelji performansi su također vidljivi u testovima, koji su uključivali 95% operacija čitanja i samo 5% promjena ili dodataka.
Drugi izvedeni test uključuje samo operacije čitanja i pokazuje profit od oko 40%. Procjenjuje se da je porast preživljavanja SSD-ova tijekom operacija pisanja u odnosu na rješenje temeljeno na RocksDB-u 7 puta.
Ključne karakteristike HSE:
- Podrška za standardne i napredne operatore za obradu podataka u formatu ključ / vrijednost;
- Potpuna podrška za transakcije i s mogućnošću izoliranja segmenata pohrane stvaranjem snimaka (snimke se također mogu koristiti za održavanje zasebnih kolekcija u trgovini).
- Sposobnost korištenja kursora za prelazak podataka u prikazima zasnovanima na snimci.
- Model podataka optimiziran za mješovite tipove opterećenja u jednom spremištu.
- Fleksibilni mehanizmi za upravljanje pouzdanošću memorije.
- Prilagodljive šeme orkestracije podataka (distribucija kroz različite tipove memorije prisutne u spremištu).
- Biblioteka s C API-jem koji se mogu dinamički povezati s bilo kojom aplikacijom.
Sposobnost skaliranja na terabajt podataka i stotine milijardi ključeva u skladištu. - Efikasna obrada hiljada paralelnih operacija.
- Značajno povećanje propusnosti, smanjena kašnjenja i povećana čitanje / pisanje za različite vrste radnog opterećenja u poređenju sa tipičnim zaobilaznim rješenjima.
- Sposobnost upotrebe različitih klasa SSD-ova u istoj pohrani za optimizaciju performansi i trajnosti.
Kodu motora možete pristupiti putem sljedećeg linka.