Micron Technology (kompanija specijalizirana za proizvodnju DRAM-a i flash memorije) objavio uvod novi motor nazvan "HSE" (Heterogeneous-memory Storage Engine), koji je razvijen uzimajući u obzir specifičnosti upotrebe na NAND flash zasnovan SSD diskovima (X100, TLC, QLC 3D NAND) ili memorija samo za čitanje (NVDIMM).
Motor je napravljen u obliku biblioteke za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ / vrijednostr. HSE kôd napisan je na C jeziku i distribuiran pod licencom Apache 2.0.
Među primjenama motora, spomenute su aplikacije za pohranu podataka na niskom nivou u NoSQL DBMS-u, softverska skladišta (SDS, softverski definisano skladište) kao što su Ceph i Scality RING, platforme za obradu velike količine podataka (Big Data), računarski sistemi visokih performansi (HPC), uređaji za Internet stvari (IoT) i rješenja za sisteme mašinskog učenja.
HSE je optimiziran ne samo za maksimalne performanse, ali i da osigura trajnost različitih vrsta SSD pogona. Postignuta je velika brzinakroz hibridni model skladištenja: najrelevantniji podaci se keširaju, smanjujući broj pristupa disku.
Kao primjer integracije novog motora u projekte nezavisnih proizvođača, pripremljena je verzija MongoDB DBMS-a orijentisana na dokumente, koja je prevedena da koristi HSE.
Tehnološki, HSE zasnovan je na dodatnom modulu jezgre mpool, koji implementira specijalizovano sučelje za skladištenje objekata za SSD pogone, uzimajući u obzir njihove mogućnosti i karakteristike, omogućavajući postizanje bitno različitih karakteristika brzine i trajnosti. Mpool je također razvoj tvrtke Micron Technology otvoren istovremeno s HSE-om, ali se ističe kao zaseban infrastrukturni projekt. Mpool pretpostavlja upotrebu trajne memorije i spremišta zona, ali trenutno su podržani samo tradicionalni SSD-ovi.
Testiranje performansi sa YCSB paketom (Yahoo Cloud Serving Benchmark) pokazao je značajan porast performansi kada se koristi 2TB prostora za pohranu s 1KB obrade bloka podataka. Naročito značajan porast performansi primjećuje se u testu s ravnomjernom raspodjelom operacija čitanja i pisanja.
Na primjer, Ispostavilo se da je MongoDB sa HSE motorom bio oko 8 puta brži nego verzija sa standardnim WiredTiger motorom, a RocksDB DBMS motor nadmašio je HSE više od 6 puta. Odlični pokazatelji vidljivi su i u testovima koji pokazuju 95% operacija čitanja i 5% promjena ili dodavanja.
Drugi izvedeni test uključuje samo operacije čitanja i pokazuje profit od oko 40%. Procjenjuje se da je porast preživljavanja SSD-ova tijekom operacija pisanja u odnosu na rješenje temeljeno na RocksDB-u 7 puta.
Ključne karakteristike HSE:
- Podrška za standardne i napredne operatore za obradu podataka u formatu ključ / vrijednost;
- Potpuna podrška za transakcije i s mogućnošću izoliranja segmenata pohrane stvaranjem snimaka (snimke se također mogu koristiti za održavanje zasebnih kolekcija u trgovini).
- Sposobnost korištenja kursora za prelazak podataka u prikazima zasnovanima na snimci.
- Model podataka optimiziran za mješovite tipove opterećenja u jednom spremištu.
- Fleksibilni mehanizmi za upravljanje pouzdanošću memorije.
- Prilagodljive šeme orkestracije podataka (distribucija kroz različite tipove memorije prisutne u spremištu).
- Biblioteka s C API-jem koji se mogu dinamički povezati s bilo kojom aplikacijom.
Sposobnost skaliranja na terabajt podataka i stotine milijardi ključeva u skladištu. - Efikasna obrada hiljada paralelnih operacija.
- Značajno povećanje propusnosti, smanjena kašnjenja i povećana čitanje / pisanje za različite vrste radnog opterećenja u poređenju sa tipičnim zaobilaznim rješenjima.
- Sposobnost upotrebe različitih klasa SSD-ova u istoj pohrani za optimizaciju performansi i trajnosti.
Možete pristupiti kodu motora sa linka ispod.