HSE, mehanizam za pohranu otvorenog koda, optimiziran SSE za SSD


Micron Technology (kompanija specijalizirana za proizvodnju DRAM-a i flash memorije) objavio uvod novi motor nazvan "HSE" (Heterogeneous-memory Storage Engine), koji je razvijen uzimajući u obzir specifičnosti upotrebe na NAND flash zasnovan SSD diskovima (X100, TLC, QLC 3D NAND) ili memorija samo za čitanje (NVDIMM).

Motor je napravljen u obliku biblioteke za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ / vrijednostr. HSE kôd napisan je na C jeziku i distribuiran pod licencom Apache 2.0.

Među primjenama motora, spomenute su aplikacije za pohranu podataka na niskom nivou u NoSQL DBMS-u, softverska skladišta (SDS, softverski definisano skladište) kao što su Ceph i Scality RING, platforme za obradu velike količine podataka (Big Data), računarski sistemi visokih performansi (HPC), uređaji za Internet stvari (IoT) i rješenja za sisteme mašinskog učenja.

HSE je optimiziran ne samo za maksimalne performanse, ali i da osigura trajnost različitih vrsta SSD pogona. Postignuta je velika brzinakroz hibridni model skladištenja: najrelevantniji podaci se keširaju, smanjujući broj pristupa disku.

Kao primjer integracije novog motora u projekte nezavisnih proizvođača, pripremljena je verzija MongoDB DBMS-a orijentisana na dokumente, koja je prevedena da koristi HSE.

Tehnološki, HSE zasnovan je na dodatnom modulu jezgre mpool, koji implementira specijalizovano sučelje za skladištenje objekata za SSD pogone, uzimajući u obzir njihove mogućnosti i karakteristike, omogućavajući postizanje bitno različitih karakteristika brzine i trajnosti. Mpool je također razvoj tvrtke Micron Technology otvoren istovremeno s HSE-om, ali se ističe kao zaseban infrastrukturni projekt. Mpool pretpostavlja upotrebu trajne memorije i spremišta zona, ali trenutno su podržani samo tradicionalni SSD-ovi.

Testiranje performansi sa YCSB paketom (Yahoo Cloud Serving Benchmark) pokazao je značajan porast performansi kada se koristi 2TB prostora za pohranu s 1KB obrade bloka podataka. Naročito značajan porast performansi primjećuje se u testu s ravnomjernom raspodjelom operacija čitanja i pisanja.

Na primjer, Ispostavilo se da je MongoDB sa HSE motorom bio oko 8 puta brži nego verzija sa standardnim WiredTiger motorom, a RocksDB DBMS motor nadmašio je HSE više od 6 puta. Odlični pokazatelji vidljivi su i u testovima koji pokazuju 95% operacija čitanja i 5% promjena ili dodavanja.

Drugi izvedeni test uključuje samo operacije čitanja i pokazuje profit od oko 40%. Procjenjuje se da je porast preživljavanja SSD-ova tijekom operacija pisanja u odnosu na rješenje temeljeno na RocksDB-u 7 puta.

Ključne karakteristike HSE:

  • Podrška za standardne i napredne operatore za obradu podataka u formatu ključ / vrijednost;
  • Potpuna podrška za transakcije i s mogućnošću izoliranja segmenata pohrane stvaranjem snimaka (snimke se također mogu koristiti za održavanje zasebnih kolekcija u trgovini).
  • Sposobnost korištenja kursora za prelazak podataka u prikazima zasnovanima na snimci.
  • Model podataka optimiziran za mješovite tipove opterećenja u jednom spremištu.
  • Fleksibilni mehanizmi za upravljanje pouzdanošću memorije.
  • Prilagodljive šeme orkestracije podataka (distribucija kroz različite tipove memorije prisutne u spremištu).
  • Biblioteka s C API-jem koji se mogu dinamički povezati s bilo kojom aplikacijom.
    Sposobnost skaliranja na terabajt podataka i stotine milijardi ključeva u skladištu.
  • Efikasna obrada hiljada paralelnih operacija.
  • Značajno povećanje propusnosti, smanjena kašnjenja i povećana čitanje / pisanje za različite vrste radnog opterećenja u poređenju sa tipičnim zaobilaznim rješenjima.
  • Sposobnost upotrebe različitih klasa SSD-ova u istoj pohrani za optimizaciju performansi i trajnosti.

Možete pristupiti kodu motora sa linka ispod. 


Sadržaj članka pridržava se naših principa urednička etika. Da biste prijavili grešku, kliknite ovdje.

Budite prvi koji komentarišete

Ostavite komentar

Vaša e-mail adresa neće biti objavljena. Obavezna polja su označena sa *

*

*

  1. Za podatke odgovoran: Miguel Ángel Gatón
  2. Svrha podataka: Kontrola neželjene pošte, upravljanje komentarima.
  3. Legitimacija: Vaš pristanak
  4. Komunikacija podataka: Podaci se neće dostavljati trećim stranama, osim po zakonskoj obavezi.
  5. Pohrana podataka: Baza podataka koju hostuje Occentus Networks (EU)
  6. Prava: U bilo kojem trenutku možete ograničiti, oporaviti i izbrisati svoje podatke.