HSE, un motor d'emmagatzematge de codi obert, optimitzat SSE per SSD

micron Technology (Una companyia especialitzada en la producció de DRAM i memòria flash) va donar a conèixer la introducció de un nou motor anomenat «HSE» (Heterogeneous-memory Storage cerca), que es va desenvolupar tenint en compte les característiques específiques de l'ús en unitats SSD basades en flash NAND (X100, TLC, QLC 3D NAND) o memòria de només lectura (NVDIMM).

El motor està fet en forma d'una biblioteca per incrustar en altres aplicacions i admet el processament de dades en el format clau-valor. El codi HSE està escrit en C i distribuït sota la llicència Apache 2.0.

Entre les aplicacions de l'motor, s'esmenten aplicacions per a emmagatzematge de dades de baix nivell en DBMS NoSQL, magatzems de programari (SDS, emmagatzematge definit per software) com CEPH i Scality RING, plataformes per processar grans quantitats de dades (Big Data), sistemes informàtics d'alt rendiment (HPC), dispositius d'Internet coses (IOT) i solucions per a sistemes d'aprenentatge automàtic.

HSE està optimitzat no només per aconseguir el màxim rendiment, sinó també per garantir la durabilitat de diverses classes d'unitats SSD. L'alta velocitat es va aconseguiraa través d'un model d'emmagatzematge híbrid: les dades més rellevants s'emmagatzemen a la memòria cau, el que redueix la quantitat d'accessos a el disc.

Com a exemple d'integració de el nou motor en projectes de tercers, es va preparar una versió de l'DBMS MongoDB orientat a documents, que es va traduir per utilitzar HSE.

Tecnològicament, HSE es basa en un mòdul de nucli addicional mpool, Que implementa una interfície especialitzada per emmagatzemar objectes per a unitats d'estat sòlid, tenint en compte les seves capacitats i característiques, el que permet obtenir característiques fonamentalment diferents de velocitat i durabilitat. Mpool també és un desenvolupament de Micron Technology obert simultàniament amb el HSE, però es destaca com un projecte d'infraestructura independent. Mpool assumeix l'ús de memòria persistent i emmagatzematge de zona, però actualment només s'admeten SSD tradicionals.

Les proves de rendiment amb el paquet YCSB (Yahoo Cloud Serving Benchmark) van mostrar un augment significatiu en el rendiment a l'usar un emmagatzematge de 2 TB amb processament de blocs de dades d'1 KB. S'observa un augment de rendiment particularment significatiu en la prova amb una distribució uniforme de les operacions de lectura i escriptura.

Per exemple, MongoDB amb el motor HSE va resultar ser aproximadament 8 vegades més ràpid que la versió amb el motor WiredTiger estàndard, i el motor RocksDB DBMS va superar a l'HSE en més de 6 vegades. Els indicadors excel·lents també són visibles en les proves, que presenten el 95% de les operacions de lectura i el 5% dels canvis o addicions.

Una altra prova realitzada implica només operacions de lectura, demostra un guany d'aproximadament el 40%. L'augment en la capacitat de supervivència de les unitats SSD durant les operacions d'escriptura en comparació amb la solució basada en RocksDB s'estima en 7 vegades.

Característiques clau de HSE:

  • Suport per operadors estàndard i avançats per processar dades en format clau / valor;
  • Suport complet de transaccions i amb la capacitat d'aïllar segments d'emmagatzematge mitjançant la creació d'instantànies (les instantànies també es poden utilitzar per mantenir col·leccions independents en una botiga).
  • Capacitat per utilitzar cursors per travessar dades en representacions basades en instantànies.
  • Un model de dades optimitzat per a tipus de càrrega mixta en un únic repositori.
  • mecanismes flexibles per gestionar la fiabilitat de l'emmagatzematge.
  • Esquemes d'orquestració de dades personalitzables (distribució a través de diferents tipus de memòria presents al repositori).
  • Una biblioteca amb una API C que pot vincular-dinàmicament a qualsevol aplicació.
    La capacitat d'escalar a terabytes de dades i centenars de milers de milions de claus en emmagatzematge.
  • Processament efectiu de milers d'operacions paral·leles.
  • Augment significatiu en l'ample de banda, latència reduïda i major escriptura / lectura per a diversos tipus de càrrega de treball en comparació amb les solucions alternatives típiques.
  • La capacitat d'utilitzar diferents classes de SSD en el mateix emmagatzematge per optimitzar el rendiment i la durabilitat.

Pots accedir a el codi de l'motor des del següent enllaç. 


Sigues el primer a comentar

Deixa el teu comentari

La seva adreça de correu electrònic no es publicarà. Els camps obligatoris estan marcats amb *

*

*

  1. Responsable de les dades: Miguel Ángel Gatón
  2. Finalitat de les dades: Controlar l'SPAM, gestió de comentaris.
  3. Legitimació: El teu consentiment
  4. Comunicació de les dades: No es comunicaran les dades a tercers excepte per obligació legal.
  5. Emmagatzematge de les dades: Base de dades allotjada en Occentus Networks (UE)
  6. Drets: En qualsevol moment pots limitar, recuperar i esborrar la teva informació.