microni Tehnologie (o companie specializată în producția de memorie DRAM și flash) a lansat introducerea lui un nou motor numit „HSE” (Motor de stocare cu memorie heterogenă), care a fost dezvoltat având în vedere specificul utilizării pe unitățile SSD bazate pe flash NAND (X100, TLC, QLC 3D NAND) sau memorie de numai citire (NVDIMM).
Motorul este realizat sub forma unei biblioteci pentru a încorpora în alte aplicații și acceptă procesarea datelor în format cheie-valoarer. Codul HSE este scris în C și distribuit sub licența Apache 2.0.
Printre aplicațiile pentru motoare, sunt menționate aplicațiile pentru stocarea datelor la nivel scăzut în SGBD NoSQL, depozite software (SDS, stocare definită de software) precum Ceph și Scality RING, platforme pentru procesarea unor cantități mari de date (Big Data), sisteme de calcul performante (HPC), dispozitive Internet of Things (IoT) și soluții pentru sisteme de învățare automată.
HSE este optimizat nu numai pentru performanțe maxime, dar și pentru a asigura durabilitatea diferitelor tipuri de unități SSD. Viteza mare a fost atinsăprintr-un model de stocare hibrid: datele cele mai relevante sunt stocate în cache, reducând numărul de accesări pe disc.
Ca exemplu de integrare a noului motor în proiecte terțe, a fost pregătită o versiune orientată spre documente a MongoDB DBMS, care a fost tradusă pentru a utiliza HSE.
Tehnologic, HSE se bazează pe un modul suplimentar de nucleu mpool, care implementează o interfață specializată pentru stocarea obiectelor pentru unitățile în stare solidă, luând în considerare capacitățile și caracteristicile acestora, permițând caracteristici fundamental diferite de viteză și durabilitate. Mpool este, de asemenea, o dezvoltare Micron Technology deschisă simultan cu HSE, dar se remarcă ca un proiect de infrastructură separat. Mpool își asumă utilizarea memoriei persistente și a spațiului de stocare, dar în prezent sunt acceptate doar SSD-urile tradiționale.
Testarea performanței cu pachetul YCSB (Yahoo Cloud Serving Benchmark) a arătat o creștere semnificativă a performanței atunci când se utilizează stocarea de 2 TB cu procesarea blocului de date de 1 KB. O creștere a performanței deosebit de semnificativă este observată în test cu o distribuție uniformă a operațiilor de citire și scriere.
De exemplu, MongoDB cu motorul HSE s-a dovedit a fi de aproximativ 8 ori mai rapid decât versiunea cu motorul standard WiredTiger, iar motorul RocksDB DBMS a depășit performanța HSE de peste 6 ori. Indicatori excelenți sunt, de asemenea, vizibili în teste, care arată 95% din operațiile de citire și 5% din modificări sau adăugiri.
Un alt test efectuat implică doar operații de citire, arată un profit de aproximativ 40%. Creșterea supraviețuirii SSD-urilor în timpul operațiunilor de scriere comparativ cu soluția bazată pe RocksDB este estimată a fi de 7 ori.
Caracteristici cheie ale HSE:
- Suport pentru operatori standard și avansați să proceseze date în format cheie / valoare;
- Suport complet pentru tranzacții și posibilitatea de a izola segmente de stocare prin crearea instantaneelor (instantaneele pot fi folosite și pentru a menține colecții separate într-un magazin).
- Abilitatea de a utiliza cursorele pentru a traversa date în reprezentări bazate pe instantanee.
- Un model de date optimizat pentru tipuri de încărcare mixte într-un singur depozit.
- Mecanisme flexibile pentru a gestiona fiabilitatea stocării.
- Scheme personalizate de orchestrare a datelor (distribuție prin diferite tipuri de memorie prezente în depozit).
- O bibliotecă cu un API C care poate fi legat dinamic de orice aplicație.
Capacitatea de a scala la terabytes de date și sute de miliarde de chei stocate. - Prelucrarea eficientă a mii de operațiuni paralele.
- Creșterea semnificativă a lățimii de bandă, latența redusă și citirea / scrierea crescută pentru diferite tipuri de sarcini de lucru comparativ cu soluțiile tipice de soluționare.
- Capacitatea de a utiliza diferite clase de SSD-uri în același spațiu de stocare pentru a optimiza performanța și durabilitatea.
Puteți accesa codul motorului din linkul de mai jos.