mikrono technologijos (įmonė specializuojasi DRAM ir „flash“ atminties gamyboje) pristatė paskambino naujas variklis „HSE“ („Heterogeneous-memory Storage Engine“), kuris buvo sukurtas atsižvelgiant į naudojimo specifiką NAND „flash“ SSD diskuose (X100, TLC, QLC 3D NAND) arba tik skaitymo atmintį (NVDIMM).
Variklis pagamintas bibliotekos pavidalu įdėti į kitas programas ir palaiko duomenų apdorojimą rakto vertės formatur. HSE kodas rašomas C ir platinamas pagal „Apache 2.0“ licenciją.
Tarp variklio programų, minimos žemo lygio duomenų saugojimo programos „NoSQL“ DBVS, programinės įrangos sandėliuose (SDS, programinės įrangos apibrėžtose saugyklose), pvz., „Ceph“ ir „Scality RING“, platformose, skirtose apdoroti didelius duomenų kiekius („Big Data“), didelio našumo skaičiavimo sistemose (HPC), daiktų interneto (IoT) įrenginiuose ir mašininio mokymosi sistemų sprendimai.
HSE yra optimizuotas ne tik maksimaliam našumui, bet ir užtikrinti įvairių rūšių SSD diskų ilgaamžiškumą. Buvo pasiektas didelis greitisnaudojant hibridinį saugojimo modelį: svarbiausi duomenys yra talpykloje, todėl sumažėja prieigų prie disko skaičius.
Kaip naujo variklio integravimo į trečiųjų šalių projektus pavyzdys, buvo parengta į dokumentus orientuota „MongoDB DBMS“ versija, kuri buvo išversta į HSE.
Technologiškai HSE yra pagrįstas papildomu branduolio moduliu „mpool“, kuriame įdiegta specializuota sąsaja objektams laikyti kietojo kūno diskuose, atsižvelgiant į jų galimybes ir savybes, leidžiančias gauti iš esmės skirtingas greičio ir ilgaamžiškumo savybes. „Mpool“ taip pat yra „Micron Technology“ plėtra, atidaryta kartu su HSE, tačiau ji išsiskiria kaip atskiras infrastruktūros projektas. „Mpool“ numato naudoti nuolatinę atmintį ir zonų saugyklą, tačiau šiuo metu palaikomi tik tradiciniai SSD diskai.
Veikimo testavimas naudojant YCSB paketą („Yahoo Cloud Serving Benchmark“), pastebimai padidėjo našumas naudojant 2TB saugyklą ir apdorojant 1KB duomenų bloką. Ypač reikšmingas našumas pastebimas atliekant testą tolygiai paskirstant skaitymo ir rašymo operacijas.
Pavyzdžiui, „MongoDB“ su HSE varikliu pasirodė maždaug 8 kartus greitesnis nei versija su standartiniu „WiredTiger“ varikliu, o „RocksDB DBMS“ variklis viršijo HSE daugiau nei 6 kartus. Testuose taip pat matomi puikūs rodikliai, kurie parodo 95% skaitymo operacijų ir 5% pakeitimų ar papildymų.
Kitas atliktas testas apima tik skaitymo operacijas, jis rodo apie 40% pelną. Manoma, kad SSD išgyvenamumo padidėjimas rašymo operacijų metu, palyginti su „RocksDB“ pagrindu sukurtu sprendimu, yra 7 kartus.
Pagrindinės HSE savybės:
- Palaikymas standartiniams ir pažengusiems operatoriams apdoroti duomenis rakto / vertės formatu;
- Visiškas operacijų palaikymas ir galimybė izoliuoti saugyklos segmentus kuriant momentines nuotraukas (momentinės nuotraukos taip pat gali būti naudojamos atskiroms kolekcijoms palaikyti parduotuvėje).
- Galimybė naudoti žymeklius norint pereiti duomenis vaizdais pagrįstose reprezentacijose.
- Duomenų modelis, optimizuotas mišrioms apkrovos rūšims vienoje saugykloje.
- Lankstūs mechanizmai valdyti saugojimo patikimumą.
- Tinkinamos duomenų tvarkymo schemos (paskirstymas per įvairias atminties rūšis, esančias saugykloje).
- Biblioteka su C API kurį galima dinamiškai susieti su bet kuria programa.
Galimybė išplėsti iki terabaitų duomenų ir šimtų milijardų raktų saugykloje. - Efektyvus tūkstančių lygiagrečių operacijų apdorojimas.
- Žymiai padidėjęs pralaidumas, sumažėjęs delsos laikas ir didesnis skaitymo / rašymo įvairių tipų krūviui, palyginti su tipiškais būdais.
- Galimybė naudoti skirtingų klasių SSD diskus toje pačioje saugykloje, siekiant optimizuoti našumą ir patvarumą.
Galite pasiekti variklio kodą iš žemiau pateiktos nuorodos.