Micron Technology (një kompani e specializuar në prodhimin e DRAM dhe memories flash) njoftoi prezantimin e një motori të ri të quajtur "HSE" (Heterogeneous-memory Storage Engine), i cili u zhvillua duke marrë parasysh karakteristikat specifike të përdorimit në njësitë SSD të bazuara në memorien flash NAND (X100, TLC, QLC 3D NAND) ose memorien vetëm për lexim (NVDIMM).
Motori është projektuar si një bibliotekë për integrimin në aplikacione të tjera dhe mbështet përpunimin e të dhënave çelës-vlerë . Kodi HSE është shkruar në C dhe shpërndahet sipas licencës Apache 2.0.
Ndër aplikimet e motorit janë ruajtja e të dhënave në nivel të ulët në NoSQL DBMS, ruajtja e përcaktuar nga softueri (SDS) si Ceph dhe Scality RING, platformat për përpunimin e sasive të mëdha të të dhënave (Big Data), sistemet e informatikës me performancë të lartë (HPC), pajisjet e Internetit të Gjërave (IoT) dhe zgjidhjet për sistemet e të mësuarit automatik.
HSE është optimizuar jo vetëm për performancë maksimale , por edhe për të siguruar qëndrueshmërinë e klasave të ndryshme të SSD-ve. Shpejtësia e lartë arrihet përmes një modeli hibrid të ruajtjes: të dhënat më të rëndësishme ruhen në memorien e përkohshme, duke zvogëluar numrin e akseseve në disk.
Si një shembull i integrimit të motorit të ri në projektet e palëve të treta, u përgatit një version i orientuar në dokument i MongoDB DBMS, i cili u përkthye për të përdorur HSE.
Teknologjikisht, HSE bazohet në një modul shtesë bazë, mpool , i cili zbaton një ndërfaqe të specializuar për ruajtjen e objekteve për disqet SSD, duke marrë parasysh aftësitë dhe karakteristikat e tyre, duke mundësuar kështu karakteristika thelbësisht të ndryshme të shpejtësisë dhe qëndrueshmërisë. Mpool është gjithashtu një zhvillim me burim të hapur nga Micron Technology, i lëshuar njëkohësisht me HSE, por dallohet si një projekt infrastrukturor i veçantë. Mpool supozon përdorimin e memories së përhershme dhe ruajtjes së zonës, por aktualisht mbështeten vetëm SSD-të tradicionale.
Testet e performancës duke përdorur paketën YCSB (Yahoo Cloud Serving Benchmark) treguan një rritje të ndjeshme të performancës kur u përdorën 2 TB hapësirë ruajtjeje me përpunim të bllokut të të dhënave prej 1 KB. Një rritje veçanërisht e ndjeshme e performancës u vu re në testin me një shpërndarje uniforme të operacioneve të leximit dhe shkrimit.
Për shembull, MongoDB me motorin HSE rezultoi të ishte afërsisht 8 herë më i shpejtë se versioni me motorin standard WiredTiger, dhe motori RocksDB DBMS e tejkaloi HSE-në me më shumë se 6 herë. Tregues të shkëlqyer të performancës janë gjithashtu të dukshëm në teste, të cilat paraqitën 95% operacione leximi dhe vetëm 5% ndryshime ose shtesa.
Një provë tjetër e kryer përfshin vetëm operacione leximi, tregon një fitim prej rreth 40%. Rritja e mbijetesës së SSD-ve gjatë operacioneve të shkrimit krahasuar me zgjidhjen e bazuar në RocksDB vlerësohet në 7 herë.
Karakteristikat kryesore të HSE:
- Mbështetje për operatorët standardë dhe të përparuar të përpunojë të dhëna në formatin kyç / vlerë;
- Mbështetje e plotë e transaksionit dhe me aftësinë për të izoluar segmentet e magazinimit duke krijuar fotografi (fotografitë mund të përdoren gjithashtu për të mbajtur koleksione të ndara në një dyqan).
- Aftësia për të përdorur kursorët për të përshkuar të dhëna në përfaqësime të bazuara në fotografi.
- Një model i të dhënave i optimizuar për llojet e ngarkesave të përziera në një depo të vetme.
- Mekanizmat fleksibël për të menaxhuar besueshmërinë e magazinimit.
- Skemat e rregullueshme të orkestrimit të të dhënave (shpërndarja përmes llojeve të ndryshme të kujtesës të pranishme në depo).
- Një bibliotekë me C API i cili mund të lidhet dinamikisht me çdo aplikacion.
Aftësia për të shkallëzuar në terabajt të të dhënave dhe qindra miliarda çelësa në ruajtje. - Përpunimi efektiv i mijëra operacioneve paralele.
- Rritje e ndjeshme e gjerësisë së bandës, latente e zvogëluar dhe lexim / shkrim më i lartë për lloje të ndryshme të ngarkesës së punës krahasuar me mënyrat tipike të punës.
- Aftësia për të përdorur klasa të ndryshme të SSD-ve në të njëjtën hapësirë ruajtëse për të optimizuar performancën dhe qëndrueshmërinë.
Mund të qaseni në kodin e motorit nga lidhja e mëposhtme.