mikron Teknologji (një kompani e specializuar në prodhimin e DRAM dhe flash memorie) zbuloi prezantimin e një motor i ri i quajtur "HSE" (Motori Storage me memorje heterogjene), i cili u zhvillua duke pasur parasysh specifikat e përdorimit në disqet SSD të bazuara në NAND (X100, TLC, QLC 3D NAND) ose memorie vetëm për lexim (NVDIMM).
Motori është bërë në formën e bibliotekës për të futur në aplikacione të tjera dhe mbështet përpunimin e të dhënave në formatin e vlerës kryesorer Kodi HSE është shkruar në C dhe shpërndahet nën licencën Apache 2.0.
Ndër aplikimet motorike, përmenden aplikacionet për ruajtjen e të dhënave në nivel të ulët në NoSQL DBMS, depo softuerësh (SDS, hapësirë ruajtëse e përcaktuar nga softveri) si Ceph dhe Scality RING, platforma për përpunimin e sasive të mëdha të të dhënave (Big Data), sisteme informatikë me performancë të lartë (HPC), pajisje të Internet of things (IoT) dhe zgjidhje për sistemet e të mësuarit makinerik.
HSE është optimizuar jo vetëm për performancën maksimale, por gjithashtu për të siguruar qëndrueshmëri të llojeve të ndryshme të disqeve SSD. Shpejtësia e madhe u arritpërmes një modeli ruajtje hibride: të dhënat më të rëndësishme janë memorizuar, duke zvogëluar numrin e akseseve në disk.
Si një shembull i integrimit të motorit të ri në projektet e palëve të treta, u përgatit një version i orientuar në dokument i MongoDB DBMS, i cili u përkthye për të përdorur HSE.
Teknologjikisht, HSE bazohet në një modul shtesë të modulit të kernelit, i cili zbaton një ndërfaqe të specializuar për ruajtjen e objekteve për disqet e ngurta, duke marrë parasysh aftësitë dhe karakteristikat e tyre, duke lejuar karakteristika thelbësisht të ndryshme të shpejtësisë dhe qëndrueshmërisë. Mpool është gjithashtu një zhvillim i Teknologjisë Mikron i hapur njëkohësisht me HSE, por spikat si një projekt i veçantë i infrastrukturës. Mpool supozon përdorimin e kujtesës së qëndrueshme dhe hapësirës ruajtëse, por aktualisht mbështeten vetëm SSD-të tradicionale.
Testimi i performancës me paketën YCSB (Benchmark Shërbimi i Yahoo Cloud) tregoi një rritje të ndjeshme të performancës kur përdorni hapësirë ruajtëse 2TB me përpunimin e bllokut të të dhënave 1KB. Një rritje veçanërisht e rëndësishme e performancës vërehet në provë me një shpërndarje të barabartë të veprimeve të leximit dhe shkrimit.
P.sh. MongoDB me motorin HSE doli të ishte rreth 8 herë më i shpejtë sesa versioni me motorin standard WiredTiger, dhe motori RocksDB DBMS e tejkaloi HSE më shumë se 6 herë. Tregues të shkëlqyeshëm janë gjithashtu të dukshëm në teste, të cilat tregojnë 95% të operacioneve të leximit dhe 5% të ndryshimeve ose shtesave.
Një provë tjetër e kryer përfshin vetëm operacione leximi, tregon një fitim prej rreth 40%. Rritja e mbijetesës së SSD-ve gjatë operacioneve të shkrimit krahasuar me zgjidhjen e bazuar në RocksDB vlerësohet në 7 herë.
Karakteristikat kryesore të HSE:
- Mbështetje për operatorët standardë dhe të përparuar të përpunojë të dhëna në formatin kyç / vlerë;
- Mbështetje e plotë e transaksionit dhe me aftësinë për të izoluar segmentet e magazinimit duke krijuar fotografi (fotografitë mund të përdoren gjithashtu për të mbajtur koleksione të ndara në një dyqan).
- Aftësia për të përdorur kursorët për të përshkuar të dhëna në përfaqësime të bazuara në fotografi.
- Një model i të dhënave i optimizuar për llojet e ngarkesave të përziera në një depo të vetme.
- Mekanizmat fleksibël për të menaxhuar besueshmërinë e magazinimit.
- Skemat e rregullueshme të orkestrimit të të dhënave (shpërndarja përmes llojeve të ndryshme të kujtesës të pranishme në depo).
- Një bibliotekë me C API i cili mund të lidhet dinamikisht me çdo aplikacion.
Aftësia për të shkallëzuar në terabajt të të dhënave dhe qindra miliarda çelësa në ruajtje. - Përpunimi efektiv i mijëra operacioneve paralele.
- Rritje e ndjeshme e gjerësisë së bandës, latente e zvogëluar dhe lexim / shkrim më i lartë për lloje të ndryshme të ngarkesës së punës krahasuar me mënyrat tipike të punës.
- Aftësia për të përdorur klasa të ndryshme të SSD-ve në të njëjtën hapësirë ruajtëse për të optimizuar performancën dhe qëndrueshmërinë.
Mund të përdorni kodin e motorit nga lidhja më poshtë.