HSE, një motor ruajtje me burim të hapur, SSE i optimizuar për SSD


mikron Teknologji (një kompani e specializuar në prodhimin e DRAM dhe flash memorie) zbuloi prezantimin e një motor i ri i quajtur "HSE" (Motori Storage me memorje heterogjene), i cili u zhvillua duke pasur parasysh specifikat e përdorimit në disqet SSD të bazuara në NAND (X100, TLC, QLC 3D NAND) ose memorie vetëm për lexim (NVDIMM).

Motori është bërë në formën e bibliotekës për të futur në aplikacione të tjera dhe mbështet përpunimin e të dhënave në formatin e vlerës kryesorer Kodi HSE është shkruar në C dhe shpërndahet nën licencën Apache 2.0.

Ndër aplikimet motorike, përmenden aplikacionet për ruajtjen e të dhënave në nivel të ulët në NoSQL DBMS, depo softuerësh (SDS, hapësirë ​​ruajtëse e përcaktuar nga softveri) si Ceph dhe Scality RING, platforma për përpunimin e sasive të mëdha të të dhënave (Big Data), sisteme informatikë me performancë të lartë (HPC), pajisje të Internet of things (IoT) dhe zgjidhje për sistemet e të mësuarit makinerik.

HSE është optimizuar jo vetëm për performancën maksimale, por gjithashtu për të siguruar qëndrueshmëri të llojeve të ndryshme të disqeve SSD. Shpejtësia e madhe u arritpërmes një modeli ruajtje hibride: të dhënat më të rëndësishme janë memorizuar, duke zvogëluar numrin e akseseve në disk.

Si një shembull i integrimit të motorit të ri në projektet e palëve të treta, u përgatit një version i orientuar në dokument i MongoDB DBMS, i cili u përkthye për të përdorur HSE.

Teknologjikisht, HSE bazohet në një modul shtesë të modulit të kernelit, i cili zbaton një ndërfaqe të specializuar për ruajtjen e objekteve për disqet e ngurta, duke marrë parasysh aftësitë dhe karakteristikat e tyre, duke lejuar karakteristika thelbësisht të ndryshme të shpejtësisë dhe qëndrueshmërisë. Mpool është gjithashtu një zhvillim i Teknologjisë Mikron i hapur njëkohësisht me HSE, por spikat si një projekt i veçantë i infrastrukturës. Mpool supozon përdorimin e kujtesës së qëndrueshme dhe hapësirës ruajtëse, por aktualisht mbështeten vetëm SSD-të tradicionale.

Testimi i performancës me paketën YCSB (Benchmark Shërbimi i Yahoo Cloud) tregoi një rritje të ndjeshme të performancës kur përdorni hapësirë ​​ruajtëse 2TB me përpunimin e bllokut të të dhënave 1KB. Një rritje veçanërisht e rëndësishme e performancës vërehet në provë me një shpërndarje të barabartë të veprimeve të leximit dhe shkrimit.

P.sh. MongoDB me motorin HSE doli të ishte rreth 8 herë më i shpejtë sesa versioni me motorin standard WiredTiger, dhe motori RocksDB DBMS e tejkaloi HSE më shumë se 6 herë. Tregues të shkëlqyeshëm janë gjithashtu të dukshëm në teste, të cilat tregojnë 95% të operacioneve të leximit dhe 5% të ndryshimeve ose shtesave.

Një provë tjetër e kryer përfshin vetëm operacione leximi, tregon një fitim prej rreth 40%. Rritja e mbijetesës së SSD-ve gjatë operacioneve të shkrimit krahasuar me zgjidhjen e bazuar në RocksDB vlerësohet në 7 herë.

Karakteristikat kryesore të HSE:

  • Mbështetje për operatorët standardë dhe të përparuar të përpunojë të dhëna në formatin kyç / vlerë;
  • Mbështetje e plotë e transaksionit dhe me aftësinë për të izoluar segmentet e magazinimit duke krijuar fotografi (fotografitë mund të përdoren gjithashtu për të mbajtur koleksione të ndara në një dyqan).
  • Aftësia për të përdorur kursorët për të përshkuar të dhëna në përfaqësime të bazuara në fotografi.
  • Një model i të dhënave i optimizuar për llojet e ngarkesave të përziera në një depo të vetme.
  • Mekanizmat fleksibël për të menaxhuar besueshmërinë e magazinimit.
  • Skemat e rregullueshme të orkestrimit të të dhënave (shpërndarja përmes llojeve të ndryshme të kujtesës të pranishme në depo).
  • Një bibliotekë me C API i cili mund të lidhet dinamikisht me çdo aplikacion.
    Aftësia për të shkallëzuar në terabajt të të dhënave dhe qindra miliarda çelësa në ruajtje.
  • Përpunimi efektiv i mijëra operacioneve paralele.
  • Rritje e ndjeshme e gjerësisë së bandës, latente e zvogëluar dhe lexim / shkrim më i lartë për lloje të ndryshme të ngarkesës së punës krahasuar me mënyrat tipike të punës.
  • Aftësia për të përdorur klasa të ndryshme të SSD-ve në të njëjtën hapësirë ​​ruajtëse për të optimizuar performancën dhe qëndrueshmërinë.

Mund të përdorni kodin e motorit nga lidhja më poshtë. 


Përmbajtja e artikullit i përmbahet parimeve tona të etika editoriale. Për të raportuar një gabim klikoni këtu.

Bëhu i pari që komenton

Lini komentin tuaj

Adresa juaj e emailit nuk do të publikohet.

*

*

  1. Përgjegjës për të dhënat: Miguel Ángel Gatón
  2. Qëllimi i të dhënave: Kontrolloni SPAM, menaxhimin e komenteve.
  3. Legjitimimi: Pëlqimi juaj
  4. Komunikimi i të dhënave: Të dhënat nuk do t'u komunikohen palëve të treta përveç me detyrim ligjor.
  5. Ruajtja e të dhënave: Baza e të dhënave e organizuar nga Occentus Networks (BE)
  6. Të drejtat: Në çdo kohë mund të kufizoni, rikuperoni dhe fshini informacionin tuaj.

bool (e vërtetë)