HSE, yon motè depo louvri sous, optimisé SSE pou SSD


micron Teknoloji (yon konpayi espesyalize nan pwodiksyon DRAM ak memwa flash) inogire entwodiksyon de yon nouvo motè ki rele "HSE" (Heterogeneous-memwa Depo Engine), ki te devlope ak spesifik yo nan itilize nan tèt ou sou NAND flash ki baze sou kondui SSD (X100, TLC, QLC 3D NAND) oswa li sèlman memwa (NVDIMM).

Motè a fèt sou fòm yon bibliyotèk entegre nan aplikasyon pou lòt ak sipòte pwosesis done nan fòma kle-valèr. Kòd HSE a ekri nan C epi distribiye anba lisans Apache 2.0.

Pami aplikasyon pou motè yo, aplikasyon pou ba-nivo depo done yo mansyone nan DBMS NoSQL, depo lojisyèl (SDS, lojisyèl-defini depo) tankou Ceph ak Scality RING, tribin pou trete gwo kantite done (Big Done), pèfòmans-wo sistèm informatik (HPC), entènèt nan bagay sa yo (Io) aparèy ak solisyon pou sistèm aprantisaj machin.

HSE optimize pa sèlman pou pèfòmans maksimòm, men tou, asire durability nan divès kalite kondui SSD. Gwo vitès an te reyalizeatravè yon modèl depo ibrid: done ki pi enpòtan yo se kach, diminye kantite aksè ki gen kapasite.

Kòm yon egzanp nan entegre motè a nouvo nan pwojè twazyèm-pati, yo te prepare yon vèsyon dokiman-oryante nan MongoDB DBMS la, ki te tradui yo sèvi ak HSE.

Teknolojikman, HSE baze sou yon mpool modil Kernel adisyonèl, ki aplike yon koòdone espesyalize pou estoke objè pou kondwi eta solid, pran an kont kapasite yo ak karakteristik, sa ki pèmèt pou karakteristik fondamantalman diferan nan vitès ak rezistans. Mpool se tou yon devlopman Micron Teknoloji louvri ansanm ak HSE a, men li vle di soti kòm yon pwojè enfrastrikti separe. Mpool sipoze itilize nan memwa ki pèsistan ak depo zòn, men kounye a sèlman SSD tradisyonèl yo sipòte.

Tès pèfòmans ak pake YCSB la (Yahoo Cloud Sèvi Benchmark) te montre yon ogmantasyon siyifikatif nan pèfòmans lè w ap itilize 2TB depo ak 1KB pwosesis blòk done. Yon ogmantasyon pèfòmans patikilyèman enpòtan obsève nan tès la ak yon distribisyon menm nan li ak ekri operasyon yo.

Kòm egzanp MongoDB ak motè HSE la te tounen apeprè 8 fwa pi vit pase vèsyon an ak motè a estanda WiredTiger, ak RocksDB DBMS motè a pèfòme HSE a pa plis pase 6 fwa. Endikatè ekselan yo vizib tou nan tès yo, ki montre 95% nan operasyon li yo ak 5% nan chanjman oswa ajoute.

Yon lòt tès ki fèt enplike sèlman li operasyon yo, li montre yon pwofi sou 40%. Se ogmantasyon nan sivivite nan SSD pandan operasyon ekri konpare ak solisyon an RocksDB ki baze sou estime yo dwe 7 fwa.

Karakteristik kle nan HSE:

  • Sipò pou operatè estanda ak avanse nan pwosesis done nan fòma kle / valè;
  • Sipò pou tranzaksyon konplè ak kapasite pou izole segman depo yo nan kreye Pariod (Pariod ka itilize tou pou kenbe koleksyon apa nan yon magazen).
  • Ability yo sèvi ak kurseur yo Traverse done nan reprezantasyon ki baze sou snapshot.
  • Yon modèl done optimize pou kalite chaj melanje nan yon sèl depo.
  • Mekanis fleksib jere fyab depo.
  • Pèsonalize done òkestrasyon rapid (distribisyon nan diferan kalite memwa prezan nan depo a).
  • Yon bibliyotèk ak yon C API ki ka dinamik lye nan nenpòt aplikasyon.
    Kapasite nan echèl terabytes nan done ak dè santèn de dè milya de kle nan depo.
  • Pwosesis efikas nan dè milye de operasyon paralèl.
  • Ogmantasyon siyifikatif nan Pleasant, redwi latansi, ak ogmante li / ekri pou divès kalite kantite travay konpare ak solisyon tipik.
  • Kapasite pou itilize diferan klas SSD nan menm depo pou optimize pèfòmans ak rezistans.

Ou kapab jwenn aksè nan kòd motè a soti nan lyen ki anba a. 


Kontni an nan atik la respekte prensip nou yo nan etik editoryal. Pou rapòte yon erè klike sou isit la.

Se pou premye a fè kòmantè

Kite kòmantè ou

Adrès imèl ou pa pral dwe pibliye.

*

*

  1. Responsab pou done yo: Miguel Ángel Gatón
  2. Objektif done yo: Kontwòl SPAM, jesyon kòmantè.
  3. Lejitimasyon: konsantman ou
  4. Kominikasyon nan done yo: done yo pa pral kominike bay twazyèm pati eksepte pa obligasyon legal.
  5. Done depo: baz done anime pa rezo Occentus (Inyon Ewopeyen)
  6. Dwa: Nenpòt ki lè ou ka limite, refè ak efase enfòmasyon ou yo.

bool (vre)