HSE, en Open Source Späichermotor, optiméiert SSE fir SSD


Micron Technology (eng Firma spezialiséiert op d'Produktioun vun DRAM a Flash Memory) demaskéierte der Aféierung vun en neie Motor genannt "HSE" (Heterogen-Memory Memory), dee mat de Spezifizitéiten vum Gebrauch am Kapp entwéckelt gouf op NAND Flash baséiert SSD fiert (X100, TLC, QLC 3D NAND) oder nëmmen liesen Erënnerung (NVDIMM).

De Motor gëtt a Form vun enger Bibliothéik gemaach an aner Uwendungen anzebannen an ënnerstëtzt Datenveraarbechtung am Schlësselwäertformatr. Den HSE Code gëtt an C geschriwwen an ënner der Apache 2.0 Lizenz verdeelt.

Ënnert de Motorapplikatiounen, Uwendunge fir nidderegen Niveau Datenspeicher ginn erwähnt an NoSQL DBMS, Software Lagerhaiser (SDS, Software-definéierte Späicher) wéi Ceph a Scality RING, Plattforme fir Veraarbechtung vu grousse Quantitéiten un Daten (Big Data), High-Performance Computing Systems (HPC), Internet of Things (IoT) Geräter an Léisunge fir Maschinneléiere Systemer.

Den HSE ass net nëmme fir maximal Leeschtung optiméiert, awer och fir d'Haltbarkeet vu verschiddenen Aarte vu SSD fiert ze garantéieren. Déi héich Geschwindegkeet gouf erreechtduerch en hybrid Späichermodell: déi relevant Donnéeë gi gespäichert, reduzéiert d'Zuel vun den Disk Zougang.

Als Beispill fir den neie Motor an Drëttparteiprojeten z'integréieren, gouf eng dokumentorientéiert Versioun vum MongoDB DBMS preparéiert, déi iwwersat gouf fir den HSE ze benotzen.

Technologesch, HSE baséiert op engem zousätzleche Kernel Modul mpool, déi eng spezialiséiert Interface implementéiert fir Objete fir Solid State Drive ze späicheren, andeems se hir Fäegkeeten a Charakteristiken berécksiichtegen, wouduerch grondsätzlech verschidde Charakteristike vu Geschwindegkeet an Haltbarkeet kréien. Mpool ass och eng Micron Technologie Entwécklung, déi gläichzäiteg mam HSE op ass, awer et steet als en eegene Infrastrukturprojet eraus. Mpool iwwerhëlt d'Benotzung vu persistentem Gedächtnis an Zone Speicher, awer aktuell ginn nëmmen traditionell SSDs ënnerstëtzt.

Leeschtungstest mam YCSB Package (Yahoo Cloud Serving Benchmark) huet eng bedeitend Erhéijung vun der Leeschtung gewisen wann Dir 2TB Späichere mat 1KB Datenblockveraarbechtung benotzt. Eng besonnesch bedeitend Leeschtungserhéijung gëtt am Test mat enger gläichméisseger Verdeelung vu Lies- a Schreifoperatiounen observéiert.

Zum Beispill, MongoDB mam HSE-Motor war ongeféier 8 Mol méi séier wéi d'Versioun mam Standard WiredTiger Motor, an de RocksDB DBMS Motor huet den HSE méi wéi 6 Mol besser gemaach. Exzellent Indikatoren sinn och an den Tester ze gesinn, déi 95% vun de Liesoperatiounen a 5% vun Ännerungen oder Ergänzunge weisen.

En aneren Test deen ausgefouert gëtt involvéiert nëmme gelies Operatiounen, et weist e Gewënn vun ongeféier 40%. D'Erhéijung vun der Iwwerliewensfäegkeet vu SSDs wärend Schreifoperatiounen am Verglach mat der RocksDB-baséiert Léisung gëtt op 7 Mol geschat.

Schlësselfeatures vum HSE:

  • Ënnerstëtzung fir Standard a fortgeschratt Betreiber fir Daten am Schlëssel / Wertformat ze verarbeen;
  • Voll Transaktiounssupport a mat der Fäegkeet Späichersegmenter ze isoléieren andeems Dir Schnappschëss erstallt (Schnappschëss kënnen och benotzt gi fir getrennte Sammlungen an engem Geschäft ze pflegen).
  • Fäegkeet fir Cursoren ze benotzen fir Daten a Snapshot-baséiert Representatioune duerchzegräifen.
  • En Datemodell optiméiert fir gemëschte Laaschtypen an engem eenzege Repository.
  • Flexibel Mechanismen fir Späicherverlässlechkeet ze managen.
  • Personnaliséierbar Datenorchestratiounsschemaer (Verdeelung duerch verschidden Aarte vu Gedächtnis am Repository).
  • Eng Bibliothéik mat engem C API déi dynamesch mat all Uwendung verlinkt kënne ginn.
    D'Kapazitéit fir op Terabyte vun Donnéeën an Honnerte vu Milliarden Schlësselen am Späicher ze skala.
  • Effektiv Veraarbechtung vun Dausende vu parallel Operatiounen.
  • Bedeitend Erhéijung vun der Bandbreedung, reduzéierter Latenz a méi héijer Lies / Schreiwe fir verschidden Arte vu Workload am Verglach mat typeschen Ëmleef.
  • D'Kapazitéit fir verschidde Klassen vun SSDs an der selwechter Späichere ze benotzen fir d'Performance an d'Haltbarkeet ze optimiséieren.

Dir kënnt Zougang zum Motorcode kréien vum Link hei drënner. 


Den Inhalt vum Artikel hält sech un eis Prinzipie vun redaktionnell Ethik. Fir e Feeler ze mellen klickt hei.

Gitt d'éischt fir ze kommentéieren

Gitt Äre Kommentar

Är Email Adress gëtt net publizéiert ginn. Néideg Felder sinn markéiert mat *

*

*

  1. Responsabel fir d'Daten: Miguel Ángel Gatón
  2. Zweck vun den Donnéeën: Kontroll SPAM, Kommentarmanagement.
  3. Legitimatioun: Är Zoustëmmung
  4. Kommunikatioun vun den Donnéeën: D'Donnéeë ginn net un Drëttubidder matgedeelt ausser duerch legal Verpflichtung.
  5. Datenspeicher: Datebank gehost vun Occentus Networks (EU)
  6. Rechter: Zu all Moment kënnt Dir Är Informatioun limitéieren, recuperéieren an läschen.