HSE, een open source storage-engine, geoptimaliseerde SSE voor SSD

Micron Technology (een bedrijf gespecialiseerd in de productie van DRAM en flashgeheugen) heeft de introductie aangekondigd van een nieuwe engine genaamd "HSE" (Heterogeneous-memory Storage Engine). Deze engine is ontwikkeld met het oog op de specifieke gebruikseigenschappen van SSD's op basis van NAND-flashgeheugen (X100, TLC, QLC 3D NAND) of alleen-lezengeheugen (NVDIMM).

De engine is ontworpen als een bibliotheek voor integratie in andere applicaties en ondersteunt de verwerking van sleutel-waardeparen . De HSE-code is geschreven in C en wordt gedistribueerd onder de Apache 2.0-licentie.

De engine wordt onder andere gebruikt voor dataopslag op laag niveau in NoSQL-databases, softwaregedefinieerde opslag (SDS) zoals Ceph en Scality RING, platforms voor het verwerken van grote hoeveelheden data (Big Data), high-performance computing (HPC)-systemen, Internet of Things (IoT)-apparaten en oplossingen voor machine learning-systemen.

HSE is niet alleen geoptimaliseerd voor maximale prestaties , maar ook om de duurzaamheid van verschillende SSD-klassen te garanderen. De hoge snelheid wordt bereikt door een hybride opslagmodel: de meest relevante gegevens worden in de cache opgeslagen, waardoor het aantal schijftoegangspogingen wordt verminderd.

Als voorbeeld van de integratie van de nieuwe engine in projecten van derden, werd een documentgeoriënteerde versie van het DBMS MongoDB voorbereid, die werd vertaald om HSE te gebruiken.

Technologisch gezien is HSE gebaseerd op een extra kernmodule, mpool , die een gespecialiseerde interface implementeert voor het opslaan van objecten voor solid-state drives (SSD's). Hierbij wordt rekening gehouden met hun mogelijkheden en kenmerken, waardoor fundamenteel andere snelheids- en duurzaamheidsfuncties mogelijk worden. Mpool is eveneens een open-source ontwikkeling van Micron Technology, die gelijktijdig met HSE is uitgebracht, maar het onderscheidt zich als een apart infrastructuurproject. Mpool gaat uit van het gebruik van persistent geheugen en zoneopslag, maar momenteel worden alleen traditionele SSD's ondersteund.

Prestatietests met het YCSB -pakket (Yahoo Cloud Serving Benchmark) toonden een aanzienlijke prestatieverbetering aan bij gebruik van 2 TB opslagruimte met dataverwerking van 1 KB-blokken. Een bijzonder significante prestatieverbetering werd waargenomen in de test met een gelijkmatige verdeling van lees- en schrijfbewerkingen.

MongoDB met de HSE-engine bleek bijvoorbeeld ongeveer 8 keer sneller te zijn dan de versie met de standaard WiredTiger-engine, en de RocksDB DBMS-engine presteerde meer dan 6 keer beter dan HSE. De uitstekende prestatie-indicatoren zijn ook terug te vinden in de tests, die bestonden uit 95% leesbewerkingen en slechts 5% wijzigingen of toevoegingen.

Een andere uitgevoerde test omvat alleen leesbewerkingen, het toont een winst van ongeveer 40%. De toename in overlevingskansen van SSD-schijven tijdens schrijfbewerkingen in vergelijking met de op RocksDB gebaseerde oplossing wordt geschat op 7 keer.

HSE-hoofdkenmerken:

  • Ondersteuning voor standaard en geavanceerde operators om gegevens in sleutel/waarde-formaat te verwerken;
  • Volledige transactieondersteuning en de mogelijkheid om opslagsegmenten te isoleren door snapshots te maken (snapshots kunnen ook worden gebruikt om afzonderlijke collecties in een winkel bij te houden).
  • Mogelijkheid om cursors te gebruiken om gegevens te doorlopen in op snapshots gebaseerde representaties.
  • Een geoptimaliseerd datamodel voor gemengde uploadtypes in één repository.
  • flexibele mechanismen om de betrouwbaarheid van de opslag te beheren.
  • Aanpasbare schema's voor gegevensorkestratie (distributie over verschillende geheugentypes aanwezig in de repository).
  • Een bibliotheek met een C API die dynamisch kan worden gekoppeld aan elke applicatie.
    De mogelijkheid om te schalen naar terabytes aan gegevens en honderden miljarden sleutels in opslag.
  • Effectieve verwerking van duizenden parallelle bewerkingen.
  • Aanzienlijke toename in bandbreedte, verminderde latentie en meer schrijven/lezen voor verschillende soorten workloads in vergelijking met typische tijdelijke oplossingen.
  • De mogelijkheid om verschillende klassen SSD's in dezelfde opslag te gebruiken om de prestaties en duurzaamheid te optimaliseren.

Je kunt de motorcode via de volgende link raadplegen.


Voeg dit toe als voorkeursbron in Google.