HSE, een open source storage-engine, geoptimaliseerde SSE voor SSD

micron Technology (een bedrijf gespecialiseerd in de productie van DRAM en flash-geheugen) kondigde de introductie aan van een nieuwe motor genaamd «VGM» (Heterogeneous-memory Storage Engine), die werd ontwikkeld rekening houdend met de specifieke kenmerken van het gebruik op NAND-flash-gebaseerde SSD's (X100, TLC, QLC 3D NAND) of alleen-lezen geheugen (NVDIMM).

De motor is gemaakt in de vorm van een bibliotheek om in te bedden in andere toepassingen en ondersteunt de verwerking van gegevens in het sleutel-waardeformaatR. De HSE-code is geschreven in C en gedistribueerd onder de Apache 2.0-licentie.

Onder motortoepassingen, toepassingen voor low-level dataopslag worden genoemd in NoSQL DBMS, softwaredepots (SDS, softwaregedefinieerde opslag) zoals Ceph en Scality RING, platforms voor het verwerken van grote hoeveelheden gegevens (Big Data), high-performance computing (HPC)-systemen, Internet of Things (IoT)-apparaten en oplossingen voor machine learning-systemen.

HSE is niet alleen geoptimaliseerd voor maximale prestaties, maar ook om de duurzaamheid van verschillende klassen SSD-schijven te waarborgen. De hoge snelheid werd gehaaldvia een hybride opslagmodel: de meest relevante gegevens worden opgeslagen in de cache, waardoor het aantal schijftoegangen wordt verminderd.

Als voorbeeld van de integratie van de nieuwe engine in projecten van derden, werd een documentgeoriënteerde versie van het DBMS MongoDB voorbereid, die werd vertaald om HSE te gebruiken.

Technologisch, HSE is gebaseerd op een extra kernelmodule mpool, die een gespecialiseerde interface implementeert voor het opslaan van objecten voor solid-state schijven, rekening houdend met hun mogelijkheden en kenmerken, waardoor fundamenteel verschillende kenmerken van snelheid en duurzaamheid kunnen worden verkregen. Mpool is ook een ontwikkeling van Micron Technology die gelijktijdig met de HSE werd geopend, maar onderscheidt zich als een afzonderlijk infrastructuurproject. Mpool gaat uit van het gebruik van permanent geheugen en zoneopslag, maar momenteel worden alleen traditionele SSD's ondersteund.

Prestatietesten met het YCSB-pakket (Yahoo Cloud Serving Benchmark) liet een aanzienlijke prestatieverbetering zien bij gebruik van 2TB opslag met 1KB datablokverwerking. Een bijzonder significante prestatieverbetering wordt waargenomen in de test met een gelijkmatige verdeling van lees- en schrijfbewerkingen.

Bv MongoDB met de HSE-engine bleek ongeveer 8 keer sneller te zijn dan de versie met de standaard WiredTiger-engine, en de RocksDB DBMS-engine presteerde meer dan 6 keer beter dan de HSE. De uitstekende indicatoren zijn ook zichtbaar in de tests, die 95% van de leesbewerkingen en 5% van de wijzigingen of toevoegingen presenteren.

Een andere uitgevoerde test omvat alleen leesbewerkingen, het toont een winst van ongeveer 40%. De toename in overlevingskansen van SSD-schijven tijdens schrijfbewerkingen in vergelijking met de op RocksDB gebaseerde oplossing wordt geschat op 7 keer.

HSE-hoofdkenmerken:

  • Ondersteuning voor standaard en geavanceerde operators om gegevens in sleutel/waarde-formaat te verwerken;
  • Volledige transactieondersteuning en de mogelijkheid om opslagsegmenten te isoleren door snapshots te maken (snapshots kunnen ook worden gebruikt om afzonderlijke collecties in een winkel bij te houden).
  • Mogelijkheid om cursors te gebruiken om gegevens te doorlopen in op snapshots gebaseerde representaties.
  • Een geoptimaliseerd datamodel voor gemengde uploadtypes in één repository.
  • flexibele mechanismen om de betrouwbaarheid van de opslag te beheren.
  • Aanpasbare schema's voor gegevensorkestratie (distributie over verschillende geheugentypes aanwezig in de repository).
  • Een bibliotheek met een C API die dynamisch kan worden gekoppeld aan elke applicatie.
    De mogelijkheid om te schalen naar terabytes aan gegevens en honderden miljarden sleutels in opslag.
  • Effectieve verwerking van duizenden parallelle bewerkingen.
  • Aanzienlijke toename in bandbreedte, verminderde latentie en meer schrijven/lezen voor verschillende soorten workloads in vergelijking met typische tijdelijke oplossingen.
  • De mogelijkheid om verschillende klassen SSD's in dezelfde opslag te gebruiken om de prestaties en duurzaamheid te optimaliseren.

Je hebt toegang tot de motorcode via de onderstaande link. 


Wees de eerste om te reageren

Laat je reactie achter

Uw e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

*

  1. Verantwoordelijk voor de gegevens: Miguel Ángel Gatón
  2. Doel van de gegevens: Controle SPAM, commentaarbeheer.
  3. Legitimatie: uw toestemming
  4. Mededeling van de gegevens: De gegevens worden niet aan derden meegedeeld, behalve op grond van wettelijke verplichting.
  5. Gegevensopslag: database gehost door Occentus Networks (EU)
  6. Rechten: u kunt uw gegevens op elk moment beperken, herstellen en verwijderen.