Micron Technology (DRAM- ja flash-muistien tuotantoon erikoistunut yritys) ilmoitti uuden moottorin nimeltä "HSE" (Heterogeneous-memory Storage Engine) käyttöönotosta , joka kehitettiin ottaen huomioon NAND-salamaan (X100, TLC, QLC 3D NAND) tai luku-muistiin (NVDIMM) perustuvien SSD-yksiköiden erityispiirteet .
Moottori on suunniteltu kirjastoksi upottamista varten muihin sovelluksiin ja tukee avain-arvo-datan käsittelyä . HSE-koodi on kirjoitettu C-kielellä ja jaettu Apache 2.0 -lisenssillä.
Moottorin sovelluksia ovat matalan tason tiedontallennus NoSQL-tietokannoissa, ohjelmistopohjainen tallennus (SDS), kuten Ceph ja Scality RING, alustat suurten tietomäärien (Big Data) käsittelyyn, suurten suorituskykylaskentajärjestelmät (HPC), esineiden internet (IoT) -laitteet ja koneoppimisjärjestelmien ratkaisut.
HSE on optimoitu paitsi maksimaalisen suorituskyvyn saavuttamiseksi myös eri SSD-luokkien kestävyyden varmistamiseksi. Suuri nopeus saavutetaan hybriditallennusmallilla: tärkeimmät tiedot tallennetaan välimuistiin, mikä vähentää levykäyttökertojen määrää.
Esimerkkinä uuden moottorin integroimisesta kolmansien osapuolten projekteihin valmisteltiin MongoDB DBMS: stä asiakirjapainotteinen versio, joka käännettiin käyttämään HSE: tä.
Teknologisesti HSE perustuu ylimääräiseen ydinmoduuliin, mpooliin , joka toteuttaa erikoistuneen rajapinnan SSD-levyjen objektien tallennukseen ottaen huomioon niiden ominaisuudet ja ominaisuudet, mahdollistaen siten perustavanlaatuisesti erilaiset nopeus- ja kestävyysominaisuudet. Mpool on myös Micron Technologyn avoimen lähdekoodin kehitys, joka julkaistiin samanaikaisesti HSE:n kanssa, mutta se erottuu joukosta erillisenä infrastruktuuriprojektina. Mpool olettaa pysyvän muistin ja vyöhyketallennuksen käytön, mutta tällä hetkellä tuetaan vain perinteisiä SSD-levyjä.
YCSB (Yahoo Cloud Serving Benchmark) -paketilla tehdyt suorituskykytestit osoittivat merkittävää suorituskyvyn kasvua käytettäessä 2 Tt tallennustilaa ja 1 kt:n datalohkojen käsittelyä. Erityisen merkittävä suorituskyvyn kasvu havaittiin testissä, jossa luku- ja kirjoitustoiminnot jakautuivat tasaisesti.
Esimerkiksi HSE-moottorilla varustettu MongoDB osoittautui noin kahdeksan kertaa nopeammaksi kuin WiredTiger-moottorilla varustettu versio, ja RocksDB:n tietokantajärjestelmämoottori suoriutui HSE:tä yli kuusinkertaisesti paremmin. Erinomaiset suorituskykyindikaattorit näkyvät myös testeissä, joissa lukutoimintoja tehtiin 95 % ja muutoksia tai lisäyksiä vain 5 %.
Toinen suoritettu testi sisältää vain lukutoimintoja, ja sen voitto on noin 40%. SSD-levyjen selviytyvyyden lisääntymisen kirjoitusoperaatioiden aikana verrattuna RocksDB-pohjaiseen ratkaisuun arvioidaan 7 kertaa.
HSE: n tärkeimmät ominaisuudet:
- Tuki vakio- ja edistyneille käyttäjille käsitellä tietoja avain / arvo-muodossa;
- Täysi tapahtumien tuki ja mahdollisuus eristää tallennustilan segmentit luomalla tilannekuvia (tilannevedoksia voidaan käyttää myös erillisten kokoelmien ylläpitoon kaupassa).
- Mahdollisuus käyttää kohdistimia tietojen kulkemiseen tilannekuva-pohjaisissa esityksissä.
- Tietomalli, joka on optimoitu sekakuormatyypeille yhdessä arkistossa.
- Joustavat mekanismit hallita tallennuksen luotettavuutta.
- Muokattavat data-orkestrointijärjestelmät (jakelu arkistossa olevien erityyppisten muistien kautta)
- Kirjasto, jossa on C-sovellusliittymä joka voidaan liittää dynaamisesti mihin tahansa sovellukseen.
Mahdollisuus skaalata teratavuiksi dataa ja satoja miljardeja avaimia tallennustilassa. - Tuhansien rinnakkaisten operaatioiden tehokas käsittely.
- Merkittävä kaistanleveyden kasvu, pienentynyt viive ja suurempi luku- / kirjoitusaste erilaisille työmäärille tyypillisiin kiertotapoihin verrattuna.
- Mahdollisuus käyttää erilaisia SSD-levyjä samassa tallennustilassa suorituskyvyn ja kestävyyden optimoimiseksi.
Moottorin koodiin pääset alla olevasta linkistä.