Micron-tekniikka (DRAM- ja flash-muistituotantoon erikoistunut yritys) julkaisi uusi moottori "HSE" (Heterogeneous-memory Storage Engine), joka on kehitetty käytön erityispiirteet huomioon ottaen NAND-flash-pohjaisilla SSD-asemilla (X100, TLC, QLC 3D NAND) tai vain luku -muisti (NVDIMM).
Moottori valmistetaan kirjaston muodossa upottaa muihin sovelluksiin ja tukee tietojen käsittelyä avainarvomuodossar. HSE-koodi kirjoitetaan C-muodossa ja jaetaan Apache 2.0 -lisenssin alla.
Moottorisovelluksista mainitaan matalatasoisen tiedon tallennuksen sovellukset NoSQL DBMS: ssä, ohjelmistovarastot (SDS, ohjelmistojen määrittelemät tallennustilat), kuten Ceph ja Scality RING, alustat suurten tietomäärien käsittelyyn (Big Data), korkean suorituskyvyn tietojärjestelmät (HPC), esineiden internet (IoT) -laitteet ja ratkaisuja koneoppimisjärjestelmille.
HSE on optimoitu paitsi maksimaaliseen suorituskykyyn, mutta myös erilaisten SSD-asemien kestävyyden varmistamiseksi. Suuri nopeus saavutettiinhybridivarastomallin kautta: tärkeimmät tiedot tallennetaan välimuistiin, mikä vähentää levyn käyttöoikeuksien määrää.
Esimerkkinä uuden moottorin integroimisesta kolmansien osapuolten projekteihin valmisteltiin MongoDB DBMS: stä asiakirjapainotteinen versio, joka käännettiin käyttämään HSE: tä.
Teknologisesti HSE perustuu ylimääräiseen ytimen moduuliin mpool, joka ottaa käyttöön erikoistuneen käyttöliittymän esineiden tallentamiseen puolijohdeasemille ottaen huomioon niiden kyvyt ja ominaisuudet, mikä mahdollistaa nopeuden ja kestävyyden pohjimmiltaan erilaiset ominaisuudet. Mpool on myös Micron Technology -kehitys, joka on avoin samanaikaisesti HSE: n kanssa, mutta se erottuu erillisenä infrastruktuuriprojektina. Mpool olettaa jatkuvan muistin ja vyöhyketallennuksen käytön, mutta tällä hetkellä vain perinteisiä SSD-levyjä tuetaan.
Suorituskykytestaus YCSB-paketilla (Yahoo Cloud Serving Benchmark) osoitti suorituskyvyn merkittävää kasvua käytettäessä 2 Tt: n tallennustilaa 1 kt: n tietolohkokäsittelyllä. Erityisen merkittävä suorituskyvyn kasvu havaitaan testissä, kun luku- ja kirjoitusoperaatiot jakautuvat tasaisesti.
Esimerkiksi HSE-moottorilla varustettu MongoDB osoittautui noin kahdeksan kertaa nopeammaksi kuin tavallisella WiredTiger-moottorilla varustettu versio, ja RocksDB DBMS -moottori ylitti HSE: n yli 6 kertaa. Erinomaiset indikaattorit näkyvät myös testeissä, jotka osoittavat 95% lukutoiminnoista ja 5% muutoksista tai lisäyksistä.
Toinen suoritettu testi sisältää vain lukutoimintoja, ja sen voitto on noin 40%. SSD-levyjen selviytyvyyden lisääntymisen kirjoitusoperaatioiden aikana verrattuna RocksDB-pohjaiseen ratkaisuun arvioidaan 7 kertaa.
HSE: n tärkeimmät ominaisuudet:
- Tuki vakio- ja edistyneille käyttäjille käsitellä tietoja avain / arvo-muodossa;
- Täysi tapahtumien tuki ja mahdollisuus eristää tallennustilan segmentit luomalla tilannekuvia (tilannevedoksia voidaan käyttää myös erillisten kokoelmien ylläpitoon kaupassa).
- Mahdollisuus käyttää kohdistimia tietojen kulkemiseen tilannekuva-pohjaisissa esityksissä.
- Tietomalli, joka on optimoitu sekakuormatyypeille yhdessä arkistossa.
- Joustavat mekanismit hallita tallennuksen luotettavuutta.
- Muokattavat data-orkestrointijärjestelmät (jakelu arkistossa olevien erityyppisten muistien kautta)
- Kirjasto, jossa on C-sovellusliittymä joka voidaan liittää dynaamisesti mihin tahansa sovellukseen.
Mahdollisuus skaalata teratavuiksi dataa ja satoja miljardeja avaimia tallennustilassa. - Tuhansien rinnakkaisten operaatioiden tehokas käsittely.
- Merkittävä kaistanleveyden kasvu, pienentynyt viive ja suurempi luku- / kirjoitusaste erilaisille työmäärille tyypillisiin kiertotapoihin verrattuna.
- Mahdollisuus käyttää erilaisia SSD-levyjä samassa tallennustilassa suorituskyvyn ja kestävyyden optimoimiseksi.
Pääset moottorikoodiin alla olevasta linkistä.