micron Technology (uzņēmums, kas specializējas DRAM un zibatmiņas ražošanā) atklāja sauca jaunu motoru "HSE" (Heterogeneous-memory Storage Engine), kas tika izstrādāts, ņemot vērā lietošanas specifiku uz NAND zibatmiņas SSD diskdziņiem (X100, TLC, QLC 3D NAND) vai tikai lasāma atmiņa (NVDIMM).
Dzinējs ir izgatavots bibliotēkas formā iegult citās lietojumprogrammās un atbalsta datu apstrādi atslēgas vērtības formātār. HSE kods ir rakstīts C un izplatīts ar Apache 2.0 licenci.
Starp motoru lietojumiem tiek minētas lietojumprogrammas zema līmeņa datu glabāšanai NoSQL DBVS, programmatūras noliktavās (SDS, programmatūras noteiktā krātuvē), piemēram, Ceph un Scality RING, platformās liela apjoma datu apstrādei (Big Data), augstas veiktspējas skaitļošanas sistēmās (HPC), lietu interneta (IoT) ierīcēs un risinājumi mašīnmācīšanās sistēmām.
HSE ir optimizēts ne tikai maksimālai veiktspējai, bet arī lai nodrošinātu dažāda veida SSD disku izturību. Lielais ātrums tika sasniegtsizmantojot hibrīda uzglabāšanas modeli: visatbilstošākie dati tiek saglabāti kešatmiņā, samazinot piekļuvi diskam.
Kā piemērs jaunā dzinēja integrēšanai trešo pušu projektos tika sagatavota uz dokumentiem orientēta MongoDB DBVS versija, kas tika tulkota, izmantojot HSE.
Tehnoloģiski HSE ir balstīta uz papildu kodola moduļa mpool, kas ievieš specializētu saskarni cietvielu disku objektu glabāšanai, ņemot vērā to iespējas un īpašības, ļaujot būtībā atšķirīgas ātruma un izturības īpašības. Mpool ir arī Micron Technology izstrāde, kas atvērta vienlaikus ar HSE, taču izceļas kā atsevišķs infrastruktūras projekts. Mpool pieņem, ka tiek izmantota pastāvīga atmiņa un zonu krātuve, taču pašlaik tiek atbalstīti tikai tradicionālie SSD.
Veiktspējas pārbaude ar YCSB pakotni (Yahoo Cloud Serving Benchmark) uzrādīja ievērojamu veiktspējas pieaugumu, lietojot 2TB krātuvi ar 1KB datu bloku apstrādi. Īpaši ievērojams veiktspējas pieaugums tiek novērots testā ar vienmērīgu lasīšanas un rakstīšanas darbību sadalījumu.
Piemēram MongoDB ar HSE dzinēju izrādījās apmēram 8 reizes ātrāks nekā versija ar standarta WiredTiger motoru, un RocksDB DBMS dzinējs HSE pārspēja vairāk nekā 6 reizes. Izcili rādītāji ir redzami arī testos, kas parāda 95% lasīšanas operāciju un 5% izmaiņu vai papildinājumu.
Vēl viena veiktā pārbaude ietver tikai lasīšanas darbības, un tā uzrāda aptuveni 40% peļņu. Tiek lēsts, ka SSD disku izdzīvojamības pieaugums rakstīšanas operāciju laikā, salīdzinot ar RocksDB balstīto risinājumu, ir 7 reizes.
Galvenās HSE iezīmes:
- Atbalsts standarta un pieredzējušiem operatoriem apstrādāt datus atslēgas / vērtības formātā;
- Pilnīgs darījumu atbalsts un iespēja izolēt krātuves segmentus, izveidojot momentuzņēmumus (momentuzņēmumus var izmantot arī atsevišķu kolekciju uzturēšanai veikalā).
- Spēja izmantot kursorus, lai šķērsotu datus momentuzņēmumos balstītos attēlojumos.
- Datu modelis, kas optimizēts jaukta tipa slodzēm vienā repozitorijā.
- Elastīgi mehānismi lai pārvaldītu krātuves uzticamību.
- Pielāgojamas datu orķestrēšanas shēmas (izplatīšana, izmantojot dažādu veidu atmiņu, kas atrodas repozitorijā).
- Bibliotēka ar C API kuru var dinamiski saistīt ar jebkuru lietojumprogrammu.
Spēja mērogot līdz terabaitiem datu un simtiem miljardu atslēgu krātuvē. - Efektīva tūkstošiem paralēlu darbību apstrāde.
- Ievērojams joslas platuma pieaugums, samazināts latentums un palielināta lasīšanas / rakstīšanas iespēja dažāda veida slodzei, salīdzinot ar tipiskiem risinājumiem.
- Iespēja vienā un tajā pašā krātuvē izmantot dažādas SSD diskus, lai optimizētu veiktspēju un izturību.
Jūs varat piekļūt motora kodam no saites zemāk.