micron Technology (isang kumpanya na nagdadalubhasa sa paggawa ng DRAM at flash memory) ipinakilala ang pagpapakilala ng isang bagong engine ang tinawag "HSE" (Heterogeneous-memory Storage Engine), na binuo kasama ang mga pagtutukoy ng paggamit sa isip sa NAND flash based SSD drive (X100, TLC, QLC 3D NAND) o read-only memory (NVDIMM).
Ang makina ay ginawa sa anyo ng isang silid-aklatan upang mai-embed sa iba pang mga application at sumusuporta sa pagproseso ng data sa format na key-halagar. Ang HSE code ay nakasulat sa C at ibinahagi sa ilalim ng lisensya ng Apache 2.0.
Kabilang sa mga aplikasyon ng engine, ang mga application para sa mababang antas ng imbakan ng data ay nabanggit sa NoSQL DBMS, mga warehouse ng software (SDS, imbakan na tinukoy ng software) tulad ng Ceph at Scality RING, mga platform para sa pagproseso ng maraming data (Big Data), mga system ng computing na may mahusay na pagganap (HPC), mga aparato ng Internet ng mga bagay (IoT) at mga solusyon para sa mga sistema ng pag-aaral ng makina.
Ang HSE ay na-optimize hindi lamang para sa maximum na pagganap, ngunit din upang matiyak ang tibay ng iba't ibang mga uri ng mga SSD drive. Ang matulin na bilis ay nakamitsa pamamagitan ng isang modelo ng hybrid na imbakan: ang pinaka-kaugnay na data ay naka-cache, binabawasan ang bilang ng mga pag-access sa disk.
Bilang isang halimbawa ng pagsasama ng bagong makina sa mga proyekto ng third-party, isang bersyon na nakatuon sa dokumento ng MongoDB DBMS ay inihanda, na isinalin upang magamit ang HSE.
Teknolohikal, HSE ay batay sa isang karagdagang module ng kernel mpool, na nagpapatupad ng isang dalubhasang interface para sa pag-iimbak ng mga bagay para sa solid-state drive, isinasaalang-alang ang kanilang mga kakayahan at katangian, na pinapayagan ang panimulang pagkakaiba-iba ng mga katangian ng bilis at tibay. Ang Mpool ay isang pag-unlad ng Micron Technology na bukas din kasabay ng HSE, ngunit tumindig ito bilang isang hiwalay na proyekto sa imprastraktura. Ipinapalagay ni Mpool ang paggamit ng paulit-ulit na memorya at pag-iimbak ng zone, ngunit sa kasalukuyan ay tradisyonal na mga SSD lamang ang sinusuportahan.
Pagsubok sa pagganap gamit ang YCSB package (Yahoo Cloud Serving Benchmark) ay nagpakita ng isang makabuluhang pagtaas sa pagganap kapag gumagamit ng 2TB na imbakan na may pagproseso ng 1KB block ng data. Ang isang partikular na makabuluhang pagtaas ng pagganap ay sinusunod sa pagsubok na may pantay na pamamahagi ng mga operasyon sa pagbasa at pagsulat.
Hal Ang MongoDB na may HSE engine ay naging halos 8 beses na mas mabilis kaysa sa bersyon na may karaniwang WiredTiger engine, at ang RocksDB DBMS engine ay lumampas sa HSE nang higit sa 6 na beses. Ang mga mahusay na tagapagpahiwatig ay nakikita rin sa mga pagsubok, na nagpapakita ng 95% ng mga binasang operasyon at 5% ng mga pagbabago o karagdagan.
Ang isa pang pagsubok na isinagawa ay nagsasangkot lamang sa mga pagbasa na operasyon, nagpapakita ito ng kita na halos 40%. Ang pagtaas sa makakaligtas ng mga SSD sa panahon ng pagpapatakbo ng pagsusulat kumpara sa solusyon na batay sa RocksDB ay tinatayang sa 7 beses.
Pangunahing Mga Tampok ng HSE:
- Suporta para sa pamantayan at advanced na mga operator upang maproseso ang data sa key / halaga format;
- Buong suporta sa transaksyon at may kakayahang ihiwalay ang mga segment ng imbakan sa pamamagitan ng paglikha ng mga snapshot (maaari ding magamit ang mga snapshot upang mapanatili ang magkakahiwalay na koleksyon sa isang tindahan).
- Kakayahang gumamit ng mga cursor upang dumaan sa data sa mga representasyon na nakabatay sa snapshot.
- Ang isang modelo ng data na na-optimize para sa mga halo-halong mga uri ng pag-load sa isang solong imbakan.
- Mga kakayahang umangkop na mekanismo upang pamahalaan ang pagiging maaasahan ng imbakan.
- Nako-customize na mga scheme ng orkestra ng data (pamamahagi sa pamamagitan ng iba't ibang mga uri ng memorya na naroroon sa lalagyan).
- Isang silid-aklatan na may C API na maaaring mai-link nang pabagu-bago sa anumang aplikasyon.
Ang kakayahang masukat sa terabytes ng data at daan-daang bilyong mga key sa pag-iimbak. - Mabisang pagproseso ng libu-libong mga parallel na operasyon.
- Mahalagang pagtaas sa bandwidth, nabawasan ang latency, at nadagdagan na basahin / isulat para sa iba't ibang mga uri ng workload kumpara sa mga tipikal na mga pag-workaround.
- Ang kakayahang gumamit ng iba't ibang mga klase ng SSD sa parehong imbakan upang ma-optimize ang pagganap at tibay.
Maaari mong ma-access ang engine code mula sa link sa ibaba.