Компанија Micron Technology (компанија специјализована за производњу DRAM и флеш меморије) објавила је представљање новог мотора под називом „HSE“ (Heterogeneous-memory Storage Engine), који је развијен узимајући у обзир специфичне карактеристике употребе у SSD јединицама заснованим на NAND флеш меморији (X100, TLC, QLC 3D NAND) или меморији само за читање (NVDIMM).
Механизам је дизајниран као библиотека за уграђивање у друге апликације и подржава обраду података типа кључ-вредност . HSE код је написан у C језику и дистрибуиран је под Apache 2.0 лиценцом.
Међу применама овог мотора су складиштење података ниског нивоа у NoSQL DBMS-овима, софтверски дефинисано складиштење (SDS) као што су Ceph и Scality RING, платформе за обраду великих количина података (Big Data), системи високоперформансног рачунарства (HPC), уређаји Интернета ствари (IoT) и решења за системе машинског учења.
HSE је оптимизован не само за максималне перформансе већ и да би се осигурала издржљивост различитих SSD класа. Велика брзина се постиже хибридним моделом складиштења: најрелевантнији подаци се чувају у кешу, смањујући број приступа диску.
Као пример интеграције новог мотора у независне пројекте, припремљена је верзија МонгоДБ ДБМС-а оријентисана на документ, која је преведена да користи ХСЕ.
Технолошки, HSE се заснива на додатном основном модулу, mpool , који имплементира специјализовани интерфејс за складиштење објеката за SSD дискове, узимајући у обзир њихове могућности и карактеристике, омогућавајући тако фундаментално различите карактеристике брзине и издржљивости. Mpool је такође развој отвореног кода од стране Micron Technology, објављен истовремено са HSE, али се издваја као засебан инфраструктурни пројекат. Mpool претпоставља употребу перзистентне меморије и зонског складиштења, али тренутно су подржани само традиционални SSD дискови.
Тестови перформанси коришћењем YCSB (Yahoo Cloud Serving Benchmark) пакета показали су значајно повећање перформанси при коришћењу 2 TB складишног простора са обрадом блокова података од 1 KB. Посебно значајно повећање перформанси примећено је у тесту са равномерном расподелом операција читања и писања.
На пример, MongoDB са HSE мотором се показао приближно 8 пута бржим од верзије са стандардним WiredTiger мотором, а RocksDB DBMS мотор је надмашио HSE за више од 6 пута. Одлични показатељи перформанси су такође евидентни у тестовима, који су обухватили 95% операција читања и само 5% измена или допуна.
Други изведени тест укључује само операције читања и показује профит од око 40%. Процењује се да ће пораст преживетљивости ССД-ова током операција уписивања у поређењу са решењем заснованим на РоцксДБ бити 7 пута.
Кључне карактеристике ХСЕ:
- Подршка за стандардне и напредне операторе за обраду података у формату кључ / вредност;
- Потпуна подршка за трансакције и са могућношћу изоловања сегмената складишта стварањем снимака (снимци се такође могу користити за одржавање одвојених колекција у продавници).
- Способност употребе курсора за прелазак података у приказима заснованим на снимку.
- Модел података оптимизован за мешовите типове оптерећења у једном спремишту.
- Флексибилни механизми за управљање поузданошћу складишта.
- Прилагодљиве шеме оркестрације података (дистрибуција кроз различите типове меморије присутне у спремишту).
- Библиотека са Ц АПИ-јем који се могу динамички повезати са било којом апликацијом.
Способност скалирања на терабајт података и стотине милијарди кључева у складишту. - Ефикасна обрада хиљада паралелних операција.
- Значајан пораст пропусног опсега, смањена кашњења и повећано читање / писање за различите врсте радног оптерећења у поређењу са типичним заобилазним решењима.
- Способност употребе различитих класа ССД-ова у истом складишту за оптимизацију перформанси и трајности.
Коду мотора можете приступити преко следећег линка.