Мицрон Тецхнологи (компанија специјализована за производњу ДРАМ-а и флеш меморије) објавио увод у нови мотор назван "ХСЕ" (Хетерогенеоус-мемори Стораге Енгине), који је развијен имајући у виду специфичности употребе на НАНД флеш ССД дисковима (Кс100, ТЛЦ, КЛЦ 3Д НАНД) или меморија само за читање (НВДИММ).
Мотор је направљен у облику библиотеке уградити у друге апликације и подржава обраду података у формату кључ / вредностр. ХСЕ код написан је на Ц језику и дистрибуиран под лиценцом Апацхе 2.0.
Међу апликацијама мотора, помињу се апликације за складиштење података на ниском нивоу у ДБМС НоСКЛ, складишта софтвера (СДС, софтверски дефинисано складиште) као што су Цепх и Сцалити РИНГ, платформе за обраду велике количине података (Биг Дата), рачунарски системи високих перформанси (ХПЦ), уређаји за Интернет ствари (ИоТ) и решења за системе машинског учења.
ХСЕ је оптимизован не само за максималне перформансе, али и да се осигура трајност различитих врста ССД дискова. Постигнута је велика брзинакроз хибридни модел складиштења: најрелевантнији подаци се кеширају, смањујући број приступа диску.
Као пример интеграције новог мотора у независне пројекте, припремљена је верзија МонгоДБ ДБМС-а оријентисана на документ, која је преведена да користи ХСЕ.
Технолошки, ХСЕ заснован је на додатном модулу језгра мпоол, који имплементира специјализовани интерфејс за складиштење објеката за ССД погоне, узимајући у обзир њихове могућности и карактеристике, омогућавајући фундаментално различите карактеристике брзине и издржљивости. Мпоол је такође развој компаније Мицрон Тецхнологи отворен истовремено са ХСЕ, али се издваја као засебан инфраструктурни пројекат. Мпоол претпоставља употребу трајне меморије и зонског складишта, али тренутно су подржани само традиционални ССД-ови.
Тестирање перформанси са ИЦСБ пакетом (Иахоо Цлоуд Сервинг Бенцхмарк) показао је значајан пораст перформанси када се користи 2ТБ складишта са 1КБ обраде блока података. Нарочито значајан пораст перформанси примећује се у тесту са равномерном расподелом операција читања и писања.
Нпр Испоставило се да је МонгоДБ са ХСЕ мотором био око 8 пута бржи него верзија са стандардним ВиредТигер мотором, а РоцксДБ ДБМС мотор је надмашио ХСЕ више од 6 пута. Одлични показатељи су такође видљиви у тестовима, који показују 95% операција читања и 5% промена или додавања.
Други изведени тест укључује само операције читања и показује профит од око 40%. Процењује се да ће пораст преживетљивости ССД-ова током операција уписивања у поређењу са решењем заснованим на РоцксДБ бити 7 пута.
Кључне карактеристике ХСЕ:
- Подршка за стандардне и напредне операторе за обраду података у формату кључ / вредност;
- Потпуна подршка за трансакције и са могућношћу изоловања сегмената складишта стварањем снимака (снимци се такође могу користити за одржавање одвојених колекција у продавници).
- Способност употребе курсора за прелазак података у приказима заснованим на снимку.
- Модел података оптимизован за мешовите типове оптерећења у једном спремишту.
- Флексибилни механизми за управљање поузданошћу складишта.
- Прилагодљиве шеме оркестрације података (дистрибуција кроз различите типове меморије присутне у спремишту).
- Библиотека са Ц АПИ-јем који се могу динамички повезати са било којом апликацијом.
Способност скалирања на терабајт података и стотине милијарди кључева у складишту. - Ефикасна обрада хиљада паралелних операција.
- Значајан пораст пропусног опсега, смањена кашњења и повећано читање / писање за различите врсте радног оптерећења у поређењу са типичним заобилазним решењима.
- Способност употребе различитих класа ССД-ова у истом складишту за оптимизацију перформанси и трајности.
Можете приступити коду мотора са доњег линка.