Micron Technology (компания, специализирана в производството на DRAM и флаш памет) разкри въвеждането на нов двигател, наречен "HSE" (Хетерогенна памет за съхранение), която е разработена с оглед на спецификата на използването на NAND флаш базирани SSD дискове (X100, TLC, QLC 3D NAND) или памет само за четене (NVDIMM).
Двигателят е направен под формата на библиотека за вграждане в други приложения и поддържа обработка на данни във формат ключ-стойностr. HSE кодът е написан на C и се разпространява под лиценза Apache 2.0.
Сред двигателните приложения, споменати са приложения за съхранение на данни на ниско ниво в СУБД NoSQL, софтуерни складове (SDS, софтуерно дефинирано съхранение) като Ceph и Scality RING, платформи за обработка на големи количества данни (Big Data), високопроизводителни изчислителни системи (HPC), устройства за интернет на нещата (IoT) и решения за системи за машинно обучение.
HSE е оптимизиран не само за максимална производителност, но и да осигури трайността на различни видове SSD устройства. Високата скорост беше постигнатачрез хибриден модел за съхранение: най-подходящите данни се кешират, намалявайки броя на достъпите до диска.
Като пример за интегриране на новия двигател в проекти на трети страни беше подготвена документно-ориентирана версия на СУБД MongoDB, която беше преведена, за да използва HSE.
Технологично, HSE се основава на допълнителен модул на ядрото mpool, който реализира специализиран интерфейс за съхранение на обекти за твърдотелни дискове, като се вземат предвид техните възможности и характеристики, позволявайки да се получат принципно различни характеристики на скоростта и издръжливостта. Mpool също е разработка на Micron Technology, отворена едновременно с HSE, но се откроява като отделен инфраструктурен проект. Mpool предполага използването на постоянна памет и зоново съхранение, но в момента се поддържат само традиционни SSD.
Тестване на производителността с пакета YCSB (Yahoo Cloud Serving Benchmark) показа значително увеличение на производителността при използване на 2TB съхранение с 1KB обработка на блок данни. Особено значително увеличение на производителността се наблюдава в теста с равномерно разпределение на операциите за четене и запис.
Например MongoDB с HSE двигателя се оказа около 8 пъти по-бърз от версията със стандартния двигател WiredTiger, а двигателят на RocksDB DBMS превъзхожда HSE повече от 6 пъти. Отличните показатели са видими и в тестовете, които показват 95% от операциите за четене и 5% от промените или допълненията.
Друг проведен тест включва само операции за четене, той показва печалба от около 40%. Увеличението на оцеляването на SSD по време на операции по запис в сравнение с решението, базирано на RocksDB, се оценява на 7 пъти.
Основни характеристики на HSE:
- Поддръжка за стандартни и напреднали оператори за обработка на данни във формат ключ / стойност;
- Пълна поддръжка на транзакции и с възможност за изолиране на сегменти за съхранение чрез създаване на моментни снимки (снимките могат да се използват и за поддържане на отделни колекции в магазин).
- Възможност за използване на курсори за обхождане на данни в представления, базирани на моментни снимки.
- Модел на данни, оптимизиран за смесени типове товари в едно хранилище.
- Гъвкави механизми за управление на надеждността на съхранението.
- Персонализируеми схеми за оркестрация на данни (разпространение чрез различни видове памет, налични в хранилището).
- Библиотека с C API които могат да бъдат динамично свързани към всяко приложение.
Възможността за мащабиране до терабайта данни и стотици милиарди ключове в хранилището. - Ефективна обработка на хиляди паралелни операции.
- Значително увеличение на честотната лента, намалена латентност и по-голямо четене / запис при различни видове натоварване в сравнение с типичните заобикалящи решения.
- Възможността да се използват различни класове SSD в едно и също хранилище за оптимизиране на производителността и издръжливостта.
Можете да получите достъп до кода на двигателя от линка по-долу.