HSE, механізм зберігання з відкритим кодом, оптимізований SSE для SSD

Micron Technology (компанія, що спеціалізується на виробництві DRAM та флеш-пам'яті) оприлюднив введення новий двигун під назвою "HSE" (Механізм зберігання гетерогенної пам’яті), який був розроблений з урахуванням особливостей використання на NAND флеш-накопичувачах SSD (X100, TLC, QLC 3D NAND) або пам'ять лише для читання (NVDIMM).

Двигун виконаний у вигляді бібліотеки вбудовувати в інші програми та підтримує обробку даних у форматі ключ-значенняр. Код HSE пишеться на мові C та поширюється за ліцензією Apache 2.0.

Серед рухових застосувань, згадуються програми для низькорівневого зберігання даних у СУБД NoSQL - програмні склади (SDS, програмно визначене сховище), такі як Ceph і Scality RING, платформи для обробки великих обсягів даних (великі дані), високопродуктивні обчислювальні системи (HPC), пристрої Інтернету речей (IoT) та рішення для систем машинного навчання.

HSE оптимізовано не лише для максимальної продуктивності, а також забезпечити довговічність різних типів SSD-накопичувачів. Висока швидкість була досягнутачерез гібридну модель зберігання: найрелевантніші дані кешуються, зменшуючи кількість звернень до диска.

Як приклад інтеграції нового движка у сторонні проекти, була підготовлена ​​документ-орієнтована версія СУБД MongoDB, яка була перекладена на HSE.

Технологічно ВШЕ базується на додатковому модулі ядра mpool, який реалізує спеціалізований інтерфейс для зберігання об’єктів для твердотільних накопичувачів з урахуванням їх можливостей і характеристик, що дозволяє принципово різні характеристики швидкості та довговічності. Mpool - це також розробка Micron Technology, відкрита одночасно з HSE, але вона виділяється як окремий інфраструктурний проект. Mpool передбачає використання постійної пам'яті та зони зберігання, але в даний час підтримуються лише традиційні твердотільні накопичувачі.

Тестування продуктивності за допомогою пакета YCSB (Yahoo Cloud Serving Benchmark) продемонстрував значне збільшення продуктивності при використанні 2 ТБ сховища з обробкою блоку даних 1 Кб. Особливо значне підвищення продуктивності спостерігається в тесті при рівномірному розподілі операцій читання та запису.

Наприклад, MongoDB з двигуном HSE виявився приблизно у 8 разів швидшим ніж версія зі стандартним двигуном WiredTiger, а СУБД RocksDB перевершила HSE більше ніж у 6 разів. Відмінні показники також помітні в тестах, які показують 95% операцій зчитування та 5% змін або доповнень.

Інший проведений тест передбачає лише операції зчитування, він показує прибуток близько 40%. Зростання життєздатності твердотільних накопичувачів під час операцій запису порівняно з рішенням на основі RocksDB оцінюється в 7 разів.

Основні характеристики HSE:

  • Підтримка стандартних та просунутих операторів обробляти дані у форматі ключ / значення;
  • Повна підтримка транзакцій та можливість виділення сегментів сховища шляхом створення знімків (знімки також можна використовувати для ведення окремих колекцій у магазині).
  • Можливість використання курсорів для обходу даних у представленнях на основі знімків.
  • Модель даних, оптимізована для змішаних типів навантаження в одному сховищі.
  • Гнучкі механізми для управління надійністю зберігання.
  • Настроювані схеми оркестрування даних (розподіл через різні типи пам'яті, присутніх у сховищі).
  • Бібліотека з C API які можуть бути динамічно пов’язані з будь-яким додатком.
    Можливість масштабування до терабайт даних та сотні мільярдів ключів у сховищі.
  • Ефективна обробка тисяч паралельних операцій.
  • Значне збільшення пропускної здатності, зменшення затримки та збільшення читання / запису для різних типів робочих навантажень порівняно із типовими обхідними шляхами.
  • Можливість використання різних класів твердотільних накопичувачів в одному сховищі для оптимізації продуктивності та довговічності.

Ви можете отримати доступ до коду двигуна за посиланням нижче. 


Будьте першим, щоб коментувати

Залиште свій коментар

Ваша електронна адреса не буде опублікований. Обов'язкові для заповнення поля позначені *

*

*

  1. Відповідальний за дані: Мігель Анхель Гатон
  2. Призначення даних: Контроль спаму, управління коментарями.
  3. Легітимація: Ваша згода
  4. Передача даних: Дані не передаватимуться третім особам, за винятком юридичних зобов’язань.
  5. Зберігання даних: База даних, розміщена в мережі Occentus Networks (ЄС)
  6. Права: Ви можете будь-коли обмежити, відновити та видалити свою інформацію.