micron Technology (firma specjalizująca się w produkcji pamięci DRAM i flash) odsłonił wprowadzenie nowy silnik o nazwie „HSE” (Heterogeneous-memory Storage Engine), który został opracowany z myślą o specyfice użytkowania na dyskach SSD opartych na NAND flash (X100, TLC, QLC 3D NAND) lub pamięć tylko do odczytu (NVDIMM).
Silnik wykonany jest w formie biblioteki do osadzenia w innych aplikacjach i obsługuje przetwarzanie danych w formacie klucz-wartośćr. Kod HSE jest napisany w C i rozpowszechniany na licencji Apache 2.0.
Wśród zastosowań silnikowych wspomniane są aplikacje do niskopoziomowego przechowywania danych w NoSQL DBMS, hurtownie oprogramowania (SDS, pamięć masowa definiowana programowo), takie jak Ceph i Scality RING, platformy do przetwarzania dużych ilości danych (Big Data), wysokowydajne systemy obliczeniowe (HPC), urządzenia Internetu rzeczy (IoT) i rozwiązania dla systemów uczenia maszynowego.
HSE jest zoptymalizowany nie tylko pod kątem maksymalnej wydajności, ale także w celu zapewnienia trwałości różnych rodzajów dysków SSD. Osiągnięto dużą prędkośćpoprzez hybrydowy model pamięci masowej: najważniejsze dane są buforowane, zmniejszając liczbę dostępów do dysku.
Jako przykład integracji nowego silnika z zewnętrznymi projektami przygotowano dokumentacyjną wersję bazy danych MongoDB DBMS, która została przetłumaczona na HSE.
Technologicznie HSE jest oparty na dodatkowym module jądra mpool, który implementuje wyspecjalizowany interfejs do przechowywania obiektów na dyski półprzewodnikowe, biorąc pod uwagę ich możliwości i charakterystykę, pozwalając na fundamentalnie różne charakterystyki szybkości i trwałości. Mpool to również rozwój technologii Micron otwarty równolegle z HSE, ale wyróżnia się jako oddzielny projekt infrastrukturalny. Mpool zakłada użycie pamięci trwałej i strefy magazynowania, ale obecnie obsługiwane są tylko tradycyjne dyski SSD.
Testowanie wydajności z pakietem YCSB (Yahoo Cloud Serving Benchmark) wykazał znaczny wzrost wydajności przy korzystaniu z 2 TB pamięci masowej z przetwarzaniem bloków danych 1 KB. Szczególnie znaczący wzrost wydajności jest obserwowany w teście przy równomiernym rozłożeniu operacji odczytu i zapisu.
Np. MongoDB z silnikiem HSE okazał się około 8 razy szybszy niż wersja ze standardowym silnikiem WiredTiger, a silnik RocksDB DBMS przewyższał HSE ponad 6 razy. Doskonałe wskaźniki widoczne są również w testach, które pokazują 95% operacji odczytu i 5% zmian lub uzupełnień.
Inny wykonany test obejmuje tylko operacje odczytu, wykazuje zysk około 40%. Szacuje się, że wzrost przeżywalności dysków SSD podczas operacji zapisu w porównaniu z rozwiązaniem opartym na RocksDB wynosi 7 razy.
Kluczowe cechy HSE:
- Wsparcie dla standardowych i zaawansowanych operatorów przetwarzanie danych w formacie klucz / wartość;
- Pełna obsługa transakcji i możliwość wyodrębnienia segmentów magazynu poprzez tworzenie migawek (migawki mogą być również używane do utrzymywania oddzielnych kolekcji w sklepie).
- Możliwość używania kursorów do przechodzenia po danych w reprezentacjach opartych na migawkach.
- Model danych zoptymalizowany pod kątem mieszanych typów obciążenia w jednym repozytorium.
- Elastyczne mechanizmy zarządzanie niezawodnością pamięci masowej.
- Konfigurowalne schematy orkiestracji danych (dystrybucja przez różne typy pamięci obecnej w repozytorium).
- Biblioteka z C API które można dynamicznie łączyć z dowolną aplikacją.
Możliwość skalowania do terabajtów danych i setek miliardów kluczy w pamięci masowej. - Efektywne przetwarzanie tysięcy równoległych operacji.
- Znaczny wzrost przepustowości, mniejsze opóźnienia i zwiększone odczyt / zapis dla różnych typów obciążenia w porównaniu z typowymi obejściami.
- Możliwość korzystania z różnych klas dysków SSD w tej samej pamięci masowej w celu optymalizacji wydajności i trwałości.
Możesz uzyskać dostęp do kodu silnika z linku poniżej.