미크론 기술 (DRAM 및 플래시 메모리 생산 전문 업체) 의 소개를 공개했다 라는 새로운 엔진 "HSE" (이기종 메모리 스토리지 엔진), 사용 특성을 염두에두고 개발되었습니다. NAND 플래시 기반 SSD 드라이브 (X100, TLC, QLC 3D NAND) 또는 읽기 전용 메모리 (NVDIMM).
엔진은 라이브러리 형태로 만들어집니다. 다른 응용 프로그램에 포함하고 키-값 형식의 데이터 처리 지원아르 자형. HSE 코드는 C로 작성되었으며 Apache 2.0 라이선스에 따라 배포됩니다.
모터 애플리케이션 중 저수준 데이터 저장을위한 애플리케이션이 언급 됨 NoSQL DBMS에서 Ceph 및 Scality RING과 같은 소프트웨어웨어 하우스 (SDS, 소프트웨어 정의 스토리지), 대용량 데이터 (빅 데이터), 고성능 컴퓨팅 시스템 (HPC), 사물 인터넷 (IoT) 장치 및 기계 학습 시스템을위한 솔루션.
HSE는 최대 성능뿐만 아니라 다양한 종류의 SSD 드라이브의 내구성을 보장합니다. 고속 달성하이브리드 스토리지 모델을 통해 : 가장 관련성이 높은 데이터가 캐시되어 디스크 액세스 횟수가 줄어 듭니다.
새로운 엔진을 써드 파티 프로젝트에 통합하는 예로 MongoDB DBMS의 문서 지향 버전이 준비되어 HSE를 사용하도록 번역되었습니다.
기술적으로 HSE 추가 커널 모듈 mpool을 기반으로 함, 솔리드 스테이트 드라이브 용 개체를 저장하기위한 특수 인터페이스를 구현하고, 그 기능과 특성을 고려하여 근본적으로 다른 속도 및 내구성 특성을 허용합니다. Mpool은 또한 HSE와 동시에 열린 Micron Technology 개발이지만 별도의 인프라 프로젝트로 눈에 띕니다. Mpool은 영구 메모리 및 영역 저장소를 사용한다고 가정하지만 현재는 기존 SSD 만 지원됩니다.
YCSB 패키지로 성능 테스트 (Yahoo Cloud Serving Benchmark)는 2KB 데이터 블록 처리와 함께 1TB 스토리지를 사용할 때 성능이 크게 향상되었습니다. 읽기 및 쓰기 작업을 균등하게 배포 한 테스트에서 특히 상당한 성능 향상이 관찰되었습니다.
예 HSE 엔진을 탑재 한 MongoDB는 약 8 배 더 빠른 것으로 밝혀졌습니다. 표준 WiredTiger 엔진이있는 버전보다, RocksDB DBMS 엔진이 HSE를 6 배 이상 능가했습니다. 읽기 작업의 95 %와 변경 또는 추가의 5 %를 보여주는 우수한 지표도 테스트에서 볼 수 있습니다.
수행 된 또 다른 테스트는 읽기 작업 만 포함하며 약 40 %의 이익을 보여줍니다. RocksDB 기반 솔루션에 비해 쓰기 작업 중 SSD의 생존 가능성 증가는 7 배로 추정됩니다.
HSE의 주요 특징 :
- 표준 및 고급 운영자 지원 키 / 값 형식으로 데이터 처리
- 전체 트랜잭션 지원 및 스냅 샷을 생성하여 스토리지 세그먼트를 분리하는 기능 (스냅 샷을 사용하여 저장소에서 별도의 컬렉션을 유지 관리 할 수도 있음).
- 커서를 사용하여 스냅 샷 기반 표현에서 데이터를 순회하는 기능.
- 단일 저장소에서 혼합 된로드 유형에 최적화 된 데이터 모델입니다.
- 유연한 메커니즘 스토리지 안정성을 관리합니다.
- 사용자 정의 가능한 데이터 오케스트레이션 체계 (저장소에있는 다양한 유형의 메모리를 통한 배포)
- C API가있는 라이브러리 모든 애플리케이션에 동적으로 연결될 수 있습니다.
테라 바이트의 데이터와 수 천억 개의 스토리지 키로 확장 할 수있는 기능입니다. - 수천 개의 병렬 작업을 효과적으로 처리합니다.
- 일반적인 해결 방법에 비해 대역폭이 크게 증가하고 지연 시간이 감소하며 다양한 유형의 워크로드에 대한 읽기 / 쓰기가 증가합니다.
- 성능과 내구성을 최적화하기 위해 동일한 스토리지에서 다른 등급의 SSD를 사용할 수있는 기능.
엔진 코드에 액세스 할 수 있습니다. 아래 링크에서.