Micron Technology (một công ty chuyên sản xuất DRAM và bộ nhớ flash) đã công bố giới thiệu một công cụ mới có tên gọi "HSE" (Heterogeneous-memory Storage Engine), được phát triển dựa trên các đặc điểm cụ thể khi sử dụng trong các ổ SSD dựa trên bộ nhớ flash NAND (X100, TLC, QLC 3D NAND) hoặc bộ nhớ chỉ đọc (NVDIMM).
Công cụ này được thiết kế như một thư viện để nhúng vào các ứng dụng khác và hỗ trợ xử lý dữ liệu cặp khóa-giá trị . Mã nguồn của HSE được viết bằng ngôn ngữ C và được phân phối theo giấy phép Apache 2.0.
Một số ứng dụng của công cụ này bao gồm lưu trữ dữ liệu cấp thấp trong hệ quản trị cơ sở dữ liệu NoSQL, lưu trữ định nghĩa bằng phần mềm (SDS) như Ceph và Scality RING, nền tảng xử lý lượng lớn dữ liệu (Big Data), hệ thống điện toán hiệu năng cao (HPC), thiết bị Internet vạn vật (IoT) và các giải pháp cho hệ thống học máy.
HSE được tối ưu hóa không chỉ để đạt hiệu suất tối đa mà còn để đảm bảo độ bền của nhiều loại SSD khác nhau. Tốc độ cao đạt được thông qua mô hình lưu trữ lai: dữ liệu quan trọng nhất được lưu trữ trong bộ nhớ đệm, giảm số lần truy cập ổ đĩa.
Như một ví dụ về việc tích hợp công cụ mới vào các dự án của bên thứ ba, một phiên bản hướng tài liệu của MongoDB DBMS đã được chuẩn bị, được dịch sang sử dụng HSE.
Về mặt công nghệ, HSE dựa trên một mô-đun lõi bổ sung, mpool , thực hiện giao diện chuyên dụng để lưu trữ các đối tượng cho ổ đĩa trạng thái rắn, có tính đến khả năng và đặc điểm của chúng, từ đó cho phép các tính năng tốc độ và độ bền khác biệt về cơ bản. Mpool cũng là một dự án mã nguồn mở do Micron Technology phát triển, được phát hành đồng thời với HSE, nhưng nó nổi bật như một dự án cơ sở hạ tầng riêng biệt. Mpool giả định việc sử dụng bộ nhớ bền vững và lưu trữ theo vùng, nhưng hiện tại chỉ hỗ trợ các SSD truyền thống.
Các bài kiểm tra hiệu năng sử dụng gói YCSB (Yahoo Cloud Serving Benchmark) cho thấy hiệu năng tăng đáng kể khi sử dụng 2 TB dung lượng lưu trữ với khả năng xử lý khối dữ liệu 1 KB. Đặc biệt, sự tăng hiệu năng đáng kể được quan sát thấy trong bài kiểm tra với sự phân bổ đồng đều các thao tác đọc và ghi.
Ví dụ, MongoDB với công cụ HSE nhanh hơn khoảng 8 lần so với phiên bản sử dụng công cụ WiredTiger tiêu chuẩn, và công cụ quản trị cơ sở dữ liệu RocksDB vượt trội hơn HSE hơn 6 lần. Các chỉ số hiệu suất xuất sắc cũng được thể hiện rõ trong các bài kiểm tra, với 95% là các thao tác đọc và chỉ 5% là các thay đổi hoặc bổ sung.
Một thử nghiệm khác được thực hiện chỉ liên quan đến các hoạt động đọc, nó cho thấy lợi nhuận khoảng 40%. Sự gia tăng khả năng sống sót của SSD trong quá trình ghi so với giải pháp dựa trên RocksDB được ước tính là 7 lần.
Các tính năng chính của HSE:
- Hỗ trợ cho các nhà khai thác tiêu chuẩn và nâng cao để xử lý dữ liệu ở định dạng khóa / giá trị;
- Hỗ trợ giao dịch đầy đủ và với khả năng cô lập các phân đoạn lưu trữ bằng cách tạo ảnh chụp nhanh (ảnh chụp nhanh cũng có thể được sử dụng để duy trì các bộ sưu tập riêng biệt trong một cửa hàng).
- Khả năng sử dụng con trỏ để duyệt dữ liệu trong các biểu diễn dựa trên ảnh chụp nhanh.
- Một mô hình dữ liệu được tối ưu hóa cho các loại tải hỗn hợp trong một kho lưu trữ.
- Cơ chế linh hoạt để quản lý độ tin cậy của bộ nhớ.
- Các lược đồ điều phối dữ liệu có thể tùy chỉnh (phân phối thông qua các loại bộ nhớ khác nhau có trong kho lưu trữ).
- Thư viện với API C có thể được liên kết động với bất kỳ ứng dụng nào.
Khả năng mở rộng quy mô đến hàng terabyte dữ liệu và hàng trăm tỷ khóa lưu trữ. - Xử lý hiệu quả hàng nghìn thao tác song song.
- Tăng đáng kể băng thông, giảm độ trễ và đọc / ghi cao hơn cho các loại khối lượng công việc khác nhau so với các cách giải quyết thông thường.
- Khả năng sử dụng các loại SSD khác nhau trong cùng một bộ lưu trữ để tối ưu hóa hiệu suất và độ bền.
Bạn có thể truy cập mã nguồn của công cụ tìm kiếm từ liên kết sau.