美光科技(一家專門生產 DRAM 和快閃記憶體的公司)宣布推出一款名為「HSE」(異質記憶體儲存引擎)的新引擎,該引擎的開發考慮到了基於 NAND 快閃記憶體(X100、TLC、QLC 3D NAND)或唯讀記憶體(NVDIMM)的 SSD 單元的特定使用特性。
該引擎被設計為一個可嵌入其他應用程式的庫,並支援鍵值資料處理。 HSE 程式碼使用 C 語言編寫,並以 Apache 2.0 授權發布。
此引擎的應用領域包括 NoSQL DBMS 中的底層資料儲存、軟體定義儲存 (SDS)(如 Ceph 和 Scality RING)、大數據處理平台、高效能運算 (HPC) 系統、物聯網 (IoT) 設備以及機器學習系統解決方案。
HSE不僅針對最高效能進行了最佳化,還確保了各種SSD的耐用性。高速傳輸是透過混合儲存模型實現的:最重要的資料儲存在快取中,從而減少磁碟存取次數。
作為將新引擎集成到第三方項目中的示例,已準備了面向文檔的MongoDB DBMS版本,並將其翻譯為使用HSE。

從技術角度來看,HSE基於一個名為 mpool 的附加核心模組,該模組實現了一個專門用於存儲固態硬碟物件的接口,充分考慮了固態硬碟的性能和特性,從而實現了截然不同的速度和耐用性。 mpool 也是美光科技開發的開源項目,與 HSE 同時發布,但它作為一個獨立的底層架構項目而存在。 mpool 假定使用持久記憶體和區域存儲,但目前僅支援傳統的固態硬碟。
使用 YCSB(Yahoo Cloud Serving Benchmark)測試套件進行的效能測試表明,當使用 2 TB 儲存空間並採用 1 KB 資料塊處理時,效能顯著提升。尤其是在讀寫操作均勻分佈的測試中,效能提升更為顯著。
例如,採用 HSE 引擎的 MongoDB 比採用標準 WiredTiger 引擎的版本快約 8 倍,而 RocksDB DBMS 引擎的效能則比 HSE 快 6 倍以上。測試結果也顯示出卓越的效能指標,其中 95% 的操作為讀取操作,只有 5% 的操作為變更或新增操作。
進行的另一項測試僅涉及讀取操作,顯示出約40%的利潤。 與基於RocksDB的解決方案相比,寫操作期間SSD的可生存性提高了7倍。
HSE的主要特點:
- 支持標準和高級操作員 以鍵/值格式處理數據;
- 全面的事務支持,並具有通過創建快照來隔離存儲段的能力(快照也可以用於維護商店中的單獨集合)。
- 能夠使用游標遍歷基於快照的表示形式中的數據。
- 為單個存儲庫中的混合負載類型優化的數據模型。
- 靈活的機制 管理存儲可靠性。
- 可定制的數據編排方案(通過存儲庫中存在的不同類型的內存進行分配)。
- 具有C API的庫 可以動態鏈接到任何應用程序。
能夠擴展到TB級數據和數千億個存儲鍵的能力。 - 有效處理數千個並行操作。
- 與典型的解決方法相比,各種類型的工作負載的帶寬顯著增加,延遲減少以及讀寫增加。
- 能夠在同一存儲中使用不同類別的SSD來優化性能和耐用性。
您可以透過以下連結存取引擎代碼。