HSE,一種開源存儲引擎,針對SSD優化了SSE

美光科技 (一家專門生產DRAM和閃存的公司) 推出了介紹 一個叫做 “ HSE” (異構內存存儲引擎),其開發考慮了特定的使用 在基於NAND閃存的SSD驅動器上 (X100,TLC,QLC 3D NAND)或只讀存儲器(NVDIMM)。

引擎以庫的形式製成 嵌入其他應用程序並 支持鍵值格式的數據處理河HSE代碼用C編寫,並根據Apache 2.0許可進行分發。

在電機應用中, 提到了底層數據存儲的應用 在NoSQL DBMS中,軟件倉庫(SDS,軟件定義的存儲)(例如Ceph和Scality RING),用於處理大量數據(大數據)的平台,高性能計算系統(HPC),物聯網(IoT)設備和機器學習系統的解決方案。

HSE不僅針對最佳性能進行了優化, 而且還要確保各種SSD驅動器的耐用性。 實現了高速通過混合存儲模型: 緩存了最相關的數據,從而減少了磁盤訪問次數。

作為將新引擎集成到第三方項目中的示例,已準備了面向文檔的MongoDB DBMS版本,並將其翻譯為使用HSE。

從技術上講,HSE 基於附加的內核模塊mpool,它實現了一種用於存儲固態驅動器對象的專用接口,並考慮了它們的功能和特性,從而實現了速度和耐用性的根本不同特性。 Mpool也是與HSE同時開放的Micron Technology開發項目,但作為獨立的基礎設施項目而脫穎而出。 Mpool假定使用持久性內存和區域存儲,但是目前僅支持傳統的SSD。

使用YCSB軟件包進行性能測試 (Yahoo Cloud Serving Benchmark)在將2TB存儲與1KB數據塊處理一起使用時,性能顯著提高。 在測試中觀察到特別顯著的性能提升,讀寫操作的分佈均勻。

例如: 帶有HSE引擎的MongoDB大約快了8倍 比標準WiredTiger引擎的版本要高,而RocksDB DBMS引擎的表現要比HSE高出6倍以上。 在測試中還可以看到出色的指示器,該指示器顯示95%的讀取操作和5%的更改或添加。

進行的另一項測試僅涉及讀取操作,顯示出約40%的利潤。 與基於RocksDB的解決方案相比,寫操作期間SSD的可生存性提高了7倍。

HSE的主要特點:

  • 支持標準和高級操作員 以鍵/值格式處理數據;
  • 全面的事務支持,並具有通過創建快照來隔離存儲段的能力(快照也可以用於維護商店中的單獨集合)。
  • 能夠使用游標遍歷基於快照的表示形式中的數據。
  • 為單個存儲庫中的混合負載類型優化的數據模型。
  • 靈活的機制 管理存儲可靠性。
  • 可定制的數據編排方案(通過存儲庫中存在的不同類型的內存進行分配)。
  • 具有C API的庫 可以動態鏈接到任何應用程序。
    能夠擴展到TB級數據和數千億個存儲鍵的能力。
  • 有效處理數千個並行操作。
  • 與典型的解決方法相比,各種類型的工作負載的帶寬顯著增加,延遲減少以及讀寫增加。
  • 能夠在同一存儲中使用不同類別的SSD來優化性能和耐用性。

您可以訪問引擎代碼 從下面的鏈接。 


發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責數據:MiguelÁngelGatón
  2. 數據用途:控制垃圾郵件,註釋管理。
  3. 合法性:您的同意
  4. 數據通訊:除非有法律義務,否則不會將數據傳達給第三方。
  5. 數據存儲:Occentus Networks(EU)託管的數據庫
  6. 權利:您可以隨時限制,恢復和刪除您的信息。