HSE,一种开源存储引擎,针对SSD优化了SSE


美光科技 (一家专门生产DRAM和闪存的公司) 推出了介绍 一个叫做 “ HSE” (异构内存存储引擎),其开发考虑了特定的使用 在基于NAND闪存的SSD驱动器上 (X100,TLC,QLC 3D NAND)或只读存储器(NVDIMM)。

引擎以库的形式制成 嵌入其他应用程序并 支持键值格式的数据处理河HSE代码用C编写,并根据Apache 2.0许可进行分发。

在电机应用中, 提到了底层数据存储的应用 在NoSQL DBMS中,软件仓库(SDS,软件定义的存储)(例如Ceph和Scality RING),用于处理大量数据(大数据)的平台,高性能计算系统(HPC),物联网(IoT)设备和机器学习系统的解决方案。

HSE不仅针对最佳性能进行了优化, 而且还要确保各种SSD驱动器的耐用性。 实现了高速通过混合存储模型: 缓存了最相关的数据,从而减少了磁盘访问次数。

作为将新引擎集成到第三方项目中的示例,已准备了面向文档的MongoDB DBMS版本,并将其翻译为使用HSE。

从技术上讲,HSE 基于附加的内核模块mpool,它实现了用于存储固态硬盘对象的专用接口,并考虑了它们的功能和特性,从而实现了速度和耐用性的根本不同特性。 Mpool也是与HSE同时开放的Micron Technology开发项目,但作为独立的基础架构项目而脱颖而出。 Mpool假定使用持久性内存和区域存储,但是目前仅支持传统的SSD。

使用YCSB软件包进行性能测试 (Yahoo Cloud Serving Benchmark)在将2TB存储与1KB数据块处理一起使用时,性能显着提高。 在测试中观察到特别显着的性能提升,读写操作的分布均匀。

例如: 带有HSE引擎的MongoDB大约快了8倍 比标准WiredTiger引擎的版本要高,而RocksDB DBMS引擎的表现要比HSE高出6倍以上。 在测试中还可以看到出色的指示器,该指示器显示95%的读取操作和5%的更改或添加。

进行的另一项测试仅涉及读取操作,显示出约40%的利润。 与基于RocksDB的解决方案相比,写操作期间SSD的可生存性提高了7倍。

HSE的主要特点:

  • 支持标准和高级操作员 以键/值格式处理数据;
  • 全面的事务支持,并具有通过创建快照来隔离存储段的能力(快照也可以用于维护商店中的单独集合)。
  • 能够使用游标遍历基于快照的表示形式中的数据。
  • 为单个存储库中的混合负载类型优化的数据模型。
  • 灵活的机制 管理存储可靠性。
  • 可定制的数据编排方案(通过存储库中存在的不同类型的内存进行分配)。
  • 具有C API的库 可以动态链接到任何应用程序。
    能够扩展到TB级数据和数千亿个存储键的能力。
  • 有效处理数千个并行操作。
  • 与典型的解决方法相比,各种类型的工作负载的带宽显着增加,延迟减少以及读写增加。
  • 能够在同一存储中使用不同类别的SSD来优化性能和耐用性。

您可以访问引擎代码 从下面的链接。 


本文内容遵循我们的原则 编辑伦理。 要报告错误,请单击 信息.

成为第一个发表评论

发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责数据:MiguelÁngelGatón
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。