DRAM ve flash bellek üretiminde uzmanlaşmış bir şirket olan Micron Technology , NAND flash (X100, TLC, QLC 3D NAND) veya salt okunur bellek (NVDIMM) tabanlı SSD ünitelerinde kullanımın özel özelliklerini dikkate alarak geliştirilen "HSE" (Heterojen Bellek Depolama Motoru) adlı yeni bir motorun tanıtımını duyurdu.
Bu motor, diğer uygulamalara entegre edilmek üzere bir kütüphane olarak tasarlanmıştır ve anahtar-değer veri işlemeyi destekler . HSE kodu C dilinde yazılmıştır ve Apache 2.0 lisansı altında dağıtılmaktadır.
Motorun uygulama alanları arasında NoSQL veritabanı yönetim sistemlerinde düşük seviyeli veri depolama , Ceph ve Scality RING gibi yazılım tanımlı depolama (SDS), büyük miktarda veriyi işleme platformları (Büyük Veri), yüksek performanslı bilgi işlem (HPC) sistemleri, Nesnelerin İnterneti (IoT) cihazları ve makine öğrenimi sistemlerine yönelik çözümler yer almaktadır.
HSE, yalnızca maksimum performans için değil , aynı zamanda çeşitli SSD sınıflarının dayanıklılığını sağlamak için de optimize edilmiştir . Yüksek hız , hibrit depolama modeliyle elde edilir: en önemli veriler önbellekte saklanır ve disk erişim sayısı azaltılır.
Yeni motorun üçüncü taraf projelerine entegre edilmesine bir örnek olarak, HSE'ye çevrilen MongoDB DBMS'nin belge odaklı bir versiyonu hazırlandı.
Teknolojik olarak HSE, katı hal sürücülerinin yeteneklerini ve özelliklerini dikkate alarak nesneleri depolamak için özel bir arayüz uygulayan ek bir çekirdek modülü olan mpool'a dayanmaktadır ; bu da temelde farklı hız ve dayanıklılık özellikleri sağlar. Mpool da Micron Technology tarafından geliştirilen ve HSE ile eş zamanlı olarak piyasaya sürülen açık kaynaklı bir projedir, ancak ayrı bir altyapı projesi olarak öne çıkmaktadır. Mpool, kalıcı bellek ve bölge depolama kullanımını varsayar, ancak şu anda yalnızca geleneksel SSD'ler desteklenmektedir.
YCSB (Yahoo Cloud Serving Benchmark) paketi kullanılarak yapılan performans testleri, 1 KB veri bloğu işleme ile 2 TB depolama alanı kullanıldığında önemli bir performans artışı gösterdi. Özellikle okuma ve yazma işlemlerinin eşit dağılımıyla yapılan testte önemli bir performans artışı gözlemlendi.
Örneğin, HSE motorlu MongoDB, standart WiredTiger motorlu sürüme göre yaklaşık 8 kat daha hızlı olduğu kanıtlanmıştır ve RocksDB DBMS motoru, HSE'yi 6 kattan fazla geride bırakmıştır. Testlerde de mükemmel performans göstergeleri açıkça görülmektedir; testlerin %95'i okuma işlemlerinden, sadece %5'i ise değişiklik veya ekleme işlemlerinden oluşmuştur.
Yapılan başka bir test sadece okuma işlemlerini içerir, yaklaşık% 40 kar gösterir. RocksDB tabanlı çözüme kıyasla, yazma işlemleri sırasında SSD'lerin beka kabiliyetindeki artışın 7 kat olduğu tahmin edilmektedir.
EYO'nun Temel Özellikleri:
- Standart ve gelişmiş operatörler için destek verileri anahtar / değer formatında işlemek için;
- Tam işlem desteği ve anlık görüntüler oluşturarak depolama segmentlerini izole etme yeteneği ile (anlık görüntüler, bir mağazada ayrı koleksiyonlar tutmak için de kullanılabilir).
- Anlık görüntü tabanlı gösterimlerde verileri dolaşmak için imleçleri kullanma yeteneği.
- Tek bir depodaki karma yük türleri için optimize edilmiş bir veri modeli.
- Esnek mekanizmalar depolama güvenilirliğini yönetmek için.
- Özelleştirilebilir veri düzenleme şemaları (havuzda bulunan farklı bellek türleri aracılığıyla dağıtım).
- C API içeren bir kitaplık herhangi bir uygulamaya dinamik olarak bağlanabilir.
Depolamada terabaytlarca veriye ve yüz milyarlarca anahtara ölçeklendirme yeteneği. - Binlerce paralel işlemin etkin işlenmesi.
- Tipik geçici çözümlere kıyasla bant genişliğinde önemli artış, düşük gecikme süresi ve çeşitli iş yükü türleri için artan okuma / yazma.
- Performansı ve dayanıklılığı optimize etmek için aynı depolamada farklı SSD sınıfları kullanma yeteneği.
Motor koduna aşağıdaki bağlantıdan ulaşabilirsiniz .