एचएसई, एक ओपन सोर्स स्टोरेज इंजन, एसएसडी के लिए अनुकूलित एसएसई

माइक्रोन प्रौद्योगिकी (DRAM और फ्लैश मेमोरी के उत्पादन में विशेष कंपनी) के परिचय का अनावरण किया नामक एक नया इंजन "एचएसई" (विषम-स्मृति संग्रहण इंजन), जिसे मन में उपयोग की बारीकियों के साथ विकसित किया गया था नंद फ्लैश पर आधारित एसएसडी ड्राइव (X100, TLC, QLC 3D NAND) या केवल-पढ़ने योग्य मेमोरी (NVDIMM)।

इंजन को लाइब्रेरी के रूप में बनाया जाता है अन्य अनुप्रयोगों में एम्बेड करने के लिए और कुंजी-मान प्रारूप में डेटा प्रसंस्करण का समर्थन करता हैआर HSE कोड C में लिखा गया है और Apache 2.0 लाइसेंस के तहत वितरित किया गया है।

मोटर अनुप्रयोगों में, निम्न-स्तरीय डेटा संग्रहण के लिए अनुप्रयोगों का उल्लेख किया गया है NoSQL DBMS, सॉफ़्टवेयर वेयरहाउस (SDS, सॉफ़्टवेयर-डिफ़ाइंड स्टोरेज) जैसे कि सेफ और स्कैलिटी रिंग में, बड़ी मात्रा में डेटा (बिग डेटा), हाई-परफॉर्मेंस कंप्यूटिंग सिस्टम (HPC), इंटरनेट ऑफ़ थिंग्स (IoT): डिवाइसेस मशीन लर्निंग सिस्टम के लिए समाधान।

HSE न केवल अधिकतम प्रदर्शन के लिए अनुकूलित है, लेकिन यह भी एसएसडी ड्राइव के विभिन्न प्रकार के स्थायित्व को सुनिश्चित करने के लिए। तेज रफ्तार हासिल हुईएक हाइब्रिड स्टोरेज मॉडल के माध्यम से: सबसे अधिक प्रासंगिक डेटा कैश्ड है, डिस्क एक्सेस की संख्या को कम करता है।

नए इंजन को तृतीय-पक्ष परियोजनाओं में एकीकृत करने के एक उदाहरण के रूप में, MongoDB DBMS का एक दस्तावेज-उन्मुख संस्करण तैयार किया गया था, जिसे HSE का उपयोग करने के लिए अनुवादित किया गया था।

तकनीकी रूप से, एच.एस.ई. एक अतिरिक्त कर्नेल मॉड्यूल mpool पर आधारित है, जो ठोस राज्य ड्राइव के लिए वस्तुओं के भंडारण के लिए एक विशेष इंटरफ़ेस को लागू करता है, उनकी क्षमताओं और विशेषताओं को ध्यान में रखते हुए, गति और स्थायित्व की मौलिक विभिन्न विशेषताओं को प्राप्त करने की अनुमति देता है। मुप्लस एचएसई के साथ एक माइक्रोन प्रौद्योगिकी विकास भी है, लेकिन यह एक अलग बुनियादी ढांचा परियोजना है। चाप निरंतर मेमोरी और ज़ोन भंडारण के उपयोग को मानता है, लेकिन वर्तमान में केवल पारंपरिक एसएसडी का समर्थन किया जाता है।

YCSB पैकेज के साथ प्रदर्शन परीक्षण (याहू क्लाउड सर्विसिंग बेंचमार्क) 2KB डेटा ब्लॉक प्रोसेसिंग के साथ 1TB स्टोरेज का उपयोग करते समय प्रदर्शन में उल्लेखनीय वृद्धि देखी गई। परीक्षण में एक विशेष रूप से महत्वपूर्ण प्रदर्शन वृद्धि को पढ़ने और लिखने के संचालन के समान वितरण के साथ मनाया जाता है।

उदाहरण के HSE इंजन के साथ MongoDB लगभग 8 गुना तेज निकला मानक WiredTiger इंजन के साथ संस्करण की तुलना में, और RocksDB DBMS इंजन ने 6 से अधिक बार HSE से बेहतर प्रदर्शन किया। परीक्षणों में उत्कृष्ट संकेतक भी दिखाई देते हैं, जो 95% रीड ऑपरेशन और 5% परिवर्तन या परिवर्धन दिखाते हैं।

किए गए एक अन्य परीक्षण में केवल पढ़ने के संचालन शामिल हैं, यह लगभग 40% का लाभ दिखाता है। RocksDB- आधारित समाधान की तुलना में लेखन कार्यों के दौरान SSDs की उत्तरजीविता में वृद्धि का अनुमान 7 बार लगाया गया है।

एचएसई की मुख्य विशेषताएं:

  • मानक और उन्नत ऑपरेटरों के लिए समर्थन कुंजी / मान प्रारूप में डेटा को संसाधित करने के लिए;
  • पूर्ण लेनदेन समर्थन और स्नैपशॉट बनाकर भंडारण खंडों को अलग करने की क्षमता के साथ (स्नैपशॉट का उपयोग किसी स्टोर में अलग-अलग संग्रह को बनाए रखने के लिए भी किया जा सकता है)।
  • स्नैपशॉट-आधारित अभ्यावेदन में डेटा को पार करने के लिए कर्सर का उपयोग करने की क्षमता।
  • एकल रिपॉजिटरी में मिश्रित लोड प्रकारों के लिए अनुकूलित एक डेटा मॉडल।
  • लचीले तंत्र भंडारण विश्वसनीयता का प्रबंधन करने के लिए।
  • अनुकूलन डेटा ऑर्केस्ट्रेशन योजनाएं (रिपॉजिटरी में मौजूद विभिन्न प्रकार की मेमोरी के माध्यम से वितरण)।
  • C API वाला लाइब्रेरी जिसे गतिशील रूप से किसी भी एप्लिकेशन से जोड़ा जा सकता है।
    भंडारण में डेटा और टेबल्स की सैकड़ों अरबों की स्केल करने की क्षमता।
  • हजारों समानांतर संचालन का प्रभावी प्रसंस्करण।
  • बैंडविड्थ में उल्लेखनीय वृद्धि, विलंबता को कम किया, और विभिन्न प्रकार के वर्कलोड की तुलना में विभिन्न प्रकार के वर्कलोड के लिए रीड / राइट को बढ़ाया।
  • प्रदर्शन और स्थायित्व को अनुकूलित करने के लिए एक ही भंडारण में एसएसडी के विभिन्न वर्गों का उपयोग करने की क्षमता।

आप इंजन कोड का उपयोग कर सकते हैं नीचे दिए गए लिंक से 


अपनी टिप्पणी दर्ज करें

आपका ईमेल पता प्रकाशित नहीं किया जाएगा। आवश्यक फ़ील्ड के साथ चिह्नित कर रहे हैं *

*

*

  1. डेटा के लिए जिम्मेदार: मिगुएल elngel Gatón
  2. डेटा का उद्देश्य: नियंत्रण स्पैम, टिप्पणी प्रबंधन।
  3. वैधता: आपकी सहमति
  4. डेटा का संचार: डेटा को कानूनी बाध्यता को छोड़कर तीसरे पक्ष को संचार नहीं किया जाएगा।
  5. डेटा संग्रहण: ऑकेंटस नेटवर्क्स (EU) द्वारा होस्ट किया गया डेटाबेस
  6. अधिकार: किसी भी समय आप अपनी जानकारी को सीमित, पुनर्प्राप्त और हटा सकते हैं।