חברת Micron Technology (חברה המתמחה בייצור DRAM וזיכרון פלאש) הכריזה על הצגת מנוע חדש בשם "HSE" (Heterogeneous-memory Storage Engine), אשר פותח תוך התחשבות במאפיינים הספציפיים של שימוש ביחידות SSD המבוססות על זיכרון פלאש NAND (X100, TLC, QLC 3D NAND) או זיכרון לקריאה בלבד (NVDIMM).
המנוע מתוכנן כספרייה להטמעה ביישומים אחרים ותומך בעיבוד נתוני מפתח-ערך . קוד ה-HSE נכתב בשפת C ומופץ תחת רישיון Apache 2.0.
בין היישומים של המנוע נמנים אחסון נתונים ברמה נמוכה ב-NoSQL DBMS, אחסון מוגדר תוכנה (SDS) כגון Ceph ו-Scality RING, פלטפורמות לעיבוד כמויות גדולות של נתונים (Big Data), מערכות מחשוב עתיר ביצועים (HPC), התקני אינטרנט של הדברים (IoT) ופתרונות למערכות למידת מכונה.
HSE ממוטב לא רק לביצועים מקסימליים אלא גם כדי להבטיח את העמידות של סוגי SSD שונים. מהירות גבוהה מושגת באמצעות מודל אחסון היברידי: הנתונים הרלוונטיים ביותר מאוחסנים במטמון, מה שמפחית את מספר הגישות לדיסק.
כדוגמה לשילוב המנוע החדש בפרויקטים של צד שלישי, הוכנה גרסה מכוונת מסמכים של ה- DBMS של MongoDB, שתורגמה לשימוש ב- HSE.
מבחינה טכנולוגית, HSE מבוסס על מודול ליבה נוסף, mpool , אשר מיישם ממשק ייעודי לאחסון אובייקטים עבור כונני מצב מוצק, תוך התחשבות ביכולות ובמאפיינים שלהם, ובכך מאפשר תכונות מהירות ועמידות שונות באופן מהותי. Mpool הוא גם פיתוח קוד פתוח של Micron Technology, שיצא במקביל ל-HSE, אך הוא בולט כפרויקט תשתית נפרד. Mpool מניח שימוש בזיכרון מתמשך ואחסון אזורי, אך נכון לעכשיו נתמכים רק כונני SSD מסורתיים.
מבחני ביצועים באמצעות חבילת YCSB (Yahoo Cloud Serving Benchmark) הראו עלייה משמעותית בביצועים בעת שימוש בנפח אחסון של 2 טרה-בייט עם עיבוד בלוקי נתונים של 1 קילו-בייט. עלייה משמעותית במיוחד בביצועים נצפתה בבדיקה עם התפלגות אחידה של פעולות קריאה וכתיבה.
לדוגמה, MongoDB עם מנוע HSE הוכח כמהיר פי 8 בערך מהגרסה עם מנוע WiredTiger הסטנדרטי, ומנוע ה-DBMS של RocksDB עלה על ביצועי HSE ביותר מפי 6. מדדי ביצועים מצוינים ניכרו גם בבדיקות, שכללו 95% פעולות קריאה ורק 5% שינויים או תוספות.
בדיקה נוספת שבוצעה כוללת פעולות קריאה בלבד, היא מראה רווח של כ -40%. הגידול בשרידותם של כונני SSD במהלך פעולות כתיבה בהשוואה לפתרון מבוסס RocksDB מוערך פי 7.
תכונות עיקריות של HSE:
- תמיכה במפעילים סטנדרטיים ומתקדמים לעבד נתונים בפורמט מפתח / ערך;
- תמיכה מלאה בעסקאות ועם יכולת לבודד פלחי אחסון על ידי יצירת תמונות (ניתן להשתמש בתצלומים גם לשמירה על אוספים נפרדים בחנות).
- יכולת להשתמש בסמנים כדי לחצות נתונים בייצוגים מבוססי תמונת מצב.
- מודל נתונים המותאם לסוגי עומס מעורב במאגר יחיד.
- מנגנונים גמישים לניהול אמינות האחסון.
- תוכניות תזמון נתונים להתאמה אישית (הפצה באמצעות סוגים שונים של זיכרון הנמצאים במאגר).
- ספרייה עם ממשק API שניתן לקשר באופן דינמי לכל יישום.
היכולת לשנות את גודל הטרה-בייט של נתונים ומאות מיליארדי מפתחות באחסון. - עיבוד יעיל של אלפי פעולות מקבילות.
- עלייה משמעותית ברוחב הפס, חביון מופחת והעלאת קריאה / כתיבה עבור סוגים שונים של עומס עבודה בהשוואה לעקיפת הבעיה האופיינית.
- היכולת להשתמש בכיתות שונות של כונני SSD באותו אחסון כדי לייעל ביצועים ועמידות.
ניתן לגשת לקוד המנוע מהקישור הבא.