מיקרון טכנולוגיות (חברה המתמחה בייצור DRAM וזיכרון פלאש) חשף את ההקדמה של מנוע חדש שנקרא "HSE" (מנוע אחסון זיכרון הטרוגני), אשר פותח תוך התחשבות במפרט השימוש על כונני SSD מבוססי פלאש NAND (X100, TLC, QLC 3D NAND) או זיכרון לקריאה בלבד (NVDIMM).
המנוע מיוצר בצורה של ספרייה להטמיע ביישומים אחרים ו תומך בעיבוד נתונים בפורמט ערך מפתחר. קוד HSE כתוב ב- C ומופץ ברישיון Apache 2.0.
בין היישומים המוטוריים, יישומים לאחסון נתונים ברמה נמוכה מוזכרים ב- NoSQL DBMS, מחסני תוכנה (SDS, אחסון מוגדר תוכנה) כגון Ceph ו- Scality RING, פלטפורמות לעיבוד כמויות גדולות של נתונים (Big Data), מערכות מחשוב בעלות ביצועים גבוהים (HPC), מכשירי אינטרנט של דברים (IoT) ו פתרונות למערכות לימוד מכונה.
HSE מותאם לא רק לביצועים מקסימליים, אלא גם כדי להבטיח עמידות של כונני SSD מסוגים שונים. המהירות הגבוהה הושגהבאמצעות מודל אחסון היברידי: הנתונים הרלוונטיים ביותר נשמרים במטמון, מה שמקטין את מספר הגישות לדיסק.
כדוגמה לשילוב המנוע החדש בפרויקטים של צד שלישי, הוכנה גרסה מכוונת מסמכים של ה- DBMS של MongoDB, שתורגמה לשימוש ב- HSE.
מבחינה טכנולוגית, HSE מבוסס על מודול ליבה נוסף mpool, המיישם ממשק מיוחד לאחסון אובייקטים עבור כונני מצב מוצק, תוך התחשבות ביכולותיהם ומאפייניהם, ומאפשר מאפיינים שונים במהותם של מהירות ועמידות. Mpool היא גם פיתוח טכנולוגי של מיקרון הפתוח במקביל ל- HSE, אך הוא בולט כפרויקט תשתית נפרד. Mpool מניחה את השימוש בזיכרון מתמשך ואחסון אזור, אך כרגע נתמכים רק כונני SSD מסורתיים.
בדיקות ביצועים עם חבילת YCSB (Benchmark שרת הענן של יאהו) הראה עלייה משמעותית בביצועים בשימוש באחסון 2TB עם עיבוד בלוק נתונים של 1KB. במבחן נצפתה עליית ביצועים משמעותית במיוחד עם פיזור אחיד של פעולות הקריאה והכתיבה.
לדוגמה: MongoDB עם מנוע HSE התברר כי הוא מהיר פי 8 בערך מהגרסה עם מנוע WiredTiger הסטנדרטי, ומנוע ה- DBMS של RocksDB עלה על ה- HSE יותר מפי 6. אינדיקטורים מצוינים ניכרים גם במבחנים, המראים 95% מפעולות הקריאה ו -5% מהשינויים או התוספות.
בדיקה נוספת שבוצעה כוללת פעולות קריאה בלבד, היא מראה רווח של כ -40%. הגידול בשרידותם של כונני SSD במהלך פעולות כתיבה בהשוואה לפתרון מבוסס RocksDB מוערך פי 7.
תכונות עיקריות של HSE:
- תמיכה במפעילים סטנדרטיים ומתקדמים לעבד נתונים בפורמט מפתח / ערך;
- תמיכה מלאה בעסקאות ועם יכולת לבודד פלחי אחסון על ידי יצירת תמונות (ניתן להשתמש בתצלומים גם לשמירה על אוספים נפרדים בחנות).
- יכולת להשתמש בסמנים כדי לחצות נתונים בייצוגים מבוססי תמונת מצב.
- מודל נתונים המותאם לסוגי עומס מעורב במאגר יחיד.
- מנגנונים גמישים לניהול אמינות האחסון.
- תוכניות תזמון נתונים להתאמה אישית (הפצה באמצעות סוגים שונים של זיכרון הנמצאים במאגר).
- ספרייה עם ממשק API שניתן לקשר באופן דינמי לכל יישום.
היכולת לשנות את גודל הטרה-בייט של נתונים ומאות מיליארדי מפתחות באחסון. - עיבוד יעיל של אלפי פעולות מקבילות.
- עלייה משמעותית ברוחב הפס, חביון מופחת והעלאת קריאה / כתיבה עבור סוגים שונים של עומס עבודה בהשוואה לעקיפת הבעיה האופיינית.
- היכולת להשתמש בכיתות שונות של כונני SSD באותו אחסון כדי לייעל ביצועים ועמידות.
אתה יכול לגשת לקוד המנוע מהקישור למטה.