micron Technology (εταιρεία που ειδικεύεται στην παραγωγή DRAM και μνήμης flash) αποκάλυψε την εισαγωγή του μια νέα μηχανή που ονομάζεται "HSE" (Μηχανή αποθήκευσης ετερογενούς μνήμης), η οποία αναπτύχθηκε με γνώμονα τις ιδιαιτερότητες χρήσης σε μονάδες SSD που βασίζονται σε flash NAND (X100, TLC, QLC 3D NAND) ή μνήμη μόνο για ανάγνωση (NVDIMM).
Ο κινητήρας κατασκευάζεται με τη μορφή βιβλιοθήκης για ενσωμάτωση σε άλλες εφαρμογές και υποστηρίζει την επεξεργασία δεδομένων σε μορφή κλειδιού-τιμήςρ. Ο κωδικός HSE γράφεται σε C και διανέμεται με την άδεια Apache 2.0.
Μεταξύ των εφαρμογών κινητήρα, αναφέρονται εφαρμογές για αποθήκευση δεδομένων χαμηλού επιπέδου σε DBMS NoSQL, αποθήκες λογισμικού (SDS, αποθήκευση που καθορίζεται από λογισμικό), όπως Ceph και Scality RING, πλατφόρμες για την επεξεργασία μεγάλων ποσοτήτων δεδομένων (Big Data), συστήματα υψηλής απόδοσης (HPC), συσκευές Internet of things (IoT) και λύσεις για συστήματα μηχανικής μάθησης.
Το HSE βελτιστοποιείται όχι μόνο για μέγιστη απόδοση, αλλά και για να διασφαλιστεί η ανθεκτικότητα διαφόρων ειδών μονάδων SSD. Η υψηλή ταχύτητα επιτεύχθηκεμέσω ενός υβριδικού μοντέλου αποθήκευσης: τα πιο σχετικά δεδομένα αποθηκεύονται στην κρυφή μνήμη, μειώνοντας τον αριθμό των προσβάσεων στο δίσκο.
Ως παράδειγμα ενσωμάτωσης του νέου κινητήρα σε έργα τρίτων, προετοιμάστηκε μια έκδοση του MongoDB DBMS προσανατολισμένη στα έγγραφα, η οποία μεταφράστηκε για χρήση του HSE.
Τεχνολογικά, HSE βασίζεται σε ένα πρόσθετο mpool module πυρήνα, η οποία εφαρμόζει μια εξειδικευμένη διεπαφή για την αποθήκευση αντικειμένων για μονάδες στερεάς κατάστασης, λαμβάνοντας υπόψη τις δυνατότητες και τα χαρακτηριστικά τους, επιτρέποντας ουσιαστικά διαφορετικά χαρακτηριστικά ταχύτητας και ανθεκτικότητας. Το Mpool είναι επίσης μια ανάπτυξη τεχνολογίας Micron που ανοίγει ταυτόχρονα με το HSE, αλλά ξεχωρίζει ως ξεχωριστό έργο υποδομής. Το Mpool αναλαμβάνει τη χρήση μόνιμης μνήμης και αποθήκευσης ζώνης, αλλά προς το παρόν υποστηρίζονται μόνο παραδοσιακά SSD.
Δοκιμή απόδοσης με το πακέτο YCSB (Yahoo Cloud Serving Benchmark) παρουσίασε σημαντική αύξηση της απόδοσης κατά τη χρήση αποθήκευσης 2TB με επεξεργασία μπλοκ δεδομένων 1KB. Μια ιδιαίτερα σημαντική αύξηση της απόδοσης παρατηρείται στο τεστ με μια ομοιόμορφη κατανομή των λειτουργιών ανάγνωσης και εγγραφής.
Π.χ. Το MongoDB με τον κινητήρα HSE αποδείχθηκε περίπου 8 φορές πιο γρήγορο από την έκδοση με τον τυπικό κινητήρα WiredTiger, και ο κινητήρας RocksDB DBMS ξεπέρασε το HSE κατά περισσότερο από 6 φορές. Εξαιρετικοί δείκτες είναι επίσης ορατοί στις δοκιμές, οι οποίες δείχνουν το 95% των λειτουργιών ανάγνωσης και το 5% των αλλαγών ή των προσθηκών.
Μια άλλη δοκιμή που εκτελείται περιλαμβάνει μόνο διαδικασίες ανάγνωσης, δείχνει κέρδος περίπου 40%. Η αύξηση της επιβίωσης των SSD κατά τη διάρκεια των εγγραφών σε σύγκριση με τη λύση που βασίζεται στο RocksDB εκτιμάται ότι είναι 7 φορές.
Βασικά χαρακτηριστικά του HSE:
- Υποστήριξη για τυπικούς και προηγμένους χειριστές για την επεξεργασία δεδομένων σε μορφή κλειδιού / τιμής ·
- Πλήρης υποστήριξη συναλλαγών και με δυνατότητα απομόνωσης τμημάτων αποθήκευσης δημιουργώντας στιγμιότυπα (στιγμιότυπα μπορούν επίσης να χρησιμοποιηθούν για τη διατήρηση ξεχωριστών συλλογών σε ένα κατάστημα).
- Δυνατότητα χρήσης δρομέων για διασχίζοντας δεδομένα σε παραστάσεις που βασίζονται σε στιγμιότυπα.
- Ένα μοντέλο δεδομένων βελτιστοποιημένο για μικτούς τύπους φορτίων σε ένα μοναδικό αποθετήριο.
- Ευέλικτοι μηχανισμοί για τη διαχείριση της αξιοπιστίας αποθήκευσης.
- Προσαρμόσιμα σχήματα ενορχήστρωσης δεδομένων (διανομή μέσω διαφορετικών τύπων μνήμης που υπάρχουν στο αποθετήριο).
- Μια βιβλιοθήκη με C API που μπορεί να συνδεθεί δυναμικά με οποιαδήποτε εφαρμογή.
Η δυνατότητα κλιμάκωσης σε terabyte δεδομένων και εκατοντάδων δισεκατομμυρίων κλειδιών στην αποθήκευση. - Αποτελεσματική επεξεργασία χιλιάδων παράλληλων εργασιών.
- Σημαντική αύξηση του εύρους ζώνης, μειωμένη καθυστέρηση και αυξημένη ανάγνωση / εγγραφή για διάφορους τύπους φόρτου εργασίας σε σύγκριση με τις τυπικές λύσεις.
- Η δυνατότητα χρήσης διαφορετικών κατηγοριών SSD στον ίδιο χώρο αποθήκευσης για τη βελτιστοποίηση της απόδοσης και της αντοχής.
Μπορείτε να αποκτήσετε πρόσβαση στον κωδικό κινητήρα από τον παρακάτω σύνδεσμο.