Ο Οι ερευνητές της Google κυκλοφόρησαν τα νέα σχετικά με την ανάπτυξη ενός νέου πλαισίου που επεκτείνει την εκπαίδευση μοντέλων τεχνητής νοημοσύνης σε χιλιάδες μηχανήματα. Το αποτέλεσμα καλείται SEED RL (κλιμάκωση αποτελεσματική εκμάθηση βαθιάς ενίσχυσης).
Αυτό είναι πολλά υποσχόμενη ανάπτυξη γιατί πρέπει επιτρέψτε την κατάρτιση αλγορίθμων τεχνητής νοημοσύνης σε εκατομμύρια εικόνες ανά δευτερόλεπτο και να μειώσει το κόστος αυτής της εκπαίδευσης κατά 80%, δήλωσε η Google σε ερευνητικό έγγραφο.
Αυτό το είδος συρρίκνωσης θα μπορούσε να συμβάλει στην ισοπέδωση του ανταγωνισμού για τις νεοσύστατες εταιρείες που μέχρι τώρα δεν μπόρεσαν να ανταγωνιστούν με τα κυριότερα όπως το Google στον τομέα της AI. Το κόστος της κατάρτισης εξελιγμένων μοντέλων μηχανικής μάθησης στο cloud είναι εκπληκτικά υψηλό. Η Google επισημοποιεί το άνοιγμα του κώδικα SEED RL, ένα έργο που στοχεύει στη βελτιστοποίηση του λόγου κόστους / απόδοσης της ενίσχυσης εκμάθησης.
Η εκμάθηση ενίσχυσης είναι μια πολύ συγκεκριμένη προσέγγιση περίπτωσης χρήσης στην οποία οι πράκτορες μαθαίνουν για το περιβάλλον τους μέσω της εξερεύνησης και βελτιστοποιούν τις ενέργειές τους για τις περισσότερες ανταμοιβές.
Στο »SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference", παρουσιάσαμε έναν παράγοντα RL που κλιμακώνει σε χιλιάδες μηχανήματα, επιτρέποντας την εκπαίδευση σε εκατομμύρια καρέ ανά δευτερόλεπτο και βελτιώνοντας σημαντικά την υπολογιστική απόδοση. Αυτό επιτυγχάνεται με μια νέα αρχιτεκτονική που εκμεταλλεύεται τους επιταχυντές (GPU ή TPU) σε κλίμακα συγκεντρώνοντας το συμπέρασμα του μοντέλου και εισάγοντας ένα γρήγορο επίπεδο επικοινωνίας.
Δείχνουμε την απόδοση του SEED RL σε δημοφιλή σημεία αναφοράς RL όπως το Google Research Football, το Arcade Learning Environment και το DeepMind Lab, και δείχνουμε ότι με τη χρήση μεγαλύτερων μοντέλων, η αποδοτικότητα των δεδομένων μπορεί να αυξηθεί. Ο κώδικας έχει ανοίξει στο Github μαζί με παραδείγματα για εκτέλεση στο Google Cloud με GPU.
Το SEED RL βασίζεται στο πλαίσιο TensorFlow 2.0 y λειτουργεί χρησιμοποιώντας ένα συνδυασμό μονάδων επεξεργασίας γραφικών και μονάδες επεξεργασίας τανυστών για να συγκεντρωθούν τα συμπεράσματα του μοντέλου Η εξαγωγή γίνεται κεντρικά χρησιμοποιώντας ένα εκπαιδευτικό στοιχείο που εκπαιδεύει το μοντέλο.
Οι μεταβλητές και οι πληροφορίες κατάστασης του μοντέλου στόχου αποθηκεύονται τοπικά και οι παρατηρήσεις τους αποστέλλονται στον μαθητή σε κάθε στάδιο της διαδικασίας. Το SEED RL χρησιμοποιεί επίσης μια βιβλιοθήκη δικτύου που βασίζεται στο γενικό πλαίσιο RPC ανοιχτού κώδικα για την ελαχιστοποίηση της καθυστέρησης.
Ο Οι ερευνητές της Google έχουν πει ότι το στοιχείο μάθησης από τη SEED RL μπορεί να επεκταθεί σε χιλιάδες πυρήνες, ενώ ο αριθμός των παραγόντων που πρέπει να επαναληφθούν μεταξύ της λήψης μετρήσεων στο περιβάλλον και της εκτέλεσης συμπερασμάτων στο μοντέλο για την πρόβλεψη της επόμενης δράσης, μπορεί να κλιμακωθεί έως και χιλιάδες μηχανήματα.
Η Google αξιολόγησε την αποτελεσματικότητα του SEED RL συγκρίνοντάς το με το δημοφιλές περιβάλλον μάθησης Arcade, το περιβάλλον Google Research Football και διάφορα περιβάλλοντα εργαστηρίου DeepMind. Τα αποτελέσματα δείχνουν ότι κατάφεραν να επιλύσουν μια εργασία Google Research Football, εκπαιδεύοντας το μοντέλο σε 2,4 εκατομμύρια. καρέ ανά δευτερόλεπτο χρησιμοποιώντας 64 μάρκες της μονάδας επεξεργασίας τανυστή cloud.
Είναι περίπου 80 φορές ταχύτερο από τα προηγούμενα καρέ, είπε η Google.
"Αυτό μεταφράζεται σε σημαντική επιτάχυνση του χρόνου, καθώς οι επιταχυντές είναι πολύ φθηνότεροι ανά λειτουργία από τους CPU, το κόστος των πειραμάτων μειώνεται δραστικά." Πιστεύουμε ότι το SEED RL και τα αποτελέσματα που παρουσιάζονται δείχνουν ότι η εκμάθηση ενίσχυσης έχει για άλλη μια φορά καλυφθεί με την υπόλοιπη βαθιά μάθηση όσον αφορά τη χρήση του επιταχυντή », γράφει ο Lasse Espeholt, μηχανικός έρευνας της Google Research
Με μια αρχιτεκτονική βελτιστοποιημένη για χρήση σε μοντέρνους επιταχυντές, είναι φυσικό να αυξήσουμε το μέγεθος του μοντέλου σε μια προσπάθεια αύξησης της αποδοτικότητας των δεδομένων.
Η Google είπε ότι ο κωδικός SEED RL ήταν ανοιχτού κώδικα και ήταν διαθέσιμος στο Github, καθώς και παραδείγματα που δείχνουν πώς να λειτουργήσει στο Google Cloud με μονάδες επεξεργασίας γραφικών.
Τέλος, για όσους ενδιαφέρονται για αυτό το νέο πλαίσιο, μπορούν να μεταβούν στον ακόλουθο σύνδεσμο όπου μπορούν να βρουν περισσότερες πληροφορίες σχετικά με αυτό. Ο σύνδεσμος είναι αυτό.
πηγή: https://ai.googleblog.com/