I I ricercatori di Google hanno rilasciato le notizie sullo sviluppo di un nuovo framework che estende la formazione di modelli di intelligenza artificiale a migliaia di macchine. Il risultato è chiamato SEME RL (apprendimento di rinforzo profondo efficiente scalabile).
Questo è uno sviluppo promettente perché dovrei consentono di addestrare algoritmi di intelligenza artificiale a milioni di immagini al secondo e ridurre i costi di questa formazione dell'80%, ha affermato Google in un documento di ricerca.
Questo tipo di ridimensionamento potrebbe aiutare a livellare il campo di gioco per le startup. che fino ad ora non sono riusciti a competere con i principali come Google nel campo dell'AI. Il costo dell'addestramento di sofisticati modelli di machine learning nel cloud è sorprendentemente alto. Google formalizza l'apertura del codice SEED RL, un progetto finalizzato all'ottimizzazione del rapporto costo / prestazioni dell'apprendimento per rinforzo.
L'apprendimento per rinforzo è un approccio di caso d'uso molto specifico in cui gli agenti apprendono il loro ambiente attraverso l'esplorazione e ottimizzano le loro azioni per ottenere il maggior numero di ricompense.
In »SEED RL: RL profondo scalabile ed efficiente con inferenza centrale accelerata", abbiamo introdotto un agente RL scalabile su migliaia di macchine, consentendo l'addestramento a milioni di frame al secondo e migliorando notevolmente l'efficienza di calcolo. Ciò si ottiene con una nuova architettura che sfrutta gli acceleratori (GPU o TPU) su larga scala centralizzando l'inferenza del modello e introducendo un livello di comunicazione veloce.
Dimostriamo le prestazioni di SEED RL su popolari benchmark RL come Google Research Football, Arcade Learning Environment e DeepMind Lab e dimostriamo che utilizzando modelli più grandi, l'efficienza dei dati può essere aumentata. Il codice è stato aperto su Github insieme ad esempi da eseguire su Google Cloud con GPU.
SEED RL si basa sul framework TensorFlow 2.0 y funziona utilizzando una combinazione di unità di elaborazione grafica e unità di elaborazione tensoriale per centralizzare l'inferenza del modello. L'inferenza viene eseguita centralmente utilizzando un componente di apprendimento che addestra il modello.
Le variabili e le informazioni sullo stato del modello di destinazione vengono memorizzate localmente e le osservazioni su di esse vengono inviate allo studente in ogni fase del processo. SEED RL utilizza anche una libreria di rete basata sul framework RPC open source universale per ridurre al minimo la latenza.
I I ricercatori di Google hanno affermato che la componente di apprendimento di SEED RL può essere espanso a migliaia di core, mentre il numero di attori da ripetere tra le misurazioni nell'ambiente e l'esecuzione di un'inferenza sul modello per prevedere l'azione successiva, può essere scalato fino a migliaia di macchine.
Google ha valutato l'efficacia di SEED RL confrontandolo con il popolare ambiente di apprendimento Arcade, l'ambiente di Google Research Football e vari ambienti DeepMind Lab. I risultati mostrano che sono riusciti a risolvere un'attività di Google Research Football durante l'addestramento del modello a 2,4 milioni di frame al secondo utilizzando 64 chip dell'unità di elaborazione del tensore cloud.
È circa 80 volte più veloce dei frame precedenti, ha detto Google.
"Questo si traduce in una significativa accelerazione del tempo, poiché gli acceleratori sono molto più economici per operazione rispetto alle CPU, il costo degli esperimenti è drasticamente ridotto". Riteniamo che SEED RL e i risultati presentati dimostrino che l'apprendimento per rinforzo ha nuovamente raggiunto il resto del deep learning in termini di utilizzo dell'acceleratore ", scrive Lasse Espeholt, ingegnere ricercatore presso Google Research.
Con un'architettura ottimizzata per l'uso nei moderni acceleratori, è naturale aumentare le dimensioni del modello nel tentativo di aumentare l'efficienza dei dati.
Google ha affermato che il codice SEED RL era open source e disponibile su Github, oltre ad esempi che mostrano come farlo funzionare su Google Cloud con unità di elaborazione grafica.
Infine, per coloro che sono interessati a questo nuovo framework, possono andare al seguente link dove possono trovare maggiori informazioni a riguardo. Il collegamento è questo.
fonte: https://ai.googleblog.com/