De Google-onderzoekers vrijgegeven het nieuws over de ontwikkeling van een nieuw raamwerk dat modeltraining voor kunstmatige intelligentie uitbreidt naar duizenden machines. Het resultaat wordt genoemd ZAAD RL (schaalbaar efficiënt leren van diepe bekrachtiging).
Dit is veelbelovende ontwikkeling omdat ik zou moeten maken het mogelijk om kunstmatige intelligentie-algoritmen te trainen tot miljoenen afbeeldingen per seconde en verlaag de kosten van deze training met 80%, zei Google in een research paper.
Dit soort inkrimping kan helpen om het speelveld voor startups gelijk te trekken. die tot nu toe niet hebben kunnen concurreren met de belangrijkste zoals Google op het gebied van AI. De kosten voor het trainen van geavanceerde machine learning-modellen in de cloud zijn verrassend hoog. Google formaliseert de opening van de SEED RL-code, een project gericht op het optimaliseren van de kosten / prestatieverhouding van reinforcement learning.
Reinforcement learning is een zeer specifieke use-case-benadering waarbij agenten door middel van verkenning over hun omgeving leren en hun acties optimaliseren voor de meeste beloningen.
In »SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference," hebben we een RL-agent geïntroduceerd die kan worden geschaald naar duizenden machines, waardoor training met miljoenen frames per seconde mogelijk is en de rekenefficiëntie aanzienlijk wordt verbeterd. Dit wordt bereikt met een nieuwe architectuur die op schaal gebruikmaakt van versnellers (GPU of TPU) door model-inferentie te centraliseren en een snelle communicatielaag te introduceren.
We demonstreren de prestaties van SEED RL op populaire RL-benchmarks zoals Google Research Football, Arcade Learning Environment en DeepMind Lab, en laten zien dat door grotere modellen te gebruiken, de data-efficiëntie kan worden verhoogd. De code is geopend op Github, samen met voorbeelden om op Google Cloud met GPU uit te voeren.
SEED RL is gebaseerd op het TensorFlow 2.0-framework y werkt met een combinatie van grafische verwerkingseenheden en tensor-verwerkingseenheden om model-inferentie te centraliseren. Inferentie wordt centraal gedaan met behulp van een leercomponent die het model traint.
De variabelen en statusinformatie van het doelmodel worden lokaal opgeslagen en opmerkingen daarover worden in elke fase van het proces naar de student gestuurd. SEED RL maakt ook gebruik van een netwerkbibliotheek op basis van het universele open source RPC-framework om latentie te minimaliseren.
De Google-onderzoekers hebben gezegd dat de leercomponent door SEED RL kan worden uitgebreid tot duizenden kernen, terwijl het aantal te herhalen actoren tussen het nemen van metingen in de omgeving en het uitvoeren van een gevolgtrekking op het model om de volgende actie te voorspellen, kan worden opgeschaald tot duizenden machines.
Google evalueerde de effectiviteit van SEED RL door het te vergelijken met de populaire Arcade-leeromgeving, Google Research Football-omgeving en verschillende DeepMind Lab-omgevingen. De resultaten laten zien dat ze erin geslaagd zijn een Google Research Football-taak op te lossen terwijl ze het model trainden met 2,4 miljoen frames per seconde met behulp van 64 chips van de verwerkingseenheid van de wolkentensor.
Het is ongeveer 80 keer sneller dan eerdere frames, zei Google.
"Dit vertaalt zich in een aanzienlijke tijdversnelling, aangezien accelerators per bewerking veel goedkoper zijn dan CPU's, en de kosten van experimenten drastisch worden verlaagd." We zijn van mening dat SEED RL en de gepresenteerde resultaten aantonen dat reinforcement learning opnieuw de rest van deep learning heeft ingehaald in termen van acceleratorgebruik, "schrijft Lasse Espeholt, research engineer bij Google Research.
Met een architectuur die is geoptimaliseerd voor gebruik in moderne accelerators, is het normaal om de omvang van het model te vergroten in een poging de gegevensefficiëntie te vergroten.
Google zei dat de SEED RL-code open source was en beschikbaar op Github, evenals voorbeelden die laten zien hoe u het op Google Cloud kunt laten werken met grafische verwerkingseenheden.
Ten slotte kunnen degenen die geïnteresseerd zijn in dit nieuwe raamwerk, naar de volgende link gaan waar ze er meer informatie over kunnen vinden. De link is dit.
bron: https://ai.googleblog.com/