undefined Uverejnili vedci spoločnosti Google správy o vývoji nového rámca, ktorý rozširuje výcvik modelov umelej inteligencie na tisíce strojov. Výsledok je tzv SEMENÁ RL (škálovateľné efektívne učenie sa do hĺbky).
To je sľubný vývoj pretože by som mal umožňujú trénovanie algoritmov umelej inteligencie s rýchlosťou miliónov obrázkov za sekundu a znížiť náklady na toto školenie o 80%, uviedol Google vo svojom výskume.
Tento druh downsizingu by mohol pomôcť vyrovnať podmienky pre začínajúce podniky. že doteraz neboli schopní konkurovať tým hlavným ako Google v oblasti AI. Náklady na školenie sofistikovaných modelov strojového učenia v cloude sú prekvapivo vysoké. Google formalizuje otvorenie kódu SEED RL, projektu zameraného na optimalizáciu pomeru cena / výkon posilňovacieho učenia.
Výstužné učenie je veľmi špecifický prípad použitia, v ktorom sa agenti dozvedia o svojom prostredí prostredníctvom prieskumu a optimalizujú svoje činnosti tak, aby získali čo najviac odmien.
V »SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference” sme predstavili agenta RL, ktorý sa dá škálovať na tisíce strojov, čo umožňuje výcvik rýchlosťou miliónov rámcov za sekundu a výrazne zvyšuje výpočtovú efektivitu. To sa dá dosiahnuť pomocou novej architektúry, ktorá využíva výhody akcelerátorov (GPU alebo TPU) v mierke centralizáciou odvodenia modelu a zavedením rýchlej komunikačnej vrstvy.
Demonštrujeme výkonnosť SEED RL na populárnych referenčných hodnotách RL, ako sú Google Research Football, Arcade Learning Environment a DeepMind Lab, a ukážeme, že použitím väčších modelov je možné zvýšiť efektivitu údajov. Kód bol otvorený na Github spolu s príkladmi na spustenie v službe Google Cloud s GPU.
SEED RL je založený na rámci TensorFlow 2.0 y pracuje pomocou kombinácie jednotiek grafického spracovania a tenzorové jednotky na centralizáciu odvodenia modelu. Odvodenie sa vykonáva centrálne pomocou učebnej zložky, ktorá model trénuje.
Premenné a informácie o stave cieľového modelu sú uložené lokálne a postrehy k nim sú odosielané študentovi v každej fáze procesu. SEED RL tiež používa sieťovú knižnicu založenú na otvorenom univerzálnom rámci RPC na minimalizáciu latencie.
undefined Vedci Google povedali, že výučba podľa SEED RL možno rozšíriť na tisíce jadier, zatiaľ čo počet aktérov, ktorí sa majú opakovať medzi vykonaním meraní v prostredí a vykonaním dedukcie na modeli na predpovedanie ďalšej akcie, je možné zväčšiť až na tisíce strojov.
Google vyhodnotil efektivitu SEED RL porovnaním s populárnym výučbovým prostredím Arcade, prostredím Google Research Football a rôznymi prostrediami DeepMind Lab. Výsledky ukazujú, že sa im podarilo vyriešiť úlohu Google Research Football pri trénovaní modelu rýchlosťou 2,4 milióna snímok za sekundu pomocou 64 čipov jednotky na spracovanie tenzora cloudu.
Je to asi 80-krát rýchlejšie ako predchádzajúce snímky, uviedol Google.
„To sa prejaví výrazným časovým zrýchlením, pretože urýchľovače sú na operáciu oveľa lacnejšie ako CPU, takže náklady na experimenty sa drasticky znížia.“ Veríme, že SEED RL a prezentované výsledky ukazujú, že učenie posilňovania opäť dobehlo zvyšok hlbokého učenia, pokiaľ ide o použitie akcelerátora, “píše Lasse Espeholt, výskumný inžinier spoločnosti Google Research.
S architektúrou optimalizovanou na použitie v moderných akcelerátoroch je prirodzené zväčšiť veľkosť modelu v snahe zvýšiť efektivitu údajov.
Google uviedol, že kód SEED RL bol otvorený a dostupný na Github, ako aj príklady, ktoré ukazujú, ako dosiahnuť, aby fungoval v službe Google Cloud s jednotkami grafického spracovania.
Na záver pre tých, ktorých zaujíma tento nový rámec, môžu prejsť na nasledujúci odkaz, kde o ňom nájdu ďalšie informácie. Odkaz je tento.
Fuente: https://ai.googleblog.com/