L Vydali výzkumníci Google zprávy o vývoji nového rámce, který rozšiřuje výcvik modelu umělé inteligence na tisíce strojů. Výsledek se nazývá SEED RL (škálovatelné efektivní hluboké posílení učení).
To je slibný vývoj protože bych měl umožňují trénovat algoritmy umělé inteligence na miliony obrázků za sekundu a snížit náklady na toto školení o 80%, uvedl Google ve výzkumné práci.
Tento druh downsizingu by mohl pomoci vyrovnat podmínky pro začínající podniky. že až dosud nebyli schopni konkurovat těm hlavním, jako je Google, v oblasti AI. Náklady na školení sofistikovaných modelů strojového učení v cloudu jsou překvapivě vysoké. Google formalizuje otevření kódu SEED RL, projektu zaměřeného na optimalizaci poměru cena / výkon posilovacího učení.
Posílení učení je velmi specifický přístup k případům použití, při kterém se agenti učí o svém prostředí průzkumem a optimalizují své akce tak, aby získali co největší odměnu.
V »SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference,“ jsme představili agenta RL, který se rozšiřuje na tisíce strojů, což umožňuje trénink v milionech snímků za sekundu a výrazně zlepšuje výpočetní efektivitu. Toho je dosaženo s novou architekturou, která využívá výhody akcelerátorů (GPU nebo TPU) v měřítku centralizací odvození modelu a zavedením rychlé komunikační vrstvy.
Ukazujeme výkon SEED RL na populárních srovnávacích testech RL, jako je Google Research Football, Arcade Learning Environment a DeepMind Lab, a ukazujeme, že pomocí větších modelů lze zvýšit efektivitu dat. Kód byl otevřen na Githubu spolu s příklady pro spuštění na Google Cloud s GPU.
SEED RL je založen na rámci TensorFlow 2.0 y funguje pomocí kombinace jednotek grafického zpracování a tenzorové jednotky pro centralizaci odvození modelu. Inference se provádí centrálně pomocí komponenty učení, která model trénuje.
Proměnné a informace o stavu cílového modelu jsou uloženy lokálně a postřehy k nim jsou zasílány studentovi v každé fázi procesu. SEED RL také používá síťovou knihovnu založenou na univerzálním open source RPC framework pro minimalizaci latence.
L Vědci Google řekli, že součást učení podle SEED RL lze rozšířit na tisíce jader, zatímco počet aktérů, které se mají opakovat mezi provedením měření v prostředí a provedením závěru na modelu k předpovědi další akce, lze zvětšit až na tisíce strojů.
Google vyhodnotil účinnost SEED RL porovnáním s populárním výukovým prostředím Arcade, prostředím Google Research Football a různými prostředími DeepMind Lab. Výsledky ukazují, že se jim podařilo vyřešit úkol Google Research Football při tréninku modelu rychlostí 2,4 milionu snímků za sekundu pomocí 64 čipů jednotky pro zpracování cloudového tenzoru.
Je to asi 80krát rychlejší než předchozí snímky, řekl Google.
„To se promítá do významné časové akcelerace, protože akcelerátory jsou na operaci mnohem levnější než CPU, náklady na experimenty se drasticky sníží.“ Věříme, že SEED RL a prezentované výsledky ukazují, že posilovací učení opět dohnalo zbytek hlubokého učení, pokud jde o použití akcelerátoru, “píše Lasse Espeholt, výzkumný inženýr společnosti Google Research.
S architekturou optimalizovanou pro použití v moderních akcelerátorech je přirozené zvětšit velikost modelu ve snaze zvýšit efektivitu dat.
Google uvedl, že kód SEED RL byl otevřený a je k dispozici na Github, stejně jako příklady, které ukazují, jak to přimět k práci na Google Cloud s jednotkami grafického zpracování.
A konečně, pro ty, kteří se o tento nový rámec zajímají, mohou přejít na následující odkaz, kde o něm najdou další informace. Odkaz je tento.
zdroj: https://ai.googleblog.com/