Los Inilabas ng mga mananaliksik ng Google ang balita tungkol sa pagbuo nito ng isang bagong balangkas na nagpapalawak ng pagsasanay ng mga modelo ng artipisyal na intelihensiya sa libu-libong mga machine. Tinawag ang resulta SEED RL (Nasusukat na mahusay na pag-aaral ng malalim na pampatibay).
Ito ay isang promising development dapat kasi paganahin ang mga artipisyal na intelligence algorithm na sanayin sa milyun-milyong mga imahe bawat segundo at bawasan ang mga gastos sa pagsasanay na ito ng 80%, sinabi ng Google sa isang papel sa pagsasaliksik.
Ang ganitong uri ng downsizing ay maaaring makatulong na i-level ang patlang ng paglalaro para sa mga pagsisimula. na hanggang ngayon ay hindi nakapagkumpitensya sa mga pangunahing tulad ng Google sa larangan ng AI. Ang gastos sa pagsasanay ng sopistikadong mga modelo ng pag-aaral ng makina sa cloud ay nakakagulat na mataas. Pormalisahin ng Google ang pagbubukas ng code ng SEED RL, isang proyekto na naglalayong i-optimize ang ratio ng gastos / pagganap ng pag-aaral ng pampatibay.
Ang pagpapatibay ng pag-aaral ay isang napaka-tiyak na diskarte sa paggamit ng kaso kung saan natututo ang mga ahente tungkol sa kanilang kapaligiran sa pamamagitan ng paggalugad at pag-optimize ng kanilang mga aksyon para sa pinakamaraming gantimpala.
Sa »SEED RL: Nasusukat at Mahusay na Deep-RL na may Pinabilis na Sentral na Paghihinuha", ipinakilala namin ang isang ahente ng RL na sumusukat sa libu-libong mga machine, na nagpapagana sa pagsasanay sa milyun-milyong mga frame bawat segundo at makabuluhang nagpapabuti sa kahusayan sa computational. Nakamit ito sa isang nobelang arkitektura na sinasamantala ang mga accelerator (GPU o TPU) sa sukatan sa pamamagitan ng pagsasentralisahin ang paghihinuha ng modelo at pagpapakilala ng isang mabilis na layer ng komunikasyon.
Ipinapakita namin ang pagganap ng SEED RL sa mga sikat na benchmark ng RL tulad ng Google Research Football, Arcade Learning Environment, at DeepMind Lab, at ipinapakita na sa pamamagitan ng paggamit ng mas malalaking mga modelo, maaaring madagdagan ang kahusayan ng data. Ang code ay binuksan sa Github kasama ang mga halimbawang tatakbo sa Google Cloud na may GPU.
Ang SEED RL ay batay sa balangkas ng TensorFlow 2.0 y gumagana gamit ang isang kumbinasyon ng mga yunit ng pagpoproseso ng graphics at mga tensyon sa pagpoproseso ng mga aparato upang masentralisahin ang hinuha ng modelo. Ang hinuha ay ginagawa sa gitna gamit ang isang sangkap ng pag-aaral na nagsasanay sa modelo.
Ang mga variable at impormasyon ng estado ng target na modelo ay nakaimbak nang lokal at mga obserbasyon sa mga ito ay ipinapadala sa mag-aaral sa bawat yugto ng proseso. Gumagamit din ang SEED RL ng isang library ng network batay sa bukas na mapagkukunan ng unibersal na balangkas ng RPC upang i-minimize ang latency.
Los Sinabi ng mga mananaliksik ng Google na ang bahagi ng pag-aaral ni SEED RL maaaring mapalawak sa libu-libong mga core, habang ang bilang ng mga artista na paulit-ulit sa pagitan ng pagkuha ng mga sukat sa kapaligiran at pagpapatupad ng isang hinuha sa modelo upang mahulaan ang susunod na pagkilos, maaaring mai-scale hanggang sa libu-libong mga machine.
Sinuri ng Google ang pagiging epektibo ng SEED RL sa pamamagitan ng paghahambing nito sa sikat na kapaligiran sa pag-aaral ng Arcade, kapaligiran sa Google Research Football, at iba't ibang mga kapaligiran sa DeepMind Lab. Ipinapakita ng mga resulta na nagawa nilang malutas ang isang gawain sa Google Research Football habang sinasanay ang modelo sa 2,4 milyong mga frame bawat segundo gamit ang 64 chips ng cloud tenor processing unit.
Mga 80 beses itong mas mabilis kaysa sa mga nakaraang frame, sinabi ng Google.
"Isinasalin ito sa isang makabuluhang pagpapabilis ng oras, dahil ang mga accelerator ay mas mura bawat operasyon kaysa sa mga CPU, ang gastos ng mga eksperimento ay nabawas nang husto." Naniniwala kami na ang SEED RL at ang mga ipinakitang resulta ay ipinapakita na ang pampatibay na pag-aaral ay muling nakuha ang natitirang malalim na pag-aaral sa mga tuntunin ng paggamit ng accelerator, "isinulat ni Lasse Espeholt, mananaliksik na inhenyero sa Google Research.
Sa pamamagitan ng isang arkitektura na na-optimize para magamit sa mga modernong accelerator, natural na dagdagan ang laki ng modelo sa pagtatangka na dagdagan ang kahusayan ng data.
Sinabi ng Google na ang SEED RL code ay bukas na mapagkukunan at magagamit sa Github, pati na rin mga halimbawang ipinapakita kung paano ito magtrabaho sa Google Cloud na may mga yunit sa pagpoproseso ng graphics.
Panghuli, para sa mga interesado sa bagong balangkas na ito, maaari silang pumunta sa sumusunod na link kung saan makakahanap sila ng karagdagang impormasyon tungkol dito. Ang link ay ito.
Fuente: https://ai.googleblog.com/