Лос Изследователите на Google пуснаха новината за разработването на нова рамка, която разширява обучението на модели с изкуствен интелект до хиляди машини. Резултатът се извиква СЕМЕНА RL (мащабируемо ефективно обучение за дълбоко подсилване).
Това е обещаващо развитие защото трябва позволяват алгоритмите за изкуствен интелект да се обучават при милиони изображения в секунда и намаляване на разходите за това обучение с 80%, каза Google в изследователска статия.
Този вид намаляване може да помогне за изравняване на условията за стартиране. които до момента не са били в състояние да се конкурират с основните като Google в областта на ИИ. Цената на обучението на сложни модели за машинно обучение в облака е изненадващо висока. Google формализира откриването на SEED RL кода, проект, насочен към оптимизиране на съотношението цена / производителност на обучението за подсилване.
Усилването на обучение е много специфичен подход за използване, при който агентите научават за заобикалящата ги среда чрез проучване и оптимизират своите действия, за да получат най-много награди.
В »SEED RL: Мащабируем и ефективен Deep-RL с ускорено централно заключение,„ въведохме RL агент, който се мащабира до хиляди машини, позволявайки обучение при милиони кадри в секунда и значително подобрявайки изчислителната ефективност. Това се постига с нова архитектура, която се възползва от ускорителите (GPU или TPU) в мащаб чрез централизиране на извода на модела и въвеждане на бърз комуникационен слой.
Ние демонстрираме SEED RL ефективност на популярни тестове за RL, като Google Research Football, Arcade Learning Environment и DeepMind Lab, и показваме, че с помощта на по-големи модели ефективността на данните може да бъде увеличена. Кодът е отворен в Github заедно с примери за стартиране в Google Cloud с GPU.
SEED RL се основава на рамката TensorFlow 2.0 y работи с помощта на комбинация от графични процесори и блокове за обработка на тензори за централизиране на извода за модела. Заключението се прави централизирано с помощта на учебен компонент, който обучава модела.
Променливите и информацията за състоянието на целевия модел се съхраняват локално и наблюденията върху тях се изпращат на ученика на всеки етап от процеса. SEED RL също използва мрежова библиотека, базирана на универсалната RPC рамка с отворен код, за да сведе до минимум латентността.
Лос Изследователите на Google заявиха, че учебният компонент от SEED RL може да се разшири до хиляди ядра, докато броят на участниците, които трябва да се повтарят между извършване на измервания в околната среда и извършване на извод върху модела, за да се предскаже следващото действие, може да бъде увеличен до хиляди машини.
Google оцени ефективността на SEED RL, като го сравни с популярната среда за обучение Arcade, средата на Google Research Football и различните среди на DeepMind Lab. Резултатите показват, че те са успели да решат задача на Google Research Football, докато обучават модела на 2,4 милиона кадъра в секунда, използвайки 64 чипа на процесорния блок за облачен тензор.
Това е около 80 пъти по-бързо от предишните кадри, каза Google.
"Това се превръща в значително ускорение във времето, тъй като ускорителите са много по-евтини на операция от CPU, цената на експериментите е драстично намалена." Вярваме, че SEED RL и представените резултати показват, че обучението за подсилване отново е наваксало останалото задълбочено обучение по отношение на използването на ускорител “, пише Ласе Еспехолт, изследователски инженер в Google Research.
С архитектура, оптимизирана за използване в съвременните ускорители, е естествено да увеличите размера на модела в опит да увеличите ефективността на данните.
Google заяви, че SEED RL кодът е с отворен код и е достъпен в Github, както и примери, показващи как да го накарате да работи в Google Cloud с графични процесори.
И накрая, за тези, които се интересуват от тази нова рамка, те могат да отидат на следната връзка, където могат да намерят повече информация за нея. Връзката е тази.
Fuente: https://ai.googleblog.com/