롯 Google 연구원 발표 인공 지능 모델 교육을 수천 대의 기계로 확장하는 새로운 프레임 워크 개발에 대한 뉴스. 결과는 시드 RL (확장 가능한 효율적인 심층 강화 학습).
입니다 유망한 발전 내가해야하기 때문에 인공 지능 알고리즘이 초당 수백만 개의 이미지로 훈련되도록합니다. 이 교육 비용을 80 %까지 줄일 수 있다고 Google은 연구 보고서에서 말했습니다.
이러한 종류의 축소는 신생 기업의 공평한 경쟁에 도움이 될 수 있습니다. 지금까지 AI 분야에서 Google과 같은 주요 업체와 경쟁 할 수 없었습니다. 클라우드에서 정교한 기계 학습 모델을 훈련하는 데 드는 비용은 놀랍도록 높습니다. Google은 강화 학습의 비용 / 성능 비율을 최적화하기위한 프로젝트 인 SEED RL 코드의 공개를 공식화합니다.
강화 학습은 에이전트가 탐색을 통해 환경에 대해 배우고 행동을 최적화하여 가장 많은 보상을 얻는 매우 구체적인 사용 사례 접근 방식입니다.
»SEED RL : 가속화 된 중앙 추론을 통한 확장 가능하고 효율적인 Deep-RL "에서 우리는 수천 대의 머신으로 확장되는 RL 에이전트를 도입하여 초당 수백만 프레임의 훈련을 가능하게하고 계산 효율성을 크게 향상 시켰습니다. 이는 모델 추론을 중앙 집중화하고 빠른 통신 계층을 도입하여 가속기 (GPU 또는 TPU)를 대규모로 활용하는 새로운 아키텍처로 달성됩니다.
Google Research Football, Arcade Learning Environment 및 DeepMind Lab과 같은 인기있는 RL 벤치 마크에서 SEED RL 성능을 시연하고 더 큰 모델을 사용하면 데이터 효율성을 높일 수 있음을 보여줍니다. 코드는 GPU를 사용하여 GCP에서 실행하기위한 예제와 함께 Github에서 열렸습니다.
SEED RL은 TensorFlow 2.0 프레임 워크를 기반으로합니다. y 그래픽 처리 장치의 조합을 사용하여 작동 모델 추론을 중앙 집중화하는 텐서 처리 장치. 추론은 모델을 훈련하는 학습 구성 요소를 사용하여 중앙에서 수행됩니다.
대상 모델의 변수 및 상태 정보는 로컬에 저장됩니다. 그리고 그들에 대한 관찰은 과정의 각 단계에서 학생에게 보내집니다. SEED RL은 또한 오픈 소스 범용 RPC 프레임 워크를 기반으로하는 네트워크 라이브러리를 사용하여 대기 시간을 최소화합니다.
롯 Google 연구원들은 학습 구성 요소가 작성자 SEED RL 수천 개의 코어로 확장 할 수 있습니다. 환경에서 측정을 수행하고 다음 작업을 예측하기 위해 모델에 대한 추론을 실행하는 사이에 반복되는 액터의 수는 수천 대의 머신으로 확장 될 수 있습니다.
Google은 인기있는 아케이드 학습 환경, Google Research Football 환경 및 다양한 DeepMind Lab 환경과 비교하여 SEED RL의 효과를 평가했습니다. 결과에 따르면 초당 2,4 만 프레임으로 모델을 학습시키면서 Google Research Football 과제를 해결할 수있었습니다. 클라우드 텐서 처리 장치의 64 개 칩을 사용합니다.
Google은 이전 프레임보다 약 80 배 더 빠릅니다.
가속기는 CPU보다 작업 당 비용이 훨씬 저렴하므로 실험 비용이 대폭 감소하므로 이는 상당한 시간 가속화로 이어집니다. SEED RL과 제시된 결과는 강화 학습이 가속기 사용 측면에서 나머지 딥 러닝을 다시 한 번 따라 잡았다는 것을 보여줍니다. "Google Research의 연구원 인 Lasse Espeholt는 말합니다.
최신 가속기에서 사용하도록 최적화 된 아키텍처를 사용하면 데이터 효율성을 높이기 위해 모델의 크기를 늘리는 것이 당연합니다.
Google은 SEED RL 코드가 오픈 소스이며 Github에서 사용할 수 있다고 말했습니다. 그래픽 처리 장치를 사용하여 Google Cloud에서 작동하도록하는 방법을 보여주는 예제도 있습니다.
마지막으로,이 새로운 프레임 워크에 관심이있는 사용자는 다음 링크로 이동하여 더 많은 정보를 찾을 수 있습니다. 링크는 이쪽입니다.
출처 : https://ai.googleblog.com/