Jardines de Viveros Google araştırmacıları yayınlandı yapay zeka modellerinin eğitimini binlerce makineye genişleten yeni bir çerçevenin geliştirilmesiyle ilgili haberler. Sonuç çağrılır TOHUM RL (ölçeklenebilir verimli derin güçlendirme öğrenimi).
Bu, umut verici bir gelişme çünkü yapmalıyım Yapay zeka algoritmalarının saniyede milyonlarca görüntüye göre eğitilmesini sağlar Google bir araştırma makalesinde, bu eğitimin maliyetlerini% 80 oranında azalttığını söyledi.
Bu tür bir küçültme, yeni başlayanlar için oyun alanını eşitlemeye yardımcı olabilir. Şimdiye kadar AI alanında Google gibi ana şirketlerle rekabet edemedi. Bulutta gelişmiş makine öğrenimi modellerini eğitmenin maliyeti şaşırtıcı derecede yüksektir. Google, pekiştirmeli öğrenmenin maliyet / performans oranını optimize etmeyi amaçlayan bir proje olan SEED RL kodunun açılışını resmileştirdi.
Takviye öğrenme, temsilcilerin keşif yoluyla çevrelerini öğrendikleri ve en çok ödülü almak için eylemlerini optimize ettikleri çok özel bir kullanım durumu yaklaşımıdır.
»SEED RL: Hızlandırılmış Merkezi Çıkarımla Ölçeklendirilebilir ve Verimli Deep-RL" de, saniyede milyonlarca çerçevede eğitim sağlayan ve hesaplama verimliliğini önemli ölçüde artıran, binlerce makineye ölçeklenen bir RL aracısını tanıttık. Bu, model çıkarımını merkezileştirerek ve hızlı bir iletişim katmanı sunarak, hızlandırıcılardan (GPU veya TPU) ölçek olarak yararlanan yeni bir mimari ile elde edilir.
Google Research Football, Arcade Learning Environment ve DeepMind Lab gibi popüler RL karşılaştırmalarında SEED RL performansını gösteriyoruz ve daha büyük modeller kullanarak veri verimliliğinin artırılabileceğini gösteriyoruz. Kod, GPU ile Google Cloud'da çalıştırılacak örneklerle birlikte Github'da açıldı.
SEED RL, TensorFlow 2.0 çerçevesine dayanmaktadır y grafik işleme birimlerinin bir kombinasyonunu kullanarak çalışır ve model çıkarımını merkezileştirmek için tensör işleme birimleri. Çıkarım, modeli eğiten bir öğrenme bileşeni kullanılarak merkezi olarak yapılır.
Hedef modelin değişkenleri ve durum bilgileri yerel olarak saklanır ve bunlar hakkındaki gözlemler, sürecin her aşamasında öğrenciye gönderilir. SEED RL ayrıca gecikmeyi en aza indirmek için açık kaynaklı evrensel RPC çerçevesine dayalı bir ağ kitaplığı kullanır.
Jardines de Viveros Google araştırmacıları, öğrenme bileşeninin SEED RL tarafından binlerce çekirdeğe genişletilebilir, Çevrede ölçümler almak ve bir sonraki eylemi tahmin etmek için model üzerinde bir çıkarım yapmak arasında tekrarlanacak aktör sayısı ise binlerce makineye kadar ölçeklenebilir.
Google, SEED RL'nin etkinliğini popüler Arcade öğrenim ortamı, Google Research Football ortamı ve çeşitli DeepMind Lab ortamlarıyla karşılaştırarak değerlendirdi. Sonuçlar, modeli saniyede 2,4 milyon kare ile eğitirken bir Google Research Football görevini çözmeyi başardıklarını gösteriyor. bulut tensör işleme biriminin 64 yongasını kullanarak.
Google, önceki karelerden yaklaşık 80 kat daha hızlı olduğunu söyledi.
"Hızlandırıcılar işlem başına CPU'lardan çok daha ucuz olduğundan, deneylerin maliyeti büyük ölçüde azaldığından, bu önemli bir zaman ivmesi anlamına geliyor." Google Research'te araştırma mühendisi olan Lasse Espeholt, SEED RL'nin ve sunulan sonuçların, hızlandırıcı kullanımı açısından pekiştirmeli öğrenmenin derin öğrenmenin geri kalanını bir kez daha yakaladığını gösterdiğine inanıyoruz.
Modern hızlandırıcılarda kullanım için optimize edilmiş bir mimari ile, veri verimliliğini artırmak amacıyla modelin boyutunu büyütmek doğaldır.
Google, SEED RL kodunun açık kaynak olduğunu ve Github'da mevcut olduğunu söyledi, Google Cloud üzerinde grafik işleme birimleriyle nasıl çalıştırılacağını gösteren örnekler.
Son olarak, bu yeni çerçeveyle ilgilenenler, bu çerçeve hakkında daha fazla bilgi bulabilecekleri aşağıdaki bağlantıya gidebilirler. Bağlantı bu.
kaynak: https://ai.googleblog.com/