ل חוקרי גוגל פרסמו החדשות על פיתוח מסגרת חדשה המרחיבה את הכשרת מודלים של בינה מלאכותית לאלפי מכונות. התוצאה נקראת זרע RL (למידה חיזוקית עמוקה יעילה מדרגית).
זהו פיתוח מבטיח כי אני צריך מאפשרים להכשיר אלגוריתמים של בינה מלאכותית במיליוני תמונות בשנייה והפחיתו את עלויות ההדרכה הזו ב- 80%, אמרה גוגל במאמר מחקר.
סוג זה של צמצום יכול לעזור לרמת שווי המשחק עבור חברות סטארט-אפ. שעד עכשיו לא הצליחו להתחרות עם העיקריות כמו גוגל בתחום ה- AI. עלות הכשרת מודלים מתוחכמים של למידת מכונה בענן גבוהה להפליא. גוגל פורמליזציה של פתיחת קוד SEED RL, פרויקט שמטרתו למטב את יחס העלות / ביצוע של למידת חיזוק.
למידת חיזוק היא גישה שימושית מאוד ספציפית בה סוכנים לומדים על סביבתם באמצעות חקירה ומייעלים את פעולותיהם כדי להשיג את התמורה המרבית.
ב- »SEED RL: Scalable and Efficable Deep-RL with Accelerated Central Central", הצגנו סוכן RL שמתכוונן לאלפי מכונות, ומאפשר אימונים במיליוני פריימים לשנייה ומשפר משמעותית את יעילות החישוב. זה מושג עם ארכיטקטורה חדשה המנצלת מאיצים (GPU או TPU) בקנה מידה על ידי ריכוז מסקנת המודל והכנסת שכבת תקשורת מהירה.
אנו מדגימים ביצועים של SEED RL במדדי RL פופולריים כגון Google Research Football, סביבת למידה של ארקייד ומעבדת DeepMind, ומראים כי באמצעות מודלים גדולים יותר ניתן להגביר את יעילות הנתונים. הקוד נפתח ב- Github יחד עם דוגמאות להפעלה ב- Google Cloud עם GPU.
SEED RL מבוסס על מסגרת TensorFlow 2.0 y עובד באמצעות שילוב של יחידות עיבוד גרפי ויחידות עיבוד טנסור לריכוז הסקת המודל. ההסקה נעשית באופן מרכזי באמצעות רכיב למידה המאמן את המודל.
המשתנים ומידע המצב של מודל היעד נשמרים באופן מקומי והתצפיות עליהם נשלחות לתלמיד בכל שלב בתהליך. SEED RL משתמש גם בספריית רשת המבוססת על מסגרת ה- RPC האוניברסלית בקוד פתוח כדי למזער את החביון.
ل חוקרי גוגל אמרו כי רכיב הלמידה מאת SEED RL ניתן להרחיב לאלפי ליבות, בעוד שמספר השחקנים שיש לחזור על עצמם בין ביצוע מדידות בסביבה להפעלת הסקה על המודל כדי לחזות את הפעולה הבאה, ניתן להגדיל עד לאלפי מכונות.
גוגל העריכה את האפקטיביות של SEED RL על ידי השוואתה לסביבת הלמידה הפופולרית של ארקייד, סביבת Google Research Football וסביבות מעבדת DeepMind שונות. התוצאות מראות שהצליחו לפתור משימה של Google Research Football תוך אימון המודל ב -2,4 מיליון. מסגרות לשנייה באמצעות 64 שבבים של יחידת עיבוד טנזור הענן.
זה מהיר פי 80 מהמסגרות הקודמות, אמרה גוגל.
"זה מתורגם להאצת זמן משמעותית, מכיוון שמאיצים זולים בהרבה לכל פעולה מאשר מעבדים, עלות הניסויים מופחתת באופן דרסטי." אנו מאמינים כי SEED RL והתוצאות שהוצגו מראות כי למידת חיזוק שוב תפסה את שאר הלמידה העמוקה מבחינת השימוש במאיץ ", כותב לאסה אספהולט, מהנדס מחקר ב- Google Research.
עם ארכיטקטורה המותאמת לשימוש במאיצים מודרניים, טבעי להגדיל את גודל המודל בניסיון להגביר את יעילות הנתונים.
גוגל אמרה שקוד ה- SEED RL היה קוד פתוח וזמין ב- Github, כמו גם דוגמאות המראות כיצד לגרום לזה לעבוד ב- Google Cloud עם יחידות עיבוד גרפי.
לבסוף, עבור מי שמעוניין במסגרת חדשה זו, הוא יכול לעבור לקישור הבא בו יוכל למצוא מידע נוסף אודותיו. הקישור הוא זה.
מקור: https://ai.googleblog.com/