במאי 2020, OpenAI, חברת הבינה המלאכותית שייסדו אילון מאסק וסם אלטמן, פרסמה את GPT-3, שהוצגה אז כרשת העצבים הגדולה של הרגע. מודל שפה מתקדם, GPT-3 כולל 175 מיליארד פרמטרים בהשוואה ל-1,5 מיליארד פרמטרים של קודמו GPT-2.
GPT-3 לנצח את דגם NLG Turing (Turing Natural Language Generation) מבית מיקרוסופט עם 17 מיליארד פרמטרים שהחזיקו בעבר בשיא הרשת העצבית הגדולה ביותר. מודל השפה נדהם, זכה לביקורת ואף נתון לבדיקה; זה גם מצא יישומים חדשים ומעניינים.
ועכשיו שמועות פורסמו על שחרורו של GPT-4, הגרסה הבאה של מודל השפה OpenAI, עשויה להגיע בקרוב.
למרות עדיין לא הוכרז תאריך יציאה, OpenAI נתנה כמה אינדיקציות לגבי המאפיינים של היורש של GPT-3, שאיתם רבים עשויים לצפות, ש-GPT-4 לא צריך להיות גדול יותר מ-GPT-3, אלא צריך להשתמש במשאבים חישוביים רבים יותר, מה שיגביל את ההשפעה הסביבתית שלו.
במהלך הפגישה, אלטמן רמז לכך, בניגוד לאמונה הרווחת, GPT-4 לא יהיה מודל השפה הגדול ביותר. המודל ללא ספק יהיה גדול יותר מהדורות הקודמים של רשתות עצביות, אבל הגודל לא יהיה סימן ההיכר שלו.
ראשית, חברות הבינו ששימוש בגודל הדגם כאינדיקטור לשיפור הביצועים אינו הדרך היחידה או הטובה ביותר לעשות זאת. בשנת 2020, על פי הדיווחים, ג'ארד קפלן ועמיתיו ב-OpenAI הגיעו למסקנה שהביצועים משתפרים ביותר כאשר העלאות בתקציב המחשוב מוקצות בעיקר להגדלת מספר הפרמטרים, בעקבות יחסי כוח-חוק. גוגל, Nvidia, Microsoft, OpenAI, DeepMind וחברות אחרות שמפתחות מודלים של שפה לקחו את ההנחיות הללו כערך נקוב.
אבל MT-NLG (Megatron-Turing NLG, רשת נוירונים שנבנתה על ידי Nvidia ומיקרוסופט בשנה שעברה עם 530 מיליארד פרמטרים), נהדרת ככל שתהיה, היא לא הטובה ביותר בכל הנוגע לביצועים. למעשה, הוא לא מדורג כטוב ביותר בשום קטגוריה בנצ'מרק. דגמים קטנים יותר כמו גופר או צ'ינצ'ילה (70 מיליארד פרמטרים), רק חלק קטן מהגודל שלהם, יהיו הרבה יותר טובים מ-MT-NLG בכל המשימות. כך התברר שגודל המודל אינו הגורם היחיד שמוביל להבנה טובה יותר של השפה.
לדברי אלטמן, מודלים לשוניים סובלים ממגבלה קריטית. כשזה מגיע לאופטימיזציה. ההדרכה תהיה כל כך יקרה שחברות יצטרכו להתפשר בין דיוק לעלות. זה גורם לרוב למודלים שעברו אופטימיזציה גרועה.
המנכ"ל דיווח כי GPT-3 הוכשר רק פעם אחת, למרות כמה טעויות שבמקרים אחרים היו מובילים להכשרה מחדש. בשל כך, על פי הדיווחים, OpenAI החליטה נגדה בשל עלות בלתי משתלמת, שמנעה מהחוקרים למצוא את קבוצת ההיפרפרמטרים הטובה ביותר עבור המודל.
תוצאה נוספת של עלויות הכשרה גבוהות היא שניתוחים של התנהגות מודל יהיו מוגבלים. לפי דיווח אחד, כאשר חוקרי בינה מלאכותית הגיעו למסקנה שגודל המודל הוא המשתנה הרלוונטי ביותר לשיפור הביצועים, הם לא הביאו בחשבון את מספר אסימוני האימון, כלומר את כמות הנתונים שסופקו למודלים. זה היה דורש כמויות יוצאות דופן של משאבי מחשוב. לפי הדיווחים, חברות טכנולוגיה עקבו אחר ממצאי החוקרים כי זה היה הטוב ביותר שהיה להם.
אלטמן אמר ש-GPT-4 ישתמש בהרבה יותר חישובים מקודמו. OpenAI צפוי ליישם רעיונות הקשורים לאופטימיזציה ב-GPT-4, אם כי לא ניתן לחזות באיזו מידה התקציב שלה אינו ידוע.
עם זאת, ההצהרות של Altman הראה ש-OpenAI צריך להתמקד באופטימיזציה של משתנים מלבד גודל המודל.. מציאת קבוצת ההיפרפרמטרים הטובה ביותר, גודל הדגם האופטימלי ומספר הפרמטרים עשויה להוביל לשיפורים מדהימים בכל המדדים.
לפי אנליסטים, כל התחזיות למודלים של שפה יקרסו אם גישות אלו ישולבו למודל אחד. אלטמן גם אמר שאנשים לא יאמינו כמה דגמים יכולים להיות טובים יותר מבלי שהם בהכרח גדולים יותר. זה אולי מרמז שמאמצי ההרחבה הסתיימו לעת עתה.
לפי הדיווחים, OpenAI השקיעה מאמצים רבים בפתרון בעיית יישור הבינה המלאכותית: איך לגרום למודלים של שפה לעקוב אחר כוונות אנושיות ולהיצמד לערכים אנושיים?
אנליסטים אומרים שזו לא רק בעיה מתמטית קשה (איך נגרום ל-AI להבין בדיוק מה אנחנו רוצים?), אלא גם פילוסופית (אין דרך אוניברסלית ליישר קו בינה מלאכותית עם בני אדם, שכן השונות של ה-AI ערכים אנושיים מקבוצה לקבוצה הם עצומים ולעיתים סותרים).
בסופו של דבר אם אתה מעוניין לדעת יותר על כךאתה יכול להפנות לפוסט המקורי בקישור הבא.