StableLM ונועד ליצור ביעילות טקסט וקוד
הידיעה פורסמה כי יציבות AI, החברה שמאחורי מודל הבינה המלאכותית הבינה המלאכותית של Stable Diffusion, הכריזה על הראשון מתוך סט דגמי השפה שלה StableLM.
עם זה Stability מקווה לשחזר את ההשפעות של מודל סינתזת התמונות בקוד פתוח שלה דיפוזיה יציבה, שוחרר בשנת 2022. עם עידון, StableLM יכול לשמש לבניית חלופה של קוד פתוח ל-ChatGPT.
למי שלא מכיר את Stability AI, כדאי לדעת שמדובר בחברה מלונדון שממצבת את עצמה כיריבה בקוד פתוח ל-OpenAI, חברה המפתחת מודלים עוצמתיים אך קנייניים של שפה מלאכותית כמו ChatGPT.
על StableLM
StableLM הוא שמה של משפחת מודלים של שפה מלאכותית שנוצרה על ידי Stability AI, אשר זמינים כקוד פתוח ב-GitHub תחת רישיון Creative Commons BY-SA-4.0. StableLM הוא מודל ליצירת טקסט שיכולים לחבר טקסט אנושי ולכתוב תוכניות על ידי חיזוי המילה הבאה ברצף. הוא משתמש בטכניקה הנקראת "חיזוי שבבים" שכולל ניחוש של קטע המילה הבאה מתוך ההקשר שמספק אדם בצורה של "רמז".
כמו תואר שני "קטנים" אחרים StableLM מתיימרת להשיג ביצועים דומים למודל הייחוס GPT-3 של OpenAI תוך שימוש בהרבה פחות פרמטרים כלליים (7 מיליארד עבור StableLM לעומת 175 מיליארד עבור GPT-3).
השחרור של StableLM מתבסס על הניסיון שלנו עם מודלים קודמים של שפות קוד פתוח עם EleutherAI, מרכז מחקר ללא מטרות רווח. מודלים של שפה אלה כוללים את GPT-J, GPT-NeoX וחבילת Pythia, שהוכשרו על מערך הנתונים של הקוד הפתוח The Pile.
StableLM טוען שיש להם ביצועים דומים ל-GPT-3, מודל השפה שמניע את ChatGPT, תוך שימוש בהרבה פחות פרמטרים (7 מיליארד מול 175 מיליארד). פרמטרים הם משתנים שהמודל משתמש בהם כדי ללמוד מנתוני האימון. פחות פרמטרים הופכים את הדגם לקטן ויעיל יותר, מה שיכול להקל על ההפעלה במכשירים מקומיים כמו סמארטפונים ומחשבים ניידים.
StableLM מאומן על מערך נתונים חדש המבוסס על The Pile, מכיל 1,5 טריליון אסימונים, שהם בערך פי 3 מגודל הערימה. הערימה היא מערך נתונים איכותי ומגוון לאימון מודלים של שפות.
Stability AI מזכיר כי התבניות כבר זמינות במאגר GitHub וכי מאמר לבן מלא יפורסם בקרוב, ומצפה להמשיך לשתף פעולה עם מפתחים וחוקרים תוך כדי השקת חבילת StableLM.
בנוסף, הם מזכירים את השקת תוכנית שיתוף הפעולה הפתוח RLHF ועבודה עם מאמצי קהילה כמו Open Assistant כדי ליצור מערך נתונים בקוד פתוח עבור עוזרי AI.
אחרון חביב, אם כבר מדברים על מהדורות של Stability AI, אנחנו יכולים גם להדגיש שהיא הכריזה מהדורת הבטא של SDXL (שקיצור של Stable Diffusion Extra Large), מודל חדש של בינה מלאכותית המסוגל לייצר תמונות מתיאורים טקסטואליים. SDXL היא התוספת האחרונה לחבילת ה-Stable Diffusion, הכוללת גם את דגמי SD, SDT ו-SDC.
SDXL שונה מדגמים אחרים בגודלו וביכולותיו. עם 2300 מיליארד פרמטרים, SDXL גדול יותר מפי 2,5 מדגם ה-SD המקורי, שהיה לו רק 890 מיליון. פרמטרים נוספים אלה מאפשרים ל-SDXL ליצור תמונות שיתאימו טוב יותר לדפוסים מורכבים. לדוגמה, SDXL יכול לייצר טקסט קריא על תמונות או ליצור דיוקנאות ריאליסטיים להפליא של דמויות בדיוניות.
SDXL נמצא כעת בבטא ב-DreamStudio ויישומי הדמיה פופולריים אחרים כגון NightCafe Creator. כמו כל דגמי Stability AI, SDXL ישוחרר בקרוב כקוד פתוח עבור נגישות מיטבית. Stability AI מכריזה כי SDXL מורשית לשימוש מסחרי ולא מסחרי, כל עוד אתה פועל לפי הנחיות אתיות ומשפטיות.
לבסוף, אם אתה מעוניין לדעת יותר על כך, תוכל להתייעץ עם הפרטים בקישור הבא.