Point-E הפתרון החדש של OpenAI שמייצר תמונות תלת מימד

OpenAI הרחיבה את יכולות תוכנת הטקסט-לתמונה שלה משני מימדים לשלושה מימדים עם השקת Point-E, בינה מלאכותית שמייצרת תמונות תלת מימדיות מהנחיות טקסט. על פי מסמך שפורסם עם בסיס הקוד, Point-E אינה דורשת מחשב מתקדם כדי לפעול ויכולה ליצור מודל בפחות משתי דקות באמצעות כרטיס מסך יחיד של Nvidia V100.

עם זה אנו יכולים לראות שמחוללי מודל תלת מימד יכולים להיות פריצת הדרך הבאה שתכבוש את עולם הבינה המלאכותית בסערה. OpenAI הייתה מאוד פעילה השנה, שכן למשל כאן בבלוג דיברנו על החברה על שני הפרויקטים הגדולים שלה: Dall-E 3 ו-ChatGPT.

בין שתי פלטפורמות הבינה המלאכותית העצומות הללו, החברה סייעה ביצירת תמונות ופרקי טקסט ארוכים מהודעת טקסט פשוטה, ועכשיו החברה חזרה עם קונספט שלישי, שהושק ממש לפני חג המולד כדי ליצור באזז. הקונספט השלישי הזה, הנקרא Point-E, עוקב אחר דפוס דומה, ויוצר תוכן תלת-ממדי מהנחיות פשוטות.

במאמר מחקר שפורסם על ידי צוות OpenAI, Point-E פועל בשני שלבים: ראשית, הוא משתמש בבינה מלאכותית הממירה טקסט לתמונה כדי להמיר את הבקשה המילולית שלך לתמונה, לאחר מכן הוא משתמש בפונקציה שנייה כדי להפוך תמונה זו למודל תלת-ממדי.

Point-E היא קוד פתוח וקוד המקור זמין ב-GitHub . למרות זאת, ההתחלה יכולה להיות קצת מסובכת, מכיוון שמשתמשים צריכים להיות בקיאים באופן סביר בכלי שורת פקודה ועל המערכת להיות מותקנת Python, בניגוד ל-ChatGPT, שם משתמשים יכולים להירשם באתר אינטרנט ולבחון את כישוריהם.

Point-E אינו יוצר אובייקטים תלת-ממדיים במובן המסורתי; במקום זאת, הוא מייצר ענני נקודות, כלומר, קבוצות נפרדות של נקודות נתונים במרחב המייצגות צורה תלת-ממדית, ומכאן הקיצור החצוף.

(ה-"E" ב-Point-E הוא קיצור של "יעילות", מכיוון שהוא ככל הנראה מהיר יותר מגישות קודמות לעיבוד אובייקטים תלת-ממדיים.) לדברי המפתחים, קל יותר לסנתז ענני נקודות מבחינה חישובית, אך הם אינם קולטים את הצורה או המרקם העדין של אובייקט, מה שמהווה מגבלה עיקרית של Point-E כיום.

כדי להתגבר על מגבלה זו , צוות Point-E אימן מערכת בינה מלאכותית נוספת כדי להמיר את ענני הנקודות של Point-E לרשתות. (רשתות - אוספים של קודקודים, קצוות ופאות המגדירים אובייקט - משמשות בדרך כלל במידול ועיצוב תלת-ממדיים.) אך החוקרים מציינים במאמרם כי המודל יכול לפעמים לפספס חלקים מאובייקטים , וכתוצאה מכך צורות מעוותות או חסומות. בנוסף למודל יוצר הרשת, שהוא עצמאי, Point-E מורכב משני מודלים: מודל טקסט-תמונה ומודל תמונה תלת-ממדי.

מודל הטקסט-לתמונה, בדומה למערכות יצירת גרפיקה כמו DALL-E 2 ו-Stable Diffusion, אומן על תמונות מתויגות כדי להבין את הקשרים בין מילים למושגים חזותיים . מודל התמונה התלת-ממדית, לעומת זאת, הוזן על ידי קבוצת תמונות הקשורות לאובייקטים תלת-ממדיים כדי ללמוד כיצד לתרגם את השניים ביעילות. כאשר ניתנת הודעת טקסט, לדוגמה, "גלגל שיניים הניתן להדפסה תלת-ממדית, גלגל שיניים יחיד בקוטר 7 ס"מ ועובי 1 ס"מ", מודל הטקסט-לתמונה של Point-E מייצר אובייקט סינתטי מעובד המועבר לאחר מכן למודל התמונה התלת-ממדית.

האחרון יוצר אז ענן של נקודות. לאחר אימון המודלים על מערך נתונים של "כמה מיליוני" אובייקטים תלת-ממדיים ומטא נתונים קשורים, Point-E הצליח לייצר ענני נקודות צבעוניים שתואמים לעתים קרובות הנחיות טקסט, אומרים חוקרי OpenAI. לא מושלם: מודל התמונה התלת מימדית של Point-E לפעמים לא מבין את התמונה ממודל תמונת הטקסט, וכתוצאה מכך צורה שאינה תואמת את הודעת הטקסט. ובכל זאת, זה הרבה יותר מהיר מהמצב הקודם, לפחות על פי צוות OpenAI.

התוצאה רחוקה מלהגיע לאיכות של עיבוד תלת מימד מסחרי בסרט או במשחק וידאו. אבל זה לא אמור להיות. ברגע שהם מוזנים ליישום תלת מימד כמו בלנדר, ניתן להפוך אותם לרשתות טקסטורות שנראות יותר כמו תמונות תלת מימד רגילות.

"למרות שהשיטה שלנו עדיין לא עדינה מבחינת איכות הדגימה, היא מהירה בסדר גודל אחד או שניים, וזו פשרה מעשית עבור מקרי שימוש מסוימים", מסבירים חוקרי OpenAI במאמר המתאר את הפרויקט.

לבסוף, אם אתם מעוניינים ללמוד עוד על Point-E או על קוד המקור, תוכלו למצוא את הפרטים בקישור הבא.