אגדת הבינה המלאכותית הרב-תחומית Eagle
- רובי בוטוביץ'
- ספטמבר 12, 2024
- AI Tools, חדשות בינה מלאכותית, מודלי שפה
- AI, Eagle
- 0תגובות
Eagle: סאגת הבינה המלאכותית הרב-תחומית
ממצאים מרכזיים: עקרונות לשילוב אפקטיבי של ממירי ראייה
במחקר Eagle נחשפו מספר עקרונות מנחים לשילוב יעיל של ממירי ראייה מרובים במודלים רב-תחומיים גדולים (MLLMs). הממצאים העיקריים הם:
1. צירוף ישיר של אסימונים ויזואליים: צירוף ישיר של אסימונים ויזואליים ממספר ממירי ראייה משלימים הוכח כיעיל ופשוט כמו ארכיטקטורות או אסטרטגיות ערבוב מורכבות יותר.
2. שלב “ייצוב מוקדם”: Eagle הציג שלב “ייצוב מוקדם” (Pre-Alignment) לגישור על הפער בין ממירי ראייה לאסימוני שפה, המשפר את עקביות המודל.
3. עליונות על מודלים פתוחים מובילים: משפחת ה-MLLMs של Eagle, המשלבת את העקרונות הללו, עולה על מודלים פתוחים מובילים אחרים בבנצ’מרקים מרכזיים של MLLMs.
שילוב ממירי ראייה מרובים: קריטי לשיפור יכולות התפיסה
שילוב של מספר ממירי ראייה עם ארכיטקטורות, משימות הכשרה ורזולוציות שונות, נמצא כקריטי לשיפור יכולות התפיסה הויזואלית של MLLMs. מספר גישות לשילוב יעיל של ממירי ראייה מרובים נבחנו:
1. שילוב ממירי רזולוציה גבוהה: מודלים כמו Mini-Gemini ו-LLaVA-HR משלבים תכונות ויזואליות ברזולוציה גבוהה לצד אסימונים ברזולוציה נמוכה.
2. ממירים למשימות ספציפיות: מודלים כמו Mousi, Brave ו-RADIO משלבים ממירים שהוכשרו על משימות ראייה שונות כגון קריאת טקסט או זיהוי אובייקטים.
3. שילוב מומחי ראייה נוספים: מודלים כמו MoAI, IVE ו-Prismer משלבים פלט של מומחי ראייה נוספים כגון OCR, גילוי או אומדן עומק.
עיצוב מינימליסטי אך אפקטיבי
במטרה לאתר את העיצוב האופטימלי, Eagle אימץ גישה מינימליסטית תוך ביצוע לימוד מפורט של אבלציות ומחקר מקיף של שיטות שילוב שונות. התהליך כלל:
1. הרחבת ממיר CLIP: Eagle הרחיב את ממיר הראייה הבסיסי CLIP לקבוצת מומחי ראייה עם ארכיטקטורות, משימות הדרכה ורזולוציות שונות.
2. השוואת ארכיטקטורות ושיטות שילוב: השוואה של ארכיטקטורות ושיטות שילוב שונות לצירוף ממירי הראייה.
3. ייעול אסטרטגיות הכשרה: חקירת דרכים לייעול אסטרטגיות ההכשרה המוקדמת עם מספר ממירים.
תוצאות מוצלחות: ביצועים משופרים במגוון בנצ’מרקים
לאחר יישום העקרונות והמתודולוגיה שפותחו, משפחת ה-MLLMs הסופית של Eagle הצליחה להשיג ביצועים משופרים במגוון בנצ’מרקים מרכזיים לעומת מודלים פתוחים מובילים אחרים בתחום. התוצאות המוצלחות של Eagle ממחישות את היתרונות של גישת השילוב האפקטיבי של ממירי ראייה מרובים, והיא צפויה להוביל לפיתוחים נוספים בתחום המודלים הרב-תחומיים.
