המהפכה או תרמית? כל מה שצריך לדעת על רפלקציה 70B
רפלקציה 70B: המהפכה הבאה בבינה המלאכותית או רק עוד בועת שווא?
בעולם הבינה המלאכותית, שבו ההתפתחויות מתרחשות במהירות בזק, הופעת מודל חדש עשויה לעורר גלים של התלהבות והתעניינות רבתי. כך קרה עם הכרזתו הסנסציונית של מאט שומר, מייסד ומנכ”ל HyperWrite, על מודל הבינה המלאכותית החדש שלו, רפלקציה 70B. בטענותיו העזות, שומר הציג את המודל כפתרון מהפכני לאחת הבעיות המרכזיות בתחום הבינה המלאכותית – בעיית ההיזיות של מודלי שפה גדולים (LLM). לדבריו, רפלקציה 70B משתמש בטכניקה ייחודית המכונה “Reflection-Tuning” שמאפשרת למודל לזהות טעויות בהיגיון שלו ולתקן את עצמו במהלך ההסקה. בנוסף, הוא הציג תוצאות בנצ’מרקים מרשימות שהעניקו למודל החדש את היתרון על פני מתחרים גדולים יותר ואף על מודלים סגורים כמו GPT-4o.
צעד משמעותי לעבר בינה מלאכותית אמינה יותר
אם אכן שומר מצא את הדרך לפתור את בעיית ההיזיות של הבינה המלאכותית, מדובר בהישג מדהים שעשוי להוביל לצעד משמעותי בכיוון של בינה מלאכותית אמינה ומהימנה יותר. ההיזיות, או הנטייה של מודלי בינה מלאכותית לספק תשובות שגויות ולא הגיוניות, היוותה אחת המכשלות המרכזיות בדרך להטמעתם בתהליכים קריטיים ומשימות מורכבות. מודל שיכול לזהות בעצמו את הטעויות שלו ולתקנן במהלך ההסקה, עשוי לפתוח צוהר חדש לשימושים מגוונים של בינה מלאכותית בתחומים רבים.
שיתוף פעולה חדשני עם ספקית נתונים סינתטיים
כדי ליצור את רפלקציה 70B, שומר שיתף פעולה עם Glaive, ספקית נתונים סינתטיים חדשנית. המודל החדש מבוסס על Llama 3.1-70B Instruct, המודל הגדול של מטא, אך לאחר תהליך הכשרה ייחודי בטכניקת ה-Reflection-Tuning. בהכרזת ההשקה באתר האינטרנט הפופולרי HackerNews, הסביר שומר: “רפלקציה Llama-3.1 70B הוא (כרגע) מודל ה-LLM הפתוח הטוב בעולם, שהוכשר בטכניקה חדשה בשם Reflection-Tuning שמלמדת את ה-LLM לזהות טעויות בהיגיון שלו ולתקן את הכיוון.”
תוצאות מרשימות המרגיזות את המתחרים
לפי הבנצ’מרקים שחולקו על ידי שומר, נראה שרפלקציה 70B אכן מוביל בפער ניכר את המודלים האחרים בתחום. המודל מקבל את שמו מיכולתו לבצע ‘רפלקציה’, או רהור, על התשובה הראשונית שלו לגירוי ולתקנה לפני שהוא מוציא את התוצאה הסופית. שומר שומר על דיסקרטיות מסוימת לגבי הפרטים המדויקים של הטכניקה החדשה, אך מסביר כי המודל “מרהר” על התשובה הראשונית שלו, ורק לאחר שהוא משוכנע שהיא נכונה, הוא מוציא אותה כתשובה סופית. תוצאות אלו הן מרשימות במיוחד, ועשויות להציב את רפלקציה 70B בחזית הטכנולוגיות החדשניות של הבינה המלאכותית.
ספקנות וחששות בנוגע לרפלקציה 70B
האם זו יכולה להיות תרמית?
עם זאת, כמו בהרבה הכרזות חדשניות בתחום הבינה המלאכותית, גם החשיפה של רפלקציה 70B לא חסרה ספקנות וביקורת. למרות שהמודל זמין להורדה באתר HackerNews, משתמשים ראשונים לא הצליחו לשחזר את הביצועים המרשימים שהוצגו בבנצ’מרקים של שומר. הסביבה הדמו של רפלקציה מאפשרת למשתמשים לנסות את המודל, אך מודיעה שבשל ביקוש גבוה, הדמו זמין זמנית בלבד. הגירויים הנלווים, כמו “ספור את רי’ש ב’תותים'” ו”9.11 לעומת 9.9″, מרמזים על יכולתו של המודל להתמודד עם משימות מתוחכמות. עם זאת, חלק מהמשתמשים טענו שרפלקציה הוכשרה במיוחד לענות על גירויים ספציפיים אלו, מה שמעלה חשש לגבי יכולותיו האמיתיות.
חששות לגבי הבנצ’מרקים
חששות נוספים הועלו לגבי מהימנות הבנצ’מרקים המרשימים שהוצגו. הציון של יותר מ-99% בבנצ’מרק GSM8K נתפס כחשוד במיוחד, מכיוון שחלק מתשובות האמת במאגר הנתונים הזה למעשה שגויות. במילים אחרות, הדרך היחידה להשיג ציון כה גבוה בבנצ’מרק זה הייתה לספק את אותן תשובות שגויות לבעיות אלו. לאחר בדיקות נוספות, משתמשים טענו שרפלקציה למעשה נחותה מהמודל המקורי Llama 3.1, וכי מדובר בעצם בLlama 3 עם התאמה של LoRA (טכניקת הכשרה לעדכון משקלים בלבד). בתגובה למשוב השלילי, שומר פרסם הסבר באתר HackerNews ואמר: “עדכון מהיר – אנו העלנו מחדש את המשקלים אבל יש עדיין בעיה. אנחנו התחלנו להכשיר מחדש את המודל כדי למנוע כל בעיה אפשרית. התהליך אמור להסתיים בקרוב.”
התפתחויות מחשידות והאשמות בתרמית
בהמשך לביקורת הנוקבת, שומר הסביר שהייתה תקלה בממשק התכנות של רפלקציה 70B והם עובדים על תיקונה. בינתיים, הוא סיפק גישה ל-API פרטי וסודי כדי שהספקנים יוכלו לנסות את רפלקציה בעצמם בזמן שהם עבדו על התיקון. ואולם, זהו הרגע שבו כנראה החלו להתגלגל חששות רציניים יותר לגבי אמינות הפרויקט. גירויים זהירים שהופנו ל-API הפרטי נראים מראים שהוא למעשה עוטף את המודל Claude 3.5 Sonnet של אנתרופיק. בדיקות נוספות כביכול הראו את ה-API מחזיר פלט ממודלים אחרים כמו Llama ואף GPT-4o של אופן איי.
למרות החששות הגוברים, שומר עומד על כך שהתוצאות המקוריות שהוצגו הן מדויקות והם עובדים על תיקון המודל להורדה. עם זאת, קריאות ספקניות רבות מאשימות אותו בתרמית ובניסיון להונות את הקהילה על מנת לגייס הון סיכון למיזם שלו.
השאלה הנותרת: מהפכה או תרמית?
האם הספקנים ממהרים קצת מדי לכנות את שומר “גרפטר” ולהאשים אותו בתרמית? ייתכן שהשחרור של רפלקציה 70B פשוט טופל בצורה גרועה, אך המודל עצמו הוא אכן מהפכני כפי שנטען. מצד שני, ייתכן גם שמדובר בעוד דוגמה להיפר-AI – טכניקה של הצגת הישגים מרשימים ופיקטיביים בתחום הבינה המלאכותית במטרה לגייס הון סיכון ממשקיעים שמחפשים את ההתפתחות הבאה הגדולה בתחום הלוהט הזה. כדי לקבל את התשובה, נצטרך לחכות יום או יומיים נוספים ולראות כיצד יתגלגל סיפור רפלקציה 70B ויתבררו פרטיו.
שאלות נפוצות
מהי רפלקציה 70B?
רפלקציה 70B הוא מודל בינה מלאכותית חדש שנטען כי הוא פותר את בעיית ההיזיות של מודלי LLM באמצעות טכניקה ייחודית המכונה “Reflection-Tuning”. המודל הציג תוצאות בנצ’מרק מרשימות שעולות על מודלים אחרים, כולל מודלים סגורים כמו GPT-4o.
מה ייחודי ברפלקציה 70B?
על פי המייסד שומר, רפלקציה 70B משתמש בטכניקת “Reflection-Tuning” שמלמדת את המודל לזהות טעויות בהיגיון שלו ולתקן את התשובה במהלך ההסקה, באמצעות ‘רפלקציה’ או רהור על התשובה הראשונית.
מדוע יש ספקנות לגבי רפלקציה 70B?
משתמשים ראשונים לא הצליחו לשחזר את הביצועים המרשימים שהוצגו. כמו כן, הועלו חששות לגבי מהימנות הבנצ’מרקים, ורמזים שה-API של רפלקציה למעשה עוטף מודלים אחרים כמו Claude ו-GPT-4o. חלק אף האשימו את שומר בתרמית.
מה הצעדים הבאים עבור רפלקציה 70B?
שומר טוען שהתוצאות המקוריות מדויקות והם עובדים על תיקון המודל להורדה. נצטרך לחכות לראות אם המודל יוכיח את עצמו כמהפכני או שמא יתברר כתרמית נוספת בתחום הבינה המלאכותית.
