עידן חדש של יצירת טקסטים ארוכים עם LongWriter
- רובי בוטוביץ'
- אוגוסט 22, 2024
- חדשות בינה מלאכותית, מודלי שפה, מחוללי טקסט
- AI, LLM, LLMs
- 0תגובות
ברוך הבא לעידן חדש של יצירת טקסטים ארוכים אולטרה עם LongWriter
התקדמות אחרונה בתחום מודלי שפה גדולים (LLMs) אפשרה עיבוד של קלטים נרחבים עד 100,000 תווים, אך מודלים אלה מתקשים ליצור פלטים קוהרנטיים שאורכם עולה על 2,000 מילים בלבד. מגבלה זו נובעת ממחסור בדוגמאות של יצירות ארוכות בקבצי הנתונים הקיימים לכיול מפוקח (SFT), מה שמגביל למעשה את אורך היצירה של המודל לגבול העליון של אורכי הפלטים הנוכחים בנתוני האימון שלו.
חשיפת מסגרת העבודה LongWriter
כדי להתמודד עם אתגר זה, LongWriter מציג צינור חדשני המבוסס על סוכנים בשם AgentWrite, שנועד לנצל מודלי LLM קיימים לבניית יצירות ארוכות וקוהרנטיות באופן אוטומטי. AgentWrite פועל בשני שלבים: ראשית, הוא יוצר תוכנית כתיבה מפורטת המתווה את המבנה ואת מטרת מספר המילים לכל פסקה על בסיס הקלט של המשתמש. לאחר מכן, בהתאם לתוכנית זו, הוא מאלץ את המודל ליצור תוכן לכל פסקה בזו אחר זו.
באמצעות שילוב 6,000 דוגמאות SFT של יצירות ארוכות שנוצרו על ידי AgentWrite (LongWriter-6k) באימון המודל, LongWriter מצליח לפתוח את היכולת ליצור יצירות ממובנות במבנה שאורכן עולה על 10,000 מילים תוך שמירה על איכות הפלט. יתר על כן, LongWriter מפתח את אמת המידה LongBench-Write, ערכת הערכה מקיפה ליכולות יצירה ארוכות אולטרה, ומשפר עוד יותר את ביצועי המודל באמצעות אופטימיזציה של העדפות ישירה (DPO).
שיא באורך הפלט עם AgentWrite
צינור AgentWrite הוא גישת חלוקה וכיבוש המפצלת משימות כתיבה מורכבות למשימות משנה רבות, כאשר בכל אחת מהן נדרש המודל ליצור פסקה בודדת. המודל מבצע את משימות המשנה האלה בזו אחר זו, וLongWriter מצרף את הפלטים כדי להשיג את הפלט הארוך הסופי. גישה זו מבטיחה קוהרנטיות ואיכות תוך עקיפת מגבלת אורך הפלט.
שלב I: תכנון
בהשראת תהליך החשיבה של כותבים אנושיים, AgentWrite מנצל את מודלי ה-LLM כדי ליצור תכנית כתיבה, הכוללת את התוכן העיקרי ואת דרישות מספר המילים עבור כל פסקה, בהתבסס על הוראות הכתיבה של המשתמש.
שלב II: כתיבה
בהתאם לתכנית שנוצרה, AgentWrite קורא למודל ה-LLM בסדרה כדי להשלים כל משימת משנה על ידי יצירת תוכן הכתיבה חלק אחר חלק. כדי להבטיח קוהרנטיות, החלקים שנוצרו קודם לכן מסופקים כקלט בעת יצירת החלק הבא, מה שמאפשר למודל להמשיך לכתוב בהתבסס על ההקשר הקיים.
כיול מפוקח ואופטימיזציה של העדפות ישירה
LongWriter מבצע אימון על שני מודלים בקוד פתוח, GLM-4-9B ו-Llama-3.1-8B, תוך שילוב LongWriter-6k בנתוני ה-SFT. כדי לשפר את איכות הפלט ואת ההתאמה למגבלות האורך, LongWriter מבצע DPO על מודל LongWriter-9B שעבר כיול מפוקח, ומניב את המודל LongWriter-9B-DPO.
הערכה ותוצאות
ניסויים נרחבים על LongBench-Write מדגימים את עליונות מודלי LongWriter על פני מודלים מצויינים קודמים, כשהם מספקים באופן עקבי תגובות ארוכות ועשירות יותר תוך שמירה על איכות פלט גבוהה. DPO משפר עוד יותר הן את איכות הפלט והן את היכולת לעמוד בדרישות האורך במשימות יצירה ארוכות.
בעוד שגבול אורך הפלט של מודלי LongWriter מוגדל ל-10,000 עד 20,000 מילים, נדרשים עוד נתונים עם יצירות ארוכות יותר כדי לתמוך ביצירות ארוכות אף יותר. עבודה עתידית כוללת הרחבת מסגרת AgentWrite לבניית נתונים עם יצירות ארוכות יותר, שיפור המסגרת לקבלת נתוני יצירות ארוכות באיכות גבוהה יותר, וחקירת שיטות לשיפור יעילות הפעולה ללא פגיעה באיכות היצירה.
שאלות נפוצות
ש1. מהי המגבלה העיקרית של מודלי LLM עכשוויים בהקשר ארוך ביצירת פלטים ארוכים אולטרה?
‘המגבלה העיקרית של מודלי LLM עכשוויים בהקשר ארוך ביצירת פלטים ארוכים אולטרה היא מחסור בדוגמאות של יצירות ארוכות בקבצי הנתונים הקיימים לכיול מפוקח (SFT), מה שמגביל למעשה את אורך היצירה של המודל לגבול העליון של אורכי הפלטים הנוכחים בנתוני האימון שלו.’
ש2. כיצד מסגרת LongWriter מתמודדת עם מגבלה זו?
‘LongWriter מציג את AgentWrite, צינור מבוסס-סוכנים החולק משימות כתיבה ארוכות למשימות משנה רבות שבכל אחת מהן נוצרת פסקה בודדת, ובכך מאפשר בניית יצירות ארוכות וקוהרנטיות באופן אוטומטי תוך שימוש במודלי LLM זמינים. קובץ הנתונים LongWriter-6k שנוצר בתהליך זה משולב באימון המודל כדי להגדיל את חלון היצירה לכדי 10,000 מילים ויותר.’
ש3. מהו הייחוד של אמת המידה LongBench-Write?
‘LongBench-Write היא אמת מידה מקיפה שפותחה על ידי LongWriter להערכת יכולות יצירה ארוכות אולטרה, הכוללת קבוצה מגוונת של הוראות כתיבה למשתמש עם דרישות אורך יצירה משתנות.’
ש4. כיצד האופטימיזציה של העדפות ישירה (DPO) תורמת למסגרת LongWriter?
‘LongWriter מבצע DPO על מודל LongWriter-9B שעבר כיול מפוקח, ומניב את המודל LongWriter-9B-DPO. DPO משפר באופן יעיל הן את איכות הפלט של המודל והן את יכולתו לעמוד בדרישות האורך במשימות יצירה ארוכות.’
ש5. מהן כיווני המחקר העתידיים המוצעים על ידי LongWriter?
‘LongWriter מציע שלושה כיווני מחקר עתידיים: 1) הרחבת מסגרת AgentWrite לבניית נתונים עם יצירות ארוכות יותר, 2) שיפור מסגרת AgentWrite להשגת נתוני יצירות ארוכות באיכות גבוהה יותר, ו-3) חקירת שיטות לשיפור יעילות הפעולה ללא פגיעה באיכות היצירה עבור פלטי מודל ארוכים יותר.’
