האופטימייזר שמשנה את אופן אימון מודלי ה-AI
- בינה ארטיפישלי
- אוגוסט 29, 2024
- חדשות בינה מלאכותית
- AI, GPU
- 0תגובות
שיא הבינה המלאכותית: אימון מודלים באמצעות חומרה מבוזרת
בעולם המתפתח של הבינה המלאכותית, קבוצת המחקר הישומי Nous Research הציגה פריצת דרך טכנולוגית משמעותית – DisTrO, אופטימייזר חדשני המאפשר אימון מודלי בינה מלאכותית (AI) באמצעות חומרה מסחרית מבוזרת ברחבי האינטרנט. התגלית הזו עשויה להוביל לשינוי דרמטי באופן שבו מודלי AI עתידיים יאומנו, תוך השפעה ניכרת על תחום הבינה המלאכותית, הן מבחינה טכנולוגית והן מבחינה רגולטורית וסביבתית.
האתגר הקלאסי באימון מודלי AI
מסורתית, אימון מודלי בינה מלאכותית דורש מרכזי נתונים עצומים המשופעים ביחידות עיבוד גרפי (GPU) מתקדמות כגון NVIDIA H100, וחיבורי רשת בעלי רוחב פס גבוה במיוחד לסנכרון עדכוני גרדיאנטים ופרמטרים בין ה-GPU השונים. בכל שלב אימון, נדרשת העברה של כמויות עצומות של נתונים בין אלפי יחידות ה-GPU. התעבורה הנדרשת מחייבת את ה-GPU להיות מחווטים פיזית וקרובים זה לזה.
DisTrO – אימון מרוחק באמצעות האינטרנט
עם DisTrO, Nous Research פיתחה גישה חדשנית המאפשרת שינוי מהפכני בתהליך אימון מודלי AI. DisTrO-AdamW הוא וריאציה של אלגוריתם האופטימייזציה הפופולרי AdamW. הראשי תיבות DisTrO מתייחסות ל”Distributed Training Over-the-Internet” (אימון מרוחק דרך האינטרנט), רמז למרכיב המייחד את הטכנולוגיה הזו.
הפחתה דרמטית בתקשורת בין-GPU
DisTrO-AdamW מצליח להפחית באופן דרמטי את כמות התקשורת הנדרשת בין יחידות ה-GPU במהלך אימון רשתות עצביות גדולות, ללא ויתור על קצב ההתכנסות או הדיוק של תהליך האימון. בבדיקות אמפיריות, DisTrO-AdamW השיג הפחתה של פי 857 בתקשורת בין-GPU. כלומר, גישת DisTrO מאפשרת אימון מודלים עם דיוק ומהירות דומים, אך ללא הצורך בחומרה יקרה ורוחב פס גבוה.
השלכות אפשריות של DisTrO על תחום הבינה המלאכותית
השפעת DisTrO על נוף הבינה המלאכותית עשויה להיות עמוקה. על ידי הפחתת העומס של תקשורת בין-GPU, DisTrO מאפשר אימון מבוזר של מודלים גדולים. במקום מרכז נתונים עם אלפי יחידות GPU ומתגי רשת מהירים, ניתן יהיה לאמן מודלים על חומרה מסחרית מבוזרת המחוברת באמצעות האינטרנט.
קהילת מחשבים פזורה לאימון מודלים
עם DisTrO, קהילה של אנשים תוכל לתרום גישה לחומרת המחשב שלהם על מנת לאמן מודל. תארו לעצמכם מיליוני מחשבים אישיים כבויים או ציוד כריית ביטקוין עודף מלאמץ ביחד כדי לאמן מודל קוד פתוח. DisTrO הופך זאת לאפשרות ריאלית, וכמעט ללא כל ויתור על זמן אימון המודל או על דיוקו.
הפחתת השפעות סביבתיות ורגולטוריות
אם הגישה תישאר יעילה גם עבור מודלים גדולים יותר, אימון מודלים ענקיים לא יהיה עוד מונופול של חברות טכנולוגיה גדולות עם ההון הדרוש למרכזי נתונים גדולים. זה גם עשוי להשפיע על הפחתת הטביעת הרגל הסביבתית של מרכזי נתונים צמאי אנרגיה ומים. הרעיון של אימון מבוזר גם עלול להפוך חלק מהרגולציות, כמו חוק SB 1047 המוצע של קליפורניה בנוגע לבדיקות בטיחות נוספות עבור מודלים שעלותם עולה על 100 מיליון דולר לאימון, לחסרות משמעות.
עם DisTrO, קהילה של אנשים אנונימיים עם חומרה מבוזרת תוכל ליצור ‘סופר מחשב’ משלהם כדי לאמן מודל. זה גם עלול לבטל את מאמצי הממשלה האמריקאית למנוע מסין ליבא את יחידות ה-GPU החזקות ביותר של NVIDIA.
הבינה המלאכותית בעידן האימון המבוזר
בעולם שבו הבינה המלאכותית הופכת לחשובה יותר ויותר, DisTrO מציע הצצה לעתיד שבו פיתוחם של כלים עוצמתיים אלו הוא נגיש, בר-קיימא ונפוץ יותר. למרות שנדרש מחקר נוסף כדי לראות אם הגישה אכן עובדת ביעילות עבור מודלים גדולים יותר, עשויה להיות עדה למהפכה משנה את משוואות הכוח בתחום הבינה המלאכותית.
שאלות נפוצות
מהו ההבדל העיקרי בין גישת ה-DisTrO לאימון מודלים לבין הגישות המסורתיות?
הגישה המסורתית דורשת מרכזי נתונים ענקיים עם אלפי יחידות GPU מחוברות בתצורת רשת מהירה. לעומת זאת, DisTrO מאפשר אימון מודלים באמצעות חומרה מסחרית מבוזרת וזמינה בקנה מידה קטן יותר, המחוברת דרך האינטרנט.
מהם היתרונות העיקריים של גישת ה-DisTrO?
היתרונות העיקריים של גישת DisTrO כוללים פתיחת האפשרות לאימון מבוזר ושיתופי פעולה בין חומרה מבוזרת, הפחתה משמעותית של עלויות החומרה והתקשורת, והפחתת ההשפעה הסביבתית של אימון מודלים גדולים.
מהן ההשלכות האפשריות של גישת ה-DisTrO על הרגולציה של הבינה המלאכותית?
גישת DisTrO עלולה להפוך חלקים מחוקי רגולציה כמו חוק SB 1047 של קליפורניה לחסרי משמעות, שכן היא עשויה לאפשר לקהילות עם חומרה מבוזרת לאמן מודלים ענקיים ללא עלויות העצומות של מרכזי נתונים גדולים.
מהם האתגרים או המגבלות האפשריות של גישת ה-DisTrO?
עדיין נדרש מחקר נוסף כדי לבחון אם הגישה אכן עובדת באופן יעיל עבור מודלים גדולים יותר. גם אבטחת המידע והגנת הפרטיות במסגרת אימון מבוזר הן סוגיות שיש לטפל בהן.
