"וַיֹּ֨אמֶר֙ אֶל־שָׂרַ֣י אִשְׁתּ֔וֹ הִנֵּה־נָ֣א יָדַ֔עְתִּי כִּ֛י אִשָּׁ֥ה יְפַת־מַרְאֶ֖ה אָֽתְּ" (בראשית יב:יא)
כשאברהם אומר לשרה "הנה נא ידעתי", הוא לא מגלה משהו חדש על יופייה - הוא מכיר ברגע זה באמת שתמיד הייתה שם. רש"י מציע שתי הסברים למימד הזמן הזה: או שעד כה לא הכיר בה "מתוך צניעות שבשניהם", או ש"מנהג העולם שעל ידי טורח הדרך אדם מתבזה, וזאת עמדה ביפיה".
השבוע פורסמו שתי טכנולוגיות חדשות שמתמודדות עם אותה בעיה במודלי שפה: איך לגרום למודל "להכיר" באמת במקום להמציא תשובות.
הבעיה: הזיות במקום הכרה
מודלי שפה מודרניים סובלים מבעיה דומה לזו שהציג אברהם: הם "יודעים" דברים רבים, אבל לא תמיד מצליחים להכיר באמת שבתוכם. הם יכולים להמציא עובדות שנשמעות מהימנות (hallucinations) במקום להודות שהם לא יודעים, בדיוק כמו שאברהם יכול היה לטעון שהוא לא מכיר ביופייה של שרה עד שהמצב הכריח אותו להכיר במציאות.
ההסתברות שמודל שפה יספק מידע שגוי ללא ציון מקור היא בעייתית. מחקרים מראים שגם מודלים מתקדמים כמו GPT-4 יכולים לטעות ב-15-20% מהמקרים בשאלות עובדתיות.
פתרון ראשון: הדטרמיניזם המוחלט
השבוע הסטארטאפ שלי Guard8.ai פרסם את מודל SEAR (Semantic Enhanced Augmented Retrieval) שפותר את הבעיה בגישה דטרמיניסטית קיצונית. במקום לסמוך על "זיכרון" המודל, היא מבצעת חיפוש מדויק במסמכים עם מעקב ברמת השורה:
$$P(\text{תוצאה זהה}) = 1.0$$
כל שאילתה מחזירה בדיוק אותם קטעי טקסט, עם ציון מדויק של המיקום: [corpus] file.txt:557-659 (score: 0.856). זה כמו שאברהם היה מצביע בדיוק על הרגע והמקום שבו הכיר ביופייה של שרה.
הטכנולוגיה מפחיתה את צריכת האסימונים ב-99% (מ-46,000 לכ-460 אסימונים לשאילתה) ומבטיחה שקלט זהה יניב פלט זהה.
פתרון שני: החלטה אוטונומית חכמה
חברת Amazon בחרה בגישה שונה עם Amazon Nova Web Grounding: להעניק למודל יכולת להחליט באופן עצמאי מתי הוא צריך לחפש מידע חיצוני. כמו אברהם שהכיר ברגע הנכון שהגיע הזמן לדבר על יופייה של שרה, המודל מזהה בזמן אמת מתי השאלה דורשת מידע עדכני.
המודל מפעיל חיפוש רק כאשר הוא מזהה שהשאלה דורשת מידע שאינו קיים בידע הפנימי שלו. זה יוצר איזון חכם בין מהירות לדיוק.
ההבדל המהותי
SEAR: מעניק ודאות מוחלטת אך דורש הכנה מוקדמת של מסדי הנתונים
Nova Web Grounding: מספק גמישות ועדכניות אך תלוי באיכות החומר שנמצא באינטרנט ובחיפוש בזמן אמת
זה דומה להבדל בין שני הפירושים של רש"י:
- הצניעות דורשת "הכנה מוקדמת" של הקשר הנכון לגילוי האמת
- טורח הדרך מאפשר הכרה ספונטנית כשהמצב מחייב זאת
היישום המעשי
בסביבות ארגוניות שבהן דיוק הוא קריטי (מסמכים רגולטוריים, חוזים, נהלים), SEAR מציע ודאות מוחלטת. בסביבות שדורשות מידע עדכני ודינמי (שירות לקוחות, מחקר, חדשות), Nova Web Grounding מספק גמישות חיונית.
לקח לעתיד
רגע ה"הנה נא ידעתי" של אברהם מלמד אותנו שהכרה באמת דורשת שילוב של הכנה נכונה (הידע הקיים) ורגישות למצב (מתי לחשוף את הידע). מודלי השפה של העתיד יצטרכו לשלב את שתי הגישות: דטרמיניזם מוחלט כשהדיוק קריטי, וגמישות חכמה כשהעדכניות חשובה יותר.
האמת לא תמיד זמינה מיידית - לפעמים היא מחכה לרגע הנכון שבו נוכל להכיר בה.
המאמר נכתב על בסיס פיתוחים טכנולוגיים שפורסמו בשבוע האחרון בתחום קרקוע האמת במודלי שפה.