XAI

בינה מלאכותית נתפסת כקופסא שחורה אבל יש מצבים בהם צריך להסביר את המודל כדי לאפשר אמון משתמשים. פוסט זה מסביר את Explainable AI בשפה נוחה לכל נפש וילד בן 5.

לך תסביר בינה מלאכותית

ביום שישי האחרון נתתי את ההרצאה הקשה בחיי. לך תסביר בינה מלאכותית ולמידת מכונה לקהל שאין לו תואר או אפילו בגרות 3 יחידות במתמטיקה, ומעולם לא שמע על מדעני מידע או מודלים סטטיסטיים. למזלי, כיתה ג’2 של בתי קיבלה אותי בזרועות פתוחות וספוגיות שאפשר למצוא היום רק אצל ילדים בני 8. אבל כאשר שבוע לאחר מכן בתגובה למייל ששלחתי, קולגות במשרד הציפו אותי בשאלות על מה זה Explainable AI  או בקיצור XAI, הבנתי שמשהו חסר. הסבר פשוט ושווה לכל נפש, גם אם הנפש הובילה את הבן אדם להיות מנהל מוצר, שיווק, מכירות ועוד אינסוף תארים שאין בהם Machine Learning Genius.

אז בואו נתחיל מהסוף. למה בכלל צריך להסביר את המודל של הבינה המלאכותית? למה לפתוח את הקופסא השחורה? והאם אנחנו בכלל רוצים לדעת איך מכינים נקניקיות?

השאלות שמתעוררות

מרבית המוצרים שעושים שימוש בבינה מלאכותית משתלבים עם עבודה אנושית. דוגמא קלאסית היא מערכת תומכת החלטה אשר ממליצה למשתמש לנקוט או להימנע מפעולה כלשהי. החל מאיזה סדרה לעשות בינג’ ועד האם ה-CT מצביע על חשד לבעיה רפואית חמורה. וכדי שנבטח במכונה ונפעל על פי המלצתה, היא צריכה לעורר בנו אמון. זה קצת דומה לאמון שאנחנו מחפשים אצל יועץ מומחה במתחומו. במקרה כזה היינו שואלים: מה המוניטין שלו בתחום? מה התהליך שעשה? איזה מידע בחן? עם מי דיבר? האם הפגין חשיבה ביקורתית? איך ההמלצות שלו עומדות במבחן הבקורת? ביחס להמלצות אחרות? האם היה לו ניגוד עניינים? איך התמודד בעבר עם קונפליקט? איך ההמלצה שלו פוגשת את הציפיות שלי?

בעולם של בינה מלאכותית השאלות האלו מתורגמות ל: האם אני מסכים עם הגדרת הבעיה? באיזו מידה פונקציית המטרה של המודל משקפת את הבעיה העסקית / מוצרית? האם אני מסכים עם ה-Ground Truth שבבסיס המודל? האם המידע שהמודל עושה בו שימוש מייצג נאמנה את קהל המטרה שלי? למה המודל המליץ כך בנסיבות האלו? מתי המודל מדייק ומתי לא? ואיך אני יכול לזהות זאת? ועוד.

בשנים האחרונות, לצד הריבוי במוצרים מבוססי בינה מלאכותית, אנו רואים גם עיסוק גובר של רגולטורים וגופים שונים במאמץ להגדיר ולהסדיר כללי התנהגות נאותה אשר יבנו אמון בקרב המשתמשים. את המוטיבציה להשקיע ב-XAI אפשר לסכם בצרכים הבאים:

1. דרישה רגולטורית. לרוב נפוצה יותר בשווקי הפיננסים והבריאות.

2. אמון המשתמשים. לרוב הדגש הוא על הוגנות ומניעת הטיות.

3. בניית המודל. בדיקת שפיות, איתור באגים, שיפור הדאטה ואיתור דריפט.

כלי הסברה

מדעני מידע בעולם התגייסו להתמודד עם האתגר ופיתחו מספר כלים להתמודד עם מה שנקרא FAT (Fairness, Accountability, and Transparency). הנפוצים שבהם מתחלקים לשני סוגים:

1. מודלים מקומיים כגון LIME. כלים אלו מייצרים מודל חדש עבור כל חיזוי ספציפי (מקומי) שעבורו נדרשת הסברתיות. המודל המסביר הוא לרוב מודל לינארי פשוט וקל להבנה (ראו תמונה לדוגמא ומאמר הסבר).

מודלי LIME הם לרוב אגנוסטים לסוג המודל שהם באים להסביר ומאפשרים לסמלץ תרחישים שונים. אולם הם מוגבלים לחיזוי מקומי ולכן פחות מתאימים להסבר גלובלי של המודל המוסבר, והם דורשים גוח חישובי משמעותי.

2. ניתוח התרומה של פיצ’רים כגון SHAP. כלים אלו עושים מעין Reverse engineering לרשתות הניורונים במטרה לזהות מה ההשפעה היחסית של כל פיצ’ר (נתון) על החיזוי (ראו תמונה ולינק):

כלי SHAP עושה שימוש במתודולוגיה של תורת המשחקים כדי לחשב את התרומה של כל פיצ’ר לחיזוי הממוצע. הכלי מתאים לעצי החלטה אבל רגיש לסדר הפיצ’רים ואינו מאפשר סימולציות.

אפשר גם לקחת את הקונספט הזה עד לדאטה (Data Shapley), כדי לראות איזה דאטה תורמת יותר לתוצאות המודל. גישה זו שימושית כאשר רוצים לתמחר את התרומה של מקורות דאטה שונים, לסנן דאטה בעל תרומה זניחה, או כדי לזהות היכן להשקיע כדי לאתר עוד דאטה בעל ערך רב למודל.

כלים נוספים כוללים DeepLIFT, WIT (What If Tool), ELI5 (Explain it like I’m 5) ו- Grad-CAM שמסביר יפה תמונה ב-CNN ע”י הפרדת השכבה האחרונה.

אפשר גם להסתכל על XAI לאורך תהליך המידול: בעת הכנת הדאטה ניתן להסביר את הדאטה (מטה-דאטה, ויזואליזציות של התפלגות הדאטה ונירמולו), בעת בניית המודל ניתן לבחור במודלים ‘קלים’ להסברה, ובעת הרצת המודל עומדים לרשותנו כלים כמו LIME ו-SHAP. עוד על XAI  לאורך חיי המודל בסדרת הבלוגים הזו.

סיכום – פרספקטיבה מוצרית

מעבר לשמות המגניבים שיש לכלים השונים, חשוב לזכור ש-XAI היא סוגיה מוצרית ובליבה שאלת האמון של המשתמשים. אתגר בניית האמון של רופא מומחה בפענוח דימות לא דומה לזה של צופה VOD המתלבט לקראת בינג’. מה שמחזיר אותנו לפרסונה של המשתמש, למודל המנטלי ולקונטקסט שבו הוא משתמש במוצר מבוסס הבינה המלאכותית.

אז מה אפשר לעשות?

1. משקפים למשתמש שמדובר במוצר/פיצ’ר מבוסס AI
2. משלבים Human in the loop בהתאם לדיוק של המודל
3. מאפשרים למשתמש גישה למידע שבבסיס המודל
4. מייצרים שקיפות לגבי אופן בניית המודל וחישוב ההמלצות
5. מתאמים ציפיות לגבי מגבלות וסיכוני המודל
6. מאפשרים למשתמשים לתת משוב כדי לשפר את המודל
7. מתאימים את כל אלו ככל שהאמון במודל משתנה

ואם כל זה נשמע לכם דומה לשאלות ששאלנו למעלה עבור מתן אמון ביועץ אנושי, זה לא במקרה. מערכות בינה מלאכותית באות לשחק במגרש האנושי, ואת החוקים שם כתבו כבר מזמן…

הפוסט פורסם לראשונה ב- https://orensteinberg.com/

הפוסט מייצג את דעתי האישית ולא את מעסיקיי בהווה או בעבר.