תמיר נווה

בשיעור זה נדבר על עוד נגזרת של GAN שנקראת Interactive Gan.

מאמר זה שיצא ב 2016 של אוניברסיטת Berkeley בשיתוף עם חברת Adobe (היוצרים בין השאר של תכנת פוטושופ, וזה חשוב לצורך הבנת את השימושים של זה) לוקח את GAN למקום אחר קצת שמאפשר לעשות יצירה אינטראקטיבית, ז”א משולבת יצירה אנושית בשילוב עם אלגוריתם.

בסרטון זה ניתן לראות איך בכלי שלהם גם אדם שלא ממש יודע איך לעצב או לצייר וסתם משרבט יוצר יצירות יפות ומוצלחות. האלגוריתם ממש יוצר תמונה חדשה שנראית טוב בהתאם לשרבוט האנושי.

בואו נבין את המתמטיקה מאחורי תהליך בו מאפשרים למשתמש לקחת איזשהיא תמונה אמיתית של אוביקט (למשל תיק בדוגמה בסרטון) ולעצב על בסיסה תיק חדש ללא כל מיומנויות של עיצוב תיקים.

לאחר שמאמנים רשת GAN באופן הרגיל לעולם תוכן של תיקים ומקבלים תמונה אמיתית Xr (real), ראשית מחפשים את וקטור z (אותו מבוא לרשת ה Generator) אשר גורם ליצירת תמונת G(z) הדומה ביותר שניתן לתמונה האמיתית Xr. אותו וקטור z המייצר תמונה דומה ככל שניתן לתמונה הנתונה יסומן ב z*. הסימון L מייצג איזשהיא מטריקה בין תמונות.

ואז מאפשרים למשתמש לבצע פעולות עריכה שונות (שמסומנות ע”י f_g) כפי שראינו בסרטון (צביעה, מתיחה, כיווץ, הזזת נקודות קיצון ועוד…). ברור שלאחר פעולות אלו התמונה (שמסומנת ע”י v_g) כבר לא תיראה כמו תמונה אמיתית של תיק, כי המשתמש הממוצע כנראה יהרוס את התמונה.

ולכן מה שעושים כעת זה שוב לחפש וקטור z אופטימלי שממזער את הביטוי הבא (שמורכב משלושה גורמים שונים):

הראשון: מרחק מינימלי בין התמונה שנערכה (וכנראה נהרסה) v_g לבין תמונה כלשהיא שיוצאת מה Generator ועברה את אותה סדרת פעולות עריכה f_g.

השני: גורם חלקות לפי משקל _sλ ז”א שאותו z אופטימלי יהיה כמה שיותר קרוב ל z הראשוני. (שלא יהיו שינויים דרסטיים)

השלישי: הגורם של ה GAN הסטנדרטי שמתמרץ תמונות עליהן רשת ה Discriminator אומרת שאמיתיות. גורם זה אופציונאלי, אומנם משפר ניראות אך מאט קצב.

את התוצאות כבר ראיתם, ולכל אלו שעדיין שואלים למה GAN טוב ולמה משמש ? אז כעת ראיתם שואריאנט זה: interactive GAN  הינו יישום מסחרי ולא רק למטרות מחקר ושעשוע.

חזור לוידאו

בשיעור זה נדבר על עוד נגזרת נחמדה של GAN שנקראת Info Gan.

מאמר זה שיצא ב 2017 שבשמו המלא נקרא: “Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets”

ז”א ייצוג שניתן לפירוש של רשתות GAN באמצעות מקסום אינפורמציה. שיטה זו מנסה לתת פרשנות שניתנת לשליטה על המשתנים הנסתרים (Latent variables) שיש ב GAN (ז”א אותו קלט של מספרים אקראיים שסומן כ z) במבוא של ה Generator.

ראשית ניזכר או נכיר מושג מפתח בו משתמשים, שלקוח מתורת האינפורמציה והינו אינפורמציה הדדית Mutual Information בין שני משתנים אקראיים. זהו מדד (המסומן ב I) המתאר עד כמה המשתנים תלויים זה בזה או במילים אחרות זהו מדד המציין עד כמה מידע ממשתנה אקראי אחד ניתן להשיג ממידע ממשתנה אקראי השני:

הרעיון הוא להוסיף לאותו קלט של משתנים נסתרים z עוד אוסף משתנים שיסומנו ב- c שלמבנה שלהם יש קשר לאופי ה DB. ולהוסיף עוד מרכיב למשוואת המינימקס הסטנדרטית של ה GAN:

שבנוסף ימקסם את האינפורמציה ההדדית.

אם V(D,G) הינו הביטוי המוכר לנו מ GAN אותו נרצה למזער כשמאמנים את ה Generator ולמקסם כשמאמנים את ה Discriminator אזי נחסיר ממנו מרכיב עם משקל λ שהינו האינפורמציה ההדדית בין משתנה c לבין המוצא של רשת ה Generator. ז”א נרצה לקבל רשת Generator לא רק כזו שתדע לזייף ולרמות את רשת Discriminator אלא גם תוציא פלט שקשור באופן ישיר למשתנה c. וזאת להבדיל ה GAN הסטנדרטי בו הקשר בין הקלט z לבין המוצא G(z) מקרי בהחלט.

כעת נראה מה יוצא מהאילוץ הנוסף הזה.

בתמונה מימין ניתן לראות מה קורה כשמשנים קלות את משתני הקלט ב GAN רגיל – רואים את אותה הספרה עם שינויים עדינים וחסרי משמעות. בתמונה משמאל ניתן לראות מה קורה כשמשנים את משתני הקלט c בגישת ה InfoGan  שהוא מוגדר כמשתנה קטגורי (ז”א בדיד) בין 0 ל 9 – מה שרואים זה שהספרה עצמה משתנה.

שימו לב שזה עדיין אימון Unsupervised ז”א לא מתייגים את ה DB (למשל אם זה MNIST לא משתמשים במידע של מהי כל ספרה) על אף שיצא שה InfoGan כאילו למד לבד לייצר תמונה של ספרה בהינתן משתנה בדיד c ביום 0 ל 9 המייצג ספרה. וזו תוצאה מדהימה!

כל מה שדאגנו זה המבנה של משתנה c (בדיד בין 0 ל 9) שיתאים למבנה הDB  שמקרה של  MNISTמכיל עשר סוגי תמונות.

דוגמא נוספת כשהגדירו את משתנה c כוקטור עם שני ערכים רציפים בין -2 ל 2, ניתן לראות ששינוי עדיין של c1 מביא לסיבוב הספרה ושינוי עדין של c2 מביא לעיבוי הספרה.

התוצאות המדהימות האלו חזרו באימון על מאגרי תמונות אחרים למשל של ריהוט שם שוב שתי ערכי c לקחו תפקידים של סיבוב ורוחב, וב DB של פנים תלת מימדיות (ז”א בזוויות צילום שונות) שם שוב על ערך של c לקח תפקיד של azimuth, elevation, lightning, wide-narrow שאלו מאפיינים של ה DB.

ודוגמא אחרונה במאגר תמונות פנים, ערכי c שוב קיבלו תפקידים של מאפייני ה DB כמו azimuth, משקפיים\ללא משקפיים, סגנון שיער והבעות פנים.

כאמור אף אחד לא הגדיר לאלגוריתם מה יש ב DB ומה הם מאפייניו, הדבר היחיד זה ההגדרה של משתנה c ככזה התואם את מאפייני ה DB וכמובן האילוץ למקסם את האינפורמציה ההדדית בין משתני c למוצא ה Generator. מה שמקבלים זה יכולת לחולל\לג’נרט תמונות עם שליטה על מה יהיה בתמונה. (בהתאם לקלט c)

חזור לוידאו

אחרי שהבנו את הרעיון המרכזי באלגוריתם GAN ואנחנו מאוד נלהבים לייצר Data מקורי כלשהוא,

נשיג Database גדול, נבנה רשתות Generator ו Discriminator , נאמן וניצור יש מאין יצירות…

אבל, נראה שהעסק לא כזה פשוט. לא כל אימון מתכנס ומצליח לייצר “זיופים” שעוברים את מבחן טיורינג.

קפיצת המדרגה שבאה אחרי GAN הינה DCGAN שיצא ב 2015 שגם הציע להשתמש ב CNN=Convolutional Nueral Network לרשתות ה Generator  וה Discriminator וגם סיפק כמה עקרונות ל-איך לגרום לכך להתכנס.

משמעות השם הינה: DCGAN=Deep Convolutional GAN.

ניתן לראות בתרשים הזה את רשת ה Generator המוצעת במאמר, היא מקבלת וקטור בן 100 מספרים אקראיים (כמו במאמר המקורי) ובאמצעות פעולות Deconv (שנקראות גם transpose conv או fractionaly strided conv) מגדילה את הטנזור יותר ויותר עד שמגיע לגודל של תמונה.

במאמר הם מסכמים את העקרונות שהסיקו שגורמים לאימון להצליח:

• להשתמש ב Conv (קונבולוציות) ל Discriminator וב Deconv ל Generator (נזכיר ש conv מקטינה את מימדי הטנזור אך הופכת אותו ליותר עמוק, ו deconv עושה להיפך ז”א מגדילה את מימדי הטנזור אך מקטינה את נפחו)
• להשתמש ב Batch Normalization (נזכיר שזו שכבה שעושה נירמול לאקטיבציה)
• להמנע משכבות Fully Connected
• להשתמש ב Leaky Relu ב Discriminator וב Relu ב Generator למעט השכבה האחרונה שלו ששם כדאי להשתמש ב Tanh

כל התובנות האלו הם די טכניות לגבי הארכיטקטורה, וגם אין להם בהכרח הסבר מוצלח מלבד תוצאות אמפיריות,

ז”א יותר מצליחים לאמן ככה את המודל, ראו למשל את תמונות חדרי השינה המג’ונרטות הללו.

אבל החידוש הכי מעניין שהביאו DCGAN הוא מה שנקרא אריתמטיקה של תמונות או באופן כללי של דגימות המידע.

כזכור רשת ה Generator מקבלת כקלט וקטור z שהינו 100 מספרים אקראיים ואותו הופכת לתמונה. הדבר היפה הוא שהרשת למדה לייצר את הפלט שלה באופן רציף, ז”א ששינוי קטן בוקטור z בכניסה יביא לשינוי קטן במוצא. (זה כמובן נובע מהארכיטקטורה של הרשת). תופעות מעניינות שקורות הם למשל בשורה רביעית מלמטה וקטור z כלשהוא הביא לתמונה של חדר ללא חלון, ושינוי עדין של ערכי z משנים את החדר במעברים חלקים עד שהופך בהדרגתיות לחדר עם חלון, או טלוויזיה שאט אט הופכת לחלון.

ויותר מזה: אם עושים אריתמטיקה עם הוקטורים z מקבלים תמונות מג’ונרטות עם פרשנות מאוד אינטואיטיבית לנו כבני אדם. למשל בג’ינרוט של תמונות פנים ניתן לראות: מחוללים תמונות של גבר עם משקפיים, גבר ללא משקפיים ושל אישה ללא משקפיים. לכל תמונה כזו ישנו איזשהוא וקטור z שחולל אותה. לוקחים את וקטור z של הגבר עם המשקפיים פחות הוקטור z של הגבר ללא המשקפיים, מפחיתים וקטור z של האישה ללא המשקפיים ומה z החדש מחוללים תמונה שיוצאת … ניחשתם נכון! אישה עם משקפיים.

תוצאה מדהימה לכל הדיעות! ז”א לא רק שהאלגוריתם יודע לחולל יש מאין תמונות שנראות אמיתיות אלא גם יש לנו כבר שליטה חלקית על מה תהיה התמונה!

חזור לוידאו

כפי שראינו בשיעור הקודם את הדיאגרמה שמראה איך מאמנים את אלגוריתם GAN.

אדבר על עולם התמונה אך כאמור זה יכול להיות סוג מידע אחר.

לא נעסוק בארכיטקטורות הפנימיות של הרשתות Generator, Discriminator (שאגב, במאמר המקורי הם בכלל Perceptron ולא CNN). אבל כידוע הרשתות הללו הינם אוסף גדול של מספרים אקראיים בהתחלה ולכן מיישמות פעולות מתמטיות חסרי משמעות. מה שיהפוך אותם למשיגות מטרה (יצירת תמונות אוטנטיות וזיהוי אם תמונה היא אוטנטית או לא) אלו פונקציות ה Loss שעל פיה נאמן אותם.

ניתן לראות באנימציה הזו איך תוצאת רשת ה Generator בהתחלה מחוללת תמונות אקראיות ולאורך תהליך האימון נראות יותר ויותר אמיתיות.

במאמר המקורי יש הוכחות מתמטיות יפות על איך אימון כזה עם פונקצית Loss (אותה מייד נראה) מהווה משחק מינימקס ויכולה להתכנס לנקודת איזון. לא נכנס כאן לתיאוריה של תורת המשחקים,

אבל נבין את האינטואיציה של האימון המשותף לסירוגין, ז”א איטרציות אימון של ה Generator ואז איטרציות אימון של ה Discriminator וחוזר חלילה.

נזכיר שרשת ה Generator (או בקיצור רשת G) מקבלת רעש אקראי המסומן z ומוציאה תמונה ורשת ה Discriminator (או בקיצור רשת D) מקבלת גם תמונות מזויפות וגם תמונות אמיתיות ממאגר תמונות נתון שמסומנות כ x. המוסכמה היא שרשת D אמורה להחזיר 0 לתמונות מזויפות ו 1 לתמונות אמיתיות.

ואז באיטרצית אימון של רשת G נשתמש בפונקציית ה Loss:

במידה ו G אכן טובה יותר מרשת D במשימתה (ז”א מצליחה לזייף תמונות ובכך לרמות את D) אזי ביטוי זה ישאף לאפס ואם להיפך G פחות טובה מ D ז”א מייצרת תמונות מזויפות ש D מזהה שאינן אותנטיות אזי ביטוי זה ישאף לאינסוף.

באיטרצית אימון של רשת D נשתמש בפונקציית ה Loss:

במידה ורשת D טובה מרשת G אזי ביטוי זה ישאף לאפס (ז”א D תגיד על X שאמיתי ועל G(Z) שמזויף).

במידה ורשת D פחות טובה מרשת G אזי ביטוי זה ישאף לאינסוף.

כדי להבין זאת פשוט זכרו שרשת D אמורה כשהיא מוצלחת להחזיר 0 על D(G(z))

ו 1 על D(x). המשתנה z די חסר חשיבות בהקשר זה, הוא פשוט קלט אקראי שאמור להיכנס לרשת G.

אלו, אם כן פונקציות ה Loss איתם אפשר לאמן אלגוריתם GAN. האימון לא תמיד מצליח בקלות כפי שנראה בהמשך. במידה והאימון כן הצליח נוכל לקחת רק את רשת G מהמנגנון הזה ולהשתמש בה ליצירת תוכן חדש (ללא רשת D שרק היוותה אמצעי לאימון).

 חזור לוידאו

בשיעור זה נבין את הרעיון שעומד מאחורי אלגוריתם GAN=Generative adversarial Network

אך לפני זה חשוב שנבין את רמת הפופולאריות של המאמר שהפך לתחום פורה בפני עצמו.

שימו לב לגרף הזה שמראה כמה מאמרים שמבוססים על GAN פורסמו מאז אותו מאמר ראשון ב 2014, שימו לב לאתר הזה (The Gan Zoo) שמרכז את כל הנגזרות שנולדו בגן החיות הזה.

כעת להבין את הרעיון המרכזי של האלגוריתם:

דמיינו צורף יהלומים שמומחה בזיהוי תכשיטים מזויפים ובנוכל שמנסה לייצר תכשיטים מזוייפים. האחד כל היום יושב בחנות ומקבל תכשיטים לבדיקה, חלקם אמיתיים וחלקם מזוייפים, ככל שעוברות השנים הוא משתפר באיבחונים שלו. השני יושב כל היום ומנסה למכור את הזיופים שלו ולפי תגובת חנויות התכשיטים משתפר במלאכת הזיוף. הזייפן משתפר בתחומו בזכות הבודק, והבודק משתפר בתחומו בזכות הזייפן.

רעיון זה ממומש באמצעות שתי רשתות נוירונים האחת נקראת Generator ותפקידה לחולל (לג’נרט) מידע באופן כזה שהרשת השניה תחשוב שהמידע אמיתי.

הרשת השניה נקראת Discriminator ותפקידה להחליט האם מידע כלשהוא הינו אמיתי או לא.

כשאני אומר מידע אמיתי אני מתכוון נראה כשייך לאיזשהוא עולם תוכן. למשל תמונות של זברות, למשל יצירות קלאסיות, למשל פרק במחזה של שייקספיר.

רשת ה Generator מקבלת כקלט רעש אקראי ותפקידה להוציא פלט מסוג מסויים. (למשל תמונה). רשת ה Discriminator מקבלת כקלט קלט מהסוג שמוציאה רשת ה Generator (שוב נניח תמונה) ומחזירה ערך בין אפס לאחד שמשמעותו מידת האותנטיות של הקלט. (כאשר 0 זה לא אותנטי בכלל ו-1 זה מאוד אותנטי)

כעת נתבונן בתרשים הזה כדי להבין איך מאמנים את שני הרשתות האלו. האימון של שתי הרשתות הללו מתבצע במקביל באמצעות איזשהוא Database, נניח של תמונות של זברות.

רשת ה Generator מקבלת בכניסה רעש אקראי ומוציאה תמונות שבתחילת האימון גם הן תהיינה רעש לבן ואם האימון יצליח יהיו תמונות מזויפות של זברות.

רשת ה Discriminator תקבל בכניסתה לסירוגין תמונות מזוייפות שמגיעות ממוצא ה Generator ותמונות אמיתיות שמגיעות מה Database האמיתי שלנו (ז”א תמונות אמיתיות של זברות).

אימון זה הינו Unsupervised ז”א איננו צריכים לתייג את התמונות של הזברות כיוון שבכל איטרציה של הזנת תמונה כלשהיא לרשת ה Discriminator , ה Ground Truth שלנו הוא בינארי ואנחנו יודעים אותו בקלות: אם הוכנסה תמונה מזויפת או אם הוכנסה תמונה אמיתית.

כעת בארכיטקטורה זו, כל מה שנותר זה להגדיר מהי פונקצית ה Loss שתגרום לכך שהרשתות יאלצו להשתפר במשימתן.

חזור לוידאו

מודלים דיסקרימנטיביים כמו קלאסיפיקציה או רגרסיה מוציאים פלט על בסיס קלט נתון. להבדיל, מודלים ג’נרטיביים מוציאים פלט שהינו דגימות לפי התפלגות כלשהיא שמאפיינת database כלשהוא.

database ז”א מאגר נתונים לאו דווקא מתויג (unsupervised data) יכול להיות למשל אוסף תמונות מבלי שיש רשימות שאומרות מה יש בכל תמונה כמו שנדרש בבעיית הקלאסיפיקציה שהינה בעיית supervised learning.

אם כן לדוגמה נאמן מודל ג’נרטיבי על אוסף תמונות לא מתויגות של זברות, ומטרתו המודל (הרשת) “להבין” באופן מפורש או לא מפורש את ההתפלגות של ה database או במילים אחרות איך אמורה להראות זברה. וליצור\לג’נרט\לחולל תמונות נוספות של זברות מבלי להעתיק מהמאגר הנתון, ז”א ליצור תמונות חדשות יש מאין.

מודלים ג’נרטיביים מחלקים לכאלו שגם יודעים להוציא באופן מפורש את פונקצית הפילוג של ה dataset הנתון ולכאלו שלא יודעים להוציא באופן מפורש אך עדיין יודעים לחולל דגימות שתואמות לאותה התפלגות.

שתיים מהגישות שצברו פופולאריות בעיקר כי הן מבוססות Convolutional Nueral Network הינן GAN=Generative Adversarial Network ו .VAE=Variational Auto Encoders

בשעורים אלו זה נדבר על GAN שהחל במאמר ב 2014 ונהיה תחום מחקר ופיתוח פורה עם מגוון תוצאות מדהימות שחלקן עוברים את מבחן טיורינג יותר וחלקן פחות. (לעבור את מבחן טיורינג ז”א שבן אנוש לא ידע להבדיל אם מדובר בתוצאה אנושית או מלאכותית)

למשל נראה את הסרטון הזה שמדגים איך אלגוריתם למד לצייר בתים.

בהתחלה ניתן לראות שהרשת מציירת כל מיני ציורים אקראיים וחסרי משמעות, אך לאט לאט ככל שהאימון מתקדם משתפרת ומציירת ציורים שקצת יותר נראים כציורים, ועד שכבר מתחילים לזהות שמדובר בציורים של בתים, שגם הם משתפרים ונהיים כבר ציורים מוצלחים של בתים.

מדהים לא ?

חזור לוידאו