כפי שראינו בשיעור הקודם את הדיאגרמה שמראה איך מאמנים את אלגוריתם GAN.
אדבר על עולם התמונה אך כאמור זה יכול להיות סוג מידע אחר.
לא נעסוק בארכיטקטורות הפנימיות של הרשתות Generator, Discriminator (שאגב, במאמר המקורי הם בכלל Perceptron ולא CNN). אבל כידוע הרשתות הללו הינם אוסף גדול של מספרים אקראיים בהתחלה ולכן מיישמות פעולות מתמטיות חסרי משמעות. מה שיהפוך אותם למשיגות מטרה (יצירת תמונות אוטנטיות וזיהוי אם תמונה היא אוטנטית או לא) אלו פונקציות ה Loss שעל פיה נאמן אותם.
ניתן לראות באנימציה הזו איך תוצאת רשת ה Generator בהתחלה מחוללת תמונות אקראיות ולאורך תהליך האימון נראות יותר ויותר אמיתיות.
במאמר המקורי יש הוכחות מתמטיות יפות על איך אימון כזה עם פונקצית Loss (אותה מייד נראה) מהווה משחק מינימקס ויכולה להתכנס לנקודת איזון. לא נכנס כאן לתיאוריה של תורת המשחקים,
אבל נבין את האינטואיציה של האימון המשותף לסירוגין, ז”א איטרציות אימון של ה Generator ואז איטרציות אימון של ה Discriminator וחוזר חלילה.
נזכיר שרשת ה Generator (או בקיצור רשת G) מקבלת רעש אקראי המסומן z ומוציאה תמונה ורשת ה Discriminator (או בקיצור רשת D) מקבלת גם תמונות מזויפות וגם תמונות אמיתיות ממאגר תמונות נתון שמסומנות כ x. המוסכמה היא שרשת D אמורה להחזיר 0 לתמונות מזויפות ו 1 לתמונות אמיתיות.
ואז באיטרצית אימון של רשת G נשתמש בפונקציית ה Loss:
במידה ו G אכן טובה יותר מרשת D במשימתה (ז”א מצליחה לזייף תמונות ובכך לרמות את D) אזי ביטוי זה ישאף לאפס ואם להיפך G פחות טובה מ D ז”א מייצרת תמונות מזויפות ש D מזהה שאינן אותנטיות אזי ביטוי זה ישאף לאינסוף.
באיטרצית אימון של רשת D נשתמש בפונקציית ה Loss:
במידה ורשת D טובה מרשת G אזי ביטוי זה ישאף לאפס (ז”א D תגיד על X שאמיתי ועל G(Z) שמזויף).
במידה ורשת D פחות טובה מרשת G אזי ביטוי זה ישאף לאינסוף.
כדי להבין זאת פשוט זכרו שרשת D אמורה כשהיא מוצלחת להחזיר 0 על D(G(z))
ו 1 על D(x). המשתנה z די חסר חשיבות בהקשר זה, הוא פשוט קלט אקראי שאמור להיכנס לרשת G.
אלו, אם כן פונקציות ה Loss איתם אפשר לאמן אלגוריתם GAN. האימון לא תמיד מצליח בקלות כפי שנראה בהמשך. במידה והאימון כן הצליח נוכל לקחת רק את רשת G מהמנגנון הזה ולהשתמש בה ליצירת תוכן חדש (ללא רשת D שרק היוותה אמצעי לאימון).
