לאחר שדיברנו על נגזרות, גראדיאנטים וכלל השרשרת נעסוק מעט באלגברה לינארית. אין באמת צורך בלמידת אלגברה לינארית באופן מלא כדי ללמוד למידה עמוקה. יש כמה מושגים ופעולות אותם יש להכיר ואותם נראה כעת.
ראשית המושגים סקלר, וקטור, מטריצה וטנזור. סקלר הינו מספר, וקטור הינו אוסף מספרים מסודרים בשורה או בעמודה. מטריצה היא אוסף של מספרים המסודרים במלבן, וטנזור הינו אוסף מספרים המסודרים בקוביה תלת או רב מימדית. טנזור הינו למעשה המושג הכללי ביותר, ז”א שטנזור דו מימדי הוא בעצם מטריצה, טנזור חד מימדי הוא בעצם וקטור.
שימו לב לזוג המספרים הקטנים מימין לכל אלמנט. מספרים אלו מתארים את הגודל או המימדים של הטנזור. מימדים של מטריצה מתוארים כזוג מספרים הראשון כמה שורות יש בה והשני כמה עמודות יש בה.
למשל מטריצה 3×4 או 3×2 או 2×2
מימדים של טנזור בדומה…
פעולת ה transpose או בעברית שיחלוף, הינה פעולה שעושים אותה על מטריצה שהינה החלפת השורות בעמודות. את הפעולה מסמנים באמצעות t קטנה מימין למעלה למטריצה. למשל המטריצה הזו בגודל 2×3 תהפוך אחרי שיחלוף למטריצה בגודל 3×2. כאשר השורה הראשונה 6,2,-1 הפכה לעמודה הראשונה והשורה השניה 7,-5,0 הפכה לעמודה השניה.
מטריצה ריבועית (ז”א בעלת מספר זהה של שורות ועמודות) תישאר באותם המימדים לאחר שיחלוף, רק סדר המספרים ישתנה.
הדבר הנוסף החשוב שיש להכיר הינו כפל בין מטריצות. מטריצות ניתן להכפיל ולקבל מטריצה חדשה וזו פעולה בסיסית באלגברה לינארית. הפעולה מתבססת על סכום המכפלות של כל שורה ממטריצה ראשונה עם כל עמודה ממטריצה שניה. בשיעור הבא נתעמק בכפל בין מטריצות.
