ייצור דאטה טבלאי ע”י שימוש ב- Conditional Tabular GAN
הדאטה הנפוץ ביותר בתעשייה הינו דאטה טבלאי, נתונים טבלאיים הינם מובנים וקל יותר להתמודד איתם כאשר מאמנים מודלים, עם זאת כשזה מגיע לייצור נתונים סינתטתיים מסוג זה, כדי לשפר ביצועים של מודלים, הדבר מתחיל להסתבך.אמנם CTGAN אינו מושלם ולא מצליח ללכוד מידע משותף בין המשתנים, אך הוא הבסיס של ארכיטקטורות ...
בחירה נכונה של מודל שפה
בכתבה זו סיכמתי את המאמר: “ Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing” שפורסם ב 16.09.21 ב arxiv. זהו מאמר מומלץ למתעניינים במודלי שפה עבור דומיינים שונים, בעיקר למתמקדים בדומיין הרפואי. המאמר כתוב בצורה ברורה ודורש היכרות בסיסית עם מודלי שפה ו-BERT. למי שרוצה להכיר יותר את המושגים ...
מה זה Attention Mechanism ואיך זה עובד?
קונספט הAttention צובר תאוצה גדולה בעולם הML בשנים האחרונות ושילובו נהיה פופולרי בתחומים רבים ושונים. על מנת להבין טוב יותר מהו Attention, בכתבה זאת נענה על השאלות הבאות: מהו Attention בעולם הביולוגי, ואיך הוא מיושם בעולם ה AI? כיצד מוגדר מנגנון Attention כללי ומהם מרכיביו? דוגמא פרקטית לAttention במכונת תרגום ...
הכרות פרקטית ל Machine Learning מומחשת עם בעיה מהעולם הפיננסי
בכתבה זו אראה איך אפשר עם כלים פשוטים בעולם ה Machine Learning (למידת מכונה) ניתן לנבא סיכון למתן הלוואה. הכתבה מיועדת לאנשים ללא רקע כלל ולבסוף יש גם דוגמת קוד שמיועדת למי שגם לא חושש מקצת תיכנות. ראשית אסביר מה הכוונה לפתור בעיה זו שלא באמצעות Machine Learning, כדי להבין ...
מערכת לזיהוי דובר מבוססת למידה עמוקה
בכתבה זו, נצלול אל בעיית זיהוי הדובר שנעשית פופולרית יותר ויותר בשנים האחרונות. נבין את המוטיבציה להתמודדות עם הבעיה, נגדיר את הבעיה היטב, ונסקור את הכלים השונים, האלגוריתמים והמרכיבים במערכת זיהוי דובר קצה אל קצה מבוססת למידת עמוקה. מוטיבציה ביומטריה קולית היא טכנולוגיה שמתבססת על זיהוי דפוסי קול כדיי לאמת ...
מהו Variational AutoEncoders?
כדי להבין היטב את אופן הפעולה של Variational Autoencoders (VAE), נדבר מעט על הורדת מימדים, לאחר מכן נסביר מהו Autoencoders, כיצד הוא עובד ומה החסרונות שלו, ומשם נעבור ל-VAE. Dimensionality Reduction במקרים רבים, הדאטה אותו רוצים לנתח הוא בעל מימד גבוה, כלומר, לכל דגימה יש מספר רב של פיצ’רים, כאשר ...
אתגר רפאל–פתרון בלמידת חיזוקים End-to-End
הקדמה על האתגר: האתגר פורסם על ידי חברת רפאל ועסק כמשחק שמטרתו יצירת מיירט טילים באמצעות כלים של בינה מלאכותית ולמידת מכונה. המטרה במשחק היא להגן על שתי ערים מרקטות המשוגרות אליהן בעזרת משגר יירוט (ראה Figure 1). המשחק נמשך כ 1000 צעדים. בכל צעד המשגר יורה רקטה לעבר הערים ...
אלגוריתם Reinforce – Vanilla Policy Gradients
כשמתפרסם מאמר ב Science בתחום שלי (Machine Leaning) זה משהו מיוחד כי זה לא קורה כל יום. אתם מוזמנים לקרוא על איך OpenAI מביאים מודל לשחק את המשחק הרב משתתפים “תפוס את הדגל” ברמת מיומנות אנושית ואולי יותר מעניין מזה איך מאמנים מודל לגרום לסוכנים שמשחקים מחבואים לשתף בינהם פעולה ...
מבוא למערכת המלצות ומדדי דיוק מקובלים בתחום
איך מערכת המלצות עובדת ? מערכת המלצות שואפת להכיר את הייחודיות של כל משתמש ע”י טעמו האישי והנושאים השונים אשר הוא מגלה בהם עניין, את איסוף הנתונים על המשתמש המערכת מאגדת עם נתוני משתמשים שדומים לו הנמצאים בתוך בסיס הנתונים וכך תציע פריטים שהמשתמש עשוי להתעניין. מאיפה הנתונים על המשתמש ...
סיכום של סוגי אופטימיזציות בלמידה עמוקה
מהי אופטימיזציה ולמה היא משמשת? אופטימיזציה זוהי פעולה המאפשרת להשיג את התוצאה הקרובה ביותר למטרה שהצבנו בהינתן הכלים שברשותנו ותחת אילוצים מוגדרים (כמו למשל בכמה שפחות זמן וכסף). סוג האלגוריתם השכיח ביותר באופטימיזציה ובמיוחד בתחום ML, הוא Gradient Descent (להלן: “GD”) . זהו אלגוריתם איטרטיבי המאפשר מינימיזציה של פונקציית ה-loss ...
שאלת מתנה-ספרי לי על פרויקט שעשית
כשלמדתי לוגיקה בתואר ראשון, בכל המבחנים בכל מבחן הייתה שאלת הוכחה של משפט קנטור ברנשטיין או האלכסון של קנטור. בשנתון שלי הייתה ממש סצנה מהשאלה הזו, המרצה טעה בהוכחה בהרצאה, וההוכחה בסיכומים שכולם למדו מהם הייתה שגוייה. התלמידים שלמדו את ההוכחה כמו תוכי מהסיכום טעו, והמרצה לא הסכים לקבל את ...
מה זה XAI – הסבר פשוט לאנשים שאין להם תואר שני ב-Data Science
בינה מלאכותית נתפסת כקופסא שחורה אבל יש מצבים בהם צריך להסביר את המודל כדי לאפשר אמון משתמשים. פוסט זה מסביר את Explainable AI בשפה נוחה לכל נפש וילד בן 5. לך תסביר בינה מלאכותית ביום שישי האחרון נתתי את ההרצאה הקשה בחיי. לך תסביר בינה מלאכותית ולמידת מכונה לקהל שאין ...
בינה מלאכותית בימי קורונה
איך חוקרי בינה מלאכותית נחלצים להציל את העולם מי שעבד בתעשייה הביטחונית יודע שבימי מלחמה או מבצע גדול עוברים לנוהל “מאמץ מלחמתי”. פרויקטים בשלבי פיתוח או הוכחת היתכנות עוברים נוהל מזורז של מעבר לייצור וניסוי או שימוש בשטח, הצבא משחרר תקציבים ומצמצם בירוקרטיה, האדרנלין שוטף את העורקים וכולם מתגייסים ללילות ...
פרויקטי צד כדרך למציאת עבודה ראשונה בלמידה עמוקה – אוסף ראיונות עם מראיינים ומרואיינים
רבים שואפים למצוא משרה בתחום הדיפ לרנינג. סברה נפוצה בקרב מחפשי העבודה היא שללא תואר שני בהתמחות רלוונטית עליהם לעשות פרוייקט “מפוצץ” בתחום שירשים את המעסיקים. מעטים מצליחים והרוב חש תסכול רב. רציתי לשפוך אור ולבדוק – מה הם אותם פרויקטים שמעסיקים מצפים לראות בראיונות, עד כמה הם חיוניים לצורך ...
איך מתקינים מה שצריך עבור Deep Learning עם Anaconda ?
הדרך הכי נוחה ונטולת התקנות לפתח Machine Learning & Deep Learning זה השירות Colab שהינו שירות חינמי של גוגל שמספק מחשב עם GPU לכל דורש והוא מאוד מומלץ למשחקים וללימודים. כשרוצים לפתח משהו קצת יותר גדול ומורכב המגבלות של Colab באות לידי ביטוי: זמן מוגבל של סשן, חוסר יכולת לשים ...
צעד קטן לאדם צעד גדול להתכנסות
“המסע הארוך ביותר נפתח בצעד הלא נכון”. (צ’ארלס כריסטופר מארק) ברשתות נוירונים משתמשים בשיטות אופטימיזציה בשביל למזער את פונקציית ה loss. בכתבה זו נסקור שיטות אופטימיזציה שונות מ-SGD עד Adam ומעבר לו ונסביר כיצד עובדת כל אחת מהשיטות, מה החסרונות של כל שיטה ונדבר מעט על החידושים האחרונים בתחום. מהי ...
5 שאלות על פונקציות אקטיבציה שעלולות להופיע בראיון העבודה הבא שלך
כאשר בונים רשת נוירונים אחת ההחלטות החשובות שצריך לקבל היא באילו פונקציות אקטיבציה להשתמש בשכבות הפנימיות ובשכבת הפלט. בכתבה זו נסקור את האופציות השונות. מדוע משתמשים בפונקציות אקטיבציה לא לינאריות? מסתבר שבכדי שהרשת תוכל ללמוד פונקציות מענינות, אנו נצטרך להשתמש בפונקציות אקטיבציה לא לינאריות. זאת מפני שהרכבה של שתי פונקציות ...
A/B Testing
מאמר זה משלב: סיכום של קורס A/B Testing של Google ב- Udacity, קוד פייתון ממקורות באינטרנט דוגמאות והסברים מניסיון אישי בדיקת A / B היא מתודולוגיה כללית המשמשת באופן מקוון לבדוק מוצר או תכונה חדשים. אנו הולכים לקחת שתי קבוצות של משתמשים ולהציג לקבוצה אחת תמונה/תהליך/פיצ’ר קיים ולקבוצה שניה ...
כוחה של אתיקה בהנדסה
האופן שבו הטכנולוגיה מעצבת את חיי היום-יום שלנו מאתגר את האופן הפילוסופיה הבסיסית של הקיום האנושי, בתקופה שבה תוכנות מתקדמות הפילוסופיה הבסיסית של הקיום האנושי ,בתקופה שבה תוכנות מתקדמות מחליפות את כישורי האינטראקציה האנושית. ויכוחים רבים מתקיימים ביותר מחליפות את כישורי האינטראקציה האנושית .ויכוחים רבים מתקיימים ביותר האתית בטכנולוגיות אלה ...
AI בעולם החינוך – סקירה וקישורים מעניינים
עולם ה AI חולש על כל תחומי חיינו במהירות רבה ממה שאנו מצפים. בכתבה זו נסקור כיצד וכלי AI משפיעים והולכים להשפיע על מערכות החינוך כבר היום ובעתיד הלא רחוק. אף על פי שעוד לא הפך לסטנדרט בבתי ספר, בינה מלאכותית בחינוך נלמדה מאז הקמת ה- AI בשנות השמונים. במובנים ...
על דיאגרמת וורונוי, ואיך היית נראה בתור קורי עכביש?
קשה לפספס את הטרנד של רשתות גנרטיביות שחוזות איך היית נראה בתור משהו. בפוסט הבא אני הולכת להראות דרך מגניבה להפוך תמונה לציור דמוי קורי עכביש בשיטה קלאסית המשתמשת בדיאגרמת וורונוי. ...
סדר בניהול הריצות Machine Learning
עולם פיתוח האלגוריתמים תמיד כלל מרכיב גדול של ניסוי וטעייה. לפעמים ניסויים מושכלים הנובעים מאינטואיציה ומחשבה ולפעמים ניסיונות שהינם בגדר ניחושים מוחלטים למה גישה כזו או אחרת עשוייה לעבוד. בשנים האחרונות עם עליית ענף הרשתות נוירונים (בפרט למידה עמוקה) כענף מוביל ברוב הבעיות האלגוריתמיות מרכיב הניסוי וטעייה ה-“לא מושכל” אפילו ...
איך מחוללים טקסט ומי מפחד מפייק ניוז ?
בתחילת השנה OpenAI הכריזה על GPT-2, מודל שפה שפיתחה שמסוגל לג׳נרט (לחולל) טקסט שנראה כאילו נכתב ע״י אנשים. בעוד שבדרך כלל הכרזות כאלה מלוות בשחרור של מודל מאומן, OpenAI בחרו שלא לפרסם את המודל שלהם בטענה שהמודל ״מסוכן מדי״ ועלול לשמש לייצור של פייק ניוז. המהלך גרר ביקורת בטענה שהמטרה ...
Case study – ניתוח נתוני Kickstarter בעזרת Power BI
פלטפורמת Kickstarter הינה פלטפורמה למימון פרויקטים ומוצרים באמצעות מימון המונים. היזם אוסף כסף מלקוחות פוטנציאלים של המוצר או היוזמה שהוא רוצה להקים, ובעזרת הכסף הזה הוא יכול לממן את עלויות הפיתוח שלו. כדי שפרויקט יצליח להיות ממומן בפלטפורמה, היזם מגדיר יעד ואם סכום הכסף שנאסף מגיע או עובר את היעד ...
התקפות על למידת מכונה (Adversarial Attacks)
אנחנו חיים במציאות שבה אלגוריתמי Machine Learning כבר חלק בלתי נפרד מחיי היום יום שלנו. עם זאת, רוב הפיתוח שלהם נעשה בהנחה שאין סוכן זדוני שמטרתו להכשיל אותם, דבר שניתן לעשות בקלות. נכון להיום יותר קל לבנות מערכות תוקפות מאשר מערכות המגינות מפני תקיפה זדונית. יתרה מזאת, לא הוכח שניתן ...
אסטרטגיה אבולוציונית
למה זה טוב? קישורים חלק מהכתבה מבוססת על המאמר הזה כמו כן ניתן למצוא מימוש שלי הכולל הרחבה לאלגוריתם זה בפרויקט שלי בגיטהאב. ...
ערוכים לזה: עריכת וידאו בעזרת AI
“מחקר בן שנתיים קובע שלמידה אורכת זמן כפול כשהטלוויזיה דלוקה. המחקר היה אמור לארוך רק שנה, אבל הטלוויזיה הייתה דלוקה.”- ג’יי לנו נחמד לצפות בסרטונים משעשעים בוואטסאפ, אבל לא תמיד יש זמן לצפות בסרטון של 7 דקות על אחיינית שאוכלת גלידה. היינו רוצים איזו תוכנה שתאמ;לק לנו סרטונים, ותציג לנו ...
סקירה על הנעשה בהבנת שפה טבעית
הגדרה “הבנת שפה טבעית” היא תת תחום של “עיבוד שפה טבעית”, הנכלל במסגרת תחום הבינה המלאכותית. התחום נחשב לאחד האתגרים הקשים של הבינה המלאכותית. המשימה העיקרית של “הבנת שפה טבעית” היא לייצר מערכות המסוגלות ל”קרוא” ול”הבין” טקסט של שפה מדוברת באיכות שאנשים מסוגלים. התחום כולל משימות מגוונות, למשל “מענה על ...
רשתות סיאמיות – להצליח איפה שדיפ לרנינג נכשל – חלק א
כולנו אוהבים דיפ לרנינג, היא מספקת לנו יכולות סיווג חזקות מאי פעם, ומסוגלת – לפחות בתאוריה – לשחרר אותנו מחילוץ פיצ’רים, תהליך מייגע, הדורש ידע ספציפי לתחום. באמת, נשמע כמו חלום. ובכל זאת, אנחנו רואים בתעשיה חברות רבות שמנסות ליישם דיפ לרנינג, בזמן שהאלגוריתמים המרכזיים שלהן מיישמים שיטות “קלאסיות” יותר, ...
TensorFlow 2 –מה נשתנה ?
לאחרונה הכריזה גוגל על שחרור גרסת אלפא לספרייה האהובה והפופולרית לבינה מלאכותית – הלא היא TensorFlow. (פייר התרגשנו!), ספרייה זו אומצה בקרב רבים בעולם כולל מפתחים, חוקרים ,מהנדסים בכל תחום אפשרי החל מהנדסה ותכנות ועד לתחום החקלאות. אז מה חדש בגרסה הנוכחית? האם היא באמת משמעותית או סתם באזז ? ...
למידה עמוקה על גרפים
מהם גרפים והיכן הם מופיעים כיצד הייתם מתארים את העולם שמסביבכם באופן שמאפשר לראות את הן את האובייקטים הנמצאים בו והן את היחסים ביניהם? איך הייתם שומרים על כל המידע הזה בצורה שמאפשרת ניתוח מהיר ומועיל? בדיוק לצורך זה הומצאו גרפים. מבחינה אינטואיטיבית, גרפים הינם אוסף של אובייקטים שקשורים אחד ...
מודל DeViSE – משלב הבנת שפה עם הבנת תמונה
כשהתחלתי להיכנס לעולם הלמידה העמוקה, טיפסתי באותם השלבים שאני מאמין שרובנו טיפסנו בהם (ואם לא, אני ממליץ בחום על הספר האלקטרוני החינמי של Michael Nielsen בתור התחלה): רשת עם שכבת FC נסתרת אחת, רשת עמוקה, היפר פרמטרים, שכבות קונבולוציה, AlexNet, VGG, Inception וכו’. גם אני נשבתי בקסם רשתות הנוירונים – ...
ניתוח תלת מימד של CT לצורך ניבוי סרטן ריאות
בכתבה זו אספר על בעיית עיבוד סריקות CT (שהינן תמונות תלת מימדיות) ובפרט אספר על תחרות ה-Kaggle לזיהוי סרטן ריאות: Data Sciense Bowl 2017 ועל הפתרונות המנצחים בתחרות זו מתוך ה-1972 צוותים שהשתתפו בתחרות. האלגוריתם שזכה מקום ראשון (של צוות grt123 בתוצאה של loss=0.39975) נמצא כאן וכמובן הוציאו על זה ...
למידת מכונה? לא לגאונים בלבד
תמיד חלמת ללמוד Machine Learning או Deep Learning אבל נבהלת מכל הנוסחאות? , חיפשת דוגמאות קוד והתבלבלת מכל המושגים הטכניים? חושב שהנושא של למידת מכונה מיועד רק למתמטיקאים או מדענים? זה בדיוק המאמר בשבילך! תחום ה Deep Learning צבר תאוצה בשנים האחרונות, וכולם רוצים לקחת חלק בטכנולוגיה הזו. היום כאשר ...
טנזורים או נקודות במרחב ? סקירת מאמרים על ענני נקודות בלמידה עמוקה
הפוסט פורסם לראשונה בבלוג המחקר של איציק בן שבת ומובא כאן בתרגום לעברית. הקדמה שיטות למידה עמוקה ורשתות נוירונים הפועלות על תמונות דו מימדיות נחקרו רבות בשנים האחרונות. ההצלחה המסחררת שלהן במשימת ה”סיווג” נובעת מכמה גורמים עיקריים : רשתות קונבולוציה נתונים – מאגרי תמונות עצומים הפכו לזמינים ופתוחים לכולם. כוח ...
AdaNet – איך לומדים איך ללמוד
מאז ומתמיד (או לפחות מאז שהתחילו להתעסק בלמידה עמוקה) אחת מהבעיות הגדולות ביותר שעמדו בפני כל אחד שמתעסק במדעי הנתונים הייתה כיול מודלים. במילים אחרות, אלו היפר-פרמטרים (פרמטרים המגדירים את המודל שאותו אנו מנסים ללמוד, כגון גודל שכבות, פונקציות הפעלה, מקדמי רגולריזציה, וכו’) מאפיינים את המודל הטוב ביותר לבעיה. אופטימיזציה ...
למידה לא מונחית לשערוך עומק לתמונה – Unsupervised Learning for Depth Estimation
תחומים במערכות לומדות נהוג לחלק את עולם ה-machine learning לשלושה תחומים – למידה מונחית (supervised learning), למידה לא-מונחית (unsupervised learning) ולמידה בעזרת חיזוקים (reinforcement learning). ההבדל הבסיסי בין התחומים הוא סוג המידע בו משתמשים. בלמידה מונחית יש לנו גישה למידע מתוייג, למשל במטלה של זיהוי וסיווג אובייקטים בדרך כלל אנו ...
כשהאלגוריתם גזען או שוביניסט: על תחום ההוגנות בבינה מלאכותית
תהליכי קבלת החלטות רבים מסתמכים היום על אלגוריתמים מבוססי בינה מלאכותית, למשל סיווג של מועמדים למשרות, הערכת הסיכוי של עבריין מורשע לחזור לפשוע, אישור או דחייה של בקשת הלוואה, וכו’. ככל שתחום הסמכויות של האלגוריתמים גדל, עולה הצורך לוודא שהאלגוריתמים הוגנים ושהם לא מפלים לרעה קבוצות באוכלוסיה על סמך מאפיינים ...
Transfer Learning – הכללת ידע
מוטיבציה למידה עמוקה (Deep Learning) שינתה את העולם בעזרת מפגש של טכנולוגיה ותיקה (Neural Networks) שהחלה בשנות החמישים והבשלה של תנאים: כח מחשוב, כמויות גדולות של Data זמין וסטנדרטיזציה של שיטות עבודה – Benchmarks סטנדרטים, קוד פתוח. אך כמויות גדולות של Data רלוונטי לא בהכרח זמינות עבור כל בעיה. למרבית המזל ...
טעויות נפוצות בהסקת מסקנות מנתונים
למי שמסתכל מהצד, ניתוח נתונים על ידי דאטה אנליסט נראה כעסק פשוט. מריצים שאילתה על הדטה-בייס, מבקשים לדעת מה היקף וממוצע המכירות ומסיקים האם עמדנו ביעדים (KPI’s) ואיך עלינו להתקדם מכאן הלאה. בפועל זה לא תמיד עובד ככה. התייחסות נאיבית לנתונים עלולה לגרום לארגון להגיע למסקנות לא נכונות ולקבל החלטות ...
ניתוח מתמטי לאלגוריתם PCA
הקדמה “בתוך ערימות הנתונים האלה מוסתר ידע שיכול לשנות את חייו של מטופל, או שיכול לשנות את העולם”. (Atul Butte, Stanford School of Medicine) כתבה זו מתארת את העבודה שעשיתי עם נח גורני כעבודה אקדמאית. בעולם של המאה העשרים ואחת, אנו מוקפים מידע רב, שרובו ככולו מעיד על התהליכים הרבים ...
מיני-פרויקט בלמידה חיזוקית (Reinforcement Learning)
אז אחרי שבניתי את הרובוט הזה (ראו את התמונה בעמוד הראשי של כל הכתבות) אני רוצה להכניס לו קצת בינה ודעת… מטרתי הייתה ללמוד ולהתנסות ב Reinforcement Learning כי זה תחום מאוד מסקרן, בטח אחרי כל משחקי האטארי המפוצחים ע”י אלגוריתם (חודשים של התמכרות כשהייתי בן שבע 🙂 מעניין איך ...
איך דאטה אנליסט יכול לעזור לחברה שלך לצמוח
ארגונים רבים שמעו את ‘הבאז וורד’ דאטה אנליסט ותוהים כיצד תפקיד זה יכול לעזור להם להגדיל את הרווחים שלהם. על מנת לתת טעימה מהתפקידים שהאנליסט מבצע הכנתי מאמר קצר שמסביר את המשימות שעומדות בפניו כשהוא נכנס לארגון. המאמר מתאים גם לסטאראפים קטנים וגם לחברות גדולות, והוא כתוב בצורה קלה להבנה ...
ניקוי רקע מתמונות (מודל ה- Tiramisu) – חלק ב’
כתבה זו הינה כתבת המשך (מומלץ קודם לקרוא את חלק א’) שמסקרת את הפרויקט שלי ושל אלון בורג על הסרת רקע מתמונה. בחלק זה נעסוק בעיקר במודל, בסוגיות שעלו ובתוצאות שקיבלנו. מודל ה Tiramisu והאימון השם המלא של המודל נקרא: 100 layers Tiramisu , והוא מכיל 9 מיליון פרמטרים (לשם ...
ניקוי רקע מתמונות (מודל ה- Tiramisu) – חלק א’
כתבה זו הינה תירגום ותימצות של הכתבה המלאה שמסקרת את הפרויקט שלי ושל אלון בורג על הסרת רקע מתמונה. הכתבה מסקרת את כל הפרטים הקטנים במימוש האפליקציה הוובית הזו. במהלך השנים שאני עוסק ב Machine Learning השאיפה העיקרית שלי היא לייצר מוצרי דאטה. משימה זו תמיד נראתה קשה ומאתגרת, וכזו ...
רשתות קונבולוציה על יריעות
בשנים האחרונות רשתות קונבולוציה זוכות להצלחות רבות בתחום של עיבוד תמונה ושמע. ההצלחה הרבה של למידה עמוקה קשורה לכך, ולכן טבעי שננסה להרחיב זאת לתחומים נוספים המשתמשים בלמידה עמוקה. פעולת הקונבולוציה שהינה אבן היסוד של רשתות CNN אפשרית כי מרחב הנתונים בעולמות התמונה והשמע הינו אוקלידי (ז”א מתקיימת בו גיאומטריה ...
המירוץ אחר הבינה המלאכותית: סין או ארה”ב ?
מהפכת בינה מלאכותית מאפשרת כלים ויכולות שלא היו קיימות בעבר. יש כבר מוצרים ויכולות שהתאפשרו והשתפרו כתוצאה מהתקדמויות באלגוריתמי הבינה מלאכותית. זה כולל את echo של אמזון (בינה מלאכותית שמדברת איתך) וניהול סיכונים בחברות כרטיס האשראי וחברות ביטוח. הרבה מדברים על מה בינה מלאכותית עשתה ואיך היא השפיעה בשנים האחרונות ...
רשת ה U-Net: סגמנטציה של תמונות מיקרוסקופיות
סגמנטציה בעולם העיבוד תמונה היא חלוקת התמונה לאזורים. למעשה זו קלאסיפיקציה בה אנחנו מעוניינים לשייך כל פיקסל בתמונה המקורית לאחת ממספר מחלקות (classes) שהגדרנו מראש. התוצאה שמתקבלת הינה תמונה שבה כל פיקסל צבוע בצבע של המחלקה שאליה הוא שוייך. שני בסיסי הנתונים (datasets) הנפוצים עבור משימה זו הם VOC2012 ו ...
AI בענן, האומנם ?
רובכם כבר בטח יודעים למה הרבה חברות אימצו פתרונות מבוססות AI. הסיבה הפשוטה, זה פשוט עובד! הזמן להשתמש ב AI יכול להיות רק עכשיו אם עדיין זה לא קרה. כל מי שיתמהמה בבחירת AI כפתרון לבעיות שלו ישאר מאחור וכל פתרון אחר יהיה פחות אפקטיבי ומדויק. יש היום דרכים יעילות ...
כיצד לייצג מילים כמספרים בעלי משמעות? על הבסיס לאלגוריתמי NLP
בכתבה זו נעסוק בייצוג וקטורי של מילים עבור אלגוריתמים לניתוח שפה טבעית (NLP). מספרים במקום מילים בשביל מה צריך וקטורים? הייצוג הוא רק אמצעי כאשר המטרה היא משימת קצה כלשהי בעיבוד שפות טבעיות. כיום רוב האלגוריתמים מבוססי למידה עמוקה והם מסתמכים על קלט וקטורי. מילה נחשבת ליחידה הבסיסית של משמעות ...
לחולל DATA חדש כדי לשפר סיווג (הרחבת Data בעזרת GAN)
מה עושים כשאין מספיק Data ? כשרוצים לאמן רשת Deep Learning ואין מספיק Data ישנם מספר שיטות מה לעשות, העיקריות הינן: – Data Augmentation (למשל בתמונות: סיבובים, הזזות, הרעשות, מחיקות, שינויי הארה) – הקטנת המודל – יצירת DB סינטטי – עזרה לאימון ע”י Data Preprocessing (למשל בתמונות Cropping מתוך הבנה ...
בעיית הידיות הגונבות Multi-Armed Bandit
אחת מנגזרות מהפכת הלמידה העמוקה היותר מעניינות התרחשה (ועדיין מתרחשת) בתחום הReinforcement Learning. הניצחון של אלגוריתם של DeepMind על אלוף העולם הסיני ב GO ב 2016, והאלגוריתמים שלהם שלומדים לשחק משחקי אטארי ישנים מתוך התמונה שרואים על המסך (ללא הכנסת מודל כלשהוא אלא רק ע”י ניסוי וטעייה במשחק). בעולם ה ...
Random Erasing Data Augmentation – הרחבת מידע בעזרת מחיקה אקראית
הרחבת מאגר הנתונים – Data Augmentation אחת השיטות האפקטיביות בלמידה עמוקה להגדיל את כמות הדוגמאות איתן מאמנים רשת, נקראת Data Augmentation. הגדלת ה DB תורמת לאימון מודל מוצלח יותר וכללי יותר ובפרט להימנע מתופעת ה-overfit (כשהמודל לומד טוב מידי את הדוגמאות שמביאים לו באימון אך לא לומד על המקרה הכללי). מאגרי ...
מהי קלאסיפיקציה ? דוגמא מהעולם העסקי: סגמנטציה של לקוחות
כל לקוח הוא עולם ומלואו ולכל לקוח מאפיינים משלו. אף על פי כן, כשמסתכלים על הנתונים ממעוף הציפור ניתן להבחין בקבוצות של לקוחות שלהן מאפיינים דומים, ולכל קבוצה כזאת ניתן להתייחס באופן שונה. בגרף הבא מוצגים הרכישות ומספר הקניות של לקוח בחודש בסופר של רכישות מזון on-line. כל נקודה בגרף ...
העמקה לרשת הקפסולות Dynamic Routing Between Capsules – תיאוריה
בכתבה זו מטרתי להסביר את התיאוריה שבמאמר “Dynamic Routing between Capsules”. למי שלא מכיר את ההקשר ממליץ לקרוא קודם את הרקע בכתבה הזו: “הרעיון מאחורי רשת הקפסולות” שמסבירה את המאמר המוקדם יותר של הינטון: “Transforming Auto-“encoders. (אם כי אפשר להבין גם הכול מכתבה זו בלבד) נציין שעל אף שהרעיון מעניין ...
העמקה לרשת הקפסולות Dynamic Routing Between Capsules – פרקטיקה
בכתבה זו מטרתי להסביר באופן מפורש ומספיק מפורט עד כדי שהקורא החרוץ יידע לממש בעצמו את המאמר “Dynamic Routing between Capsules”. למי שלא מכיר את ההקשר ממליץ לקרוא קודם את הרקע בכתבה הזו: “הרעיון מאחורי רשת הקפסולות” שמסבירה את המאמר המוקדם יותר של הינטון: “Transforming Auto-encoders. ואז את הכתבה הזו: ...
רשת הInception הקיצונית: Xception
רקע רשתות Inception v4 ו Xception הינן מהרשתות הטובות ביותר כיום בזיהוי מה רואים בתמונה. ב 2014 גוגל ניצחה בתחרות ILSVRC עם רשת GoogLeNet שהראתה לקהילה ארכיטקטורה חדשנית בשם Inception לפיה שכבות לאו דווקא חייבות להיות בטור אלא במקביל ואת תוצאותיהן משרשרים. השיטה הזו חסכה בזיכרון והביאה לביצועים הטובים ביותר ...
סיסמת הפנים – רשתות קומפקטיות שרצות ללא ענן
רקע אותנטיקציה (אימות) אמין ופשוט למשתמש זה מצרך מאוד מבוקש בימנו! החיים שלנו יותר ויותר נמצאים בעולמות וירטואליים ודיגיטליים, ואפילו נכסים פיננסים (ביטקוין וחבריו) כבר נכנסו לעולם זה. כדי להיכנס לעולם הדיגיטלי הפרטי שלנו נידרש לשם משתמש וסיסמא אישית לכל הפחות. כשמדובר באתרים רגישים יותר גם מוסיפים Two-factor Authentication ואישור במייל או ...
החוליה שהייתה חסרה לניווט רובוטים (SLAM)
כל פעם מדהים אותי מחדש איך deep learning משדרג ביצועים באופן דרמטי בתחומים נוספים! הפעם אכתוב סקירה כללית על SLAM=Simultaneously Localization and Mapping ואספר על החידושים בתחום שנובעים מלמידה עמוקה. כפי שניתן לראות בוידאו בהתבסס על מצלמה (רגילה) בודדת ובזמן אמת האלגוריתם בונה את המפה התלת מימדית של המרחב וגם ...
הרעיון מאחורי רשת הקפסולות
תסכימו שזה מעורר סקרנות לשמוע את הינטון שנחשב לאחד האושיות של הלמידה העמוקה נותן הרצאה ב MIT ששמה “מה הבעיה ברשתות קונבולוציה ?” רקע זיהוי אובייקטים בתמונות זו משימה שעד 2012 נחשבה מאוד קשה ולאחר מהפיכת הלמידה העמוקה נחשבה להרבה יותר פתירה (תלוי כמובן מה לזהות ובאילו תנאים). הבעיה נחשבת ...
המפתח לאימון רשתות נוירונים – BackPropogation
בהרצאות שלי אני תמיד מספר שב 2012 הייתה מהפיכה מדעית (מהפיכת הלמידה העמוקה) שבזכותה אתגרים שבקושי פוצחו ע”י אלגוריתמים קלאסיים בעבר, כעת פתורים באופן כמעט מושלם באמצעות למידה עמוקה. רק שבלמידה עמוקה אין איזשהו קסם מתמטי חדש, זה כמעט הכול מבוסס על שיטות שהיו ידועות עוד משנות השמונים, ההבדל הוא ...
בטיחות ב AI – אימון סוכנים מבוקר אנשים
1) לא יפגע רובוט לרעה בבן אדם, ולא יניח, במחדל, שאדם ייפגע. 2) רובוט חייב לציית לפקודותיו של אדם, כל עוד אינן סותרות את החוק הראשון. 3) רובוט ידאג לשמור על קיומו ושלמותו, כל עוד הגנה זו אינה עומדת בסתירה לחוק הראשון או לחוק השני. אלו הם שלושת חוקי ...
ספורט ה DataSciense: נא להכיר את Kaggle!
Data Sciense עוסק בלהסיק תובנות ממידע. Machine Learning עוסק בפיתוח אלגוריתמים ושיטות שמאפשרים למחשב ללמוד. שני תחומים אלו נהיו מאוד פופולאריים, והרבה אנשים שרוצים להיכנס ל-“ספורט” הזה, לומדים את התיאוריה וכשניגשים לראיונות עבודה נתקלים בפרדוקס המוכר: “אבל אין לך ניסיון…”, ואיך ניתן לצבור ניסיון אם אין מקום עבודה שיקבל אותך ...
CycleGan אומנות בשירות הבינה המלאכותית
שימושי של בינה מלאכותית לאומנות (לא בהכרח להחליף אומנים אלא לסייע ביצירתם עם בינה מלאכותית) הוא תחום מדהים שמתפתח ללא הפסקה. פרויקט מחקרי בהקשר זה נקרא Magneta שם תוכלו למצוא למשל ליווי מלאכותי לנגינה בפסנתר. אבל בכתבה זו נכיר את אחד היישומים המרשימים שנולדו כנגזרת של GAN=Generative Adversarial Networks שנקרא ...
מלאכת בינת הזיופים
המאמר הזה בניו יורק טיימס מתאר איך פורסם ב Reddit סרטון פורנו שבו מככבת מישל אובמה, מזעזע? כן, די… אבל העולם השתנה וכדאי שנבין את זה. כידוע ההתקדמות המדעית טכנולוגית בבינה מלאכותית משרתת מגוון תחומים שמקדמים את האנושות: רובוטיקה, רפואה, רשתות חברתיות, מסחר ועוד… יש תחום אחד שנקרא Generative Models ...
מה רואים בתמונה ? המסע שהחל ב-Alexnet והגיע עד רשתות הקפסולות
סנונית מהפיכת הלמידה העמוקה הגיעה ב 2012 עם תוצאה טובה באופן משמעותי בתחרות זיהוי אוביקטים השנתית שנקראת ILSVRC. לראשונה אלגוריתם מבוסס רשת נוירונים עמוקה שנקרא Alexnet היצליח לזהות מה רואים במיליוני תמונות ברמת הצלחה של 85% בעוד המקום השני בתחרות דאז הגיע ל 74% הצלחה. מאז ועד היום כל זוכי ...
Q-Learning על רובוטים שיודעים לדחות סיפוקים
אפשר להתווכח על זה, אבל נניח שמסכימים שמטרת העל של בני האדם הינה להיות מאושרים, ז”א כל פעם שאדם שמח הוא מקבל על כך תגמול פיסיולוגי. ז”א שאנו כבני אדם שואפים להגיע כל הזמן לתגמול הזה. כל אדם פיתח את האסטרטגיות שלו איך להגיע למטרה הזו. למשל יהיו כאלו שיעשו ...
נביאי הרכב האוטונומיים עומדים למבחן
מביא כאן טבלה של כמה נביאים מכמה ענקיות שמתעסקות באופן ישיר או עקיף בפיתוח רכבים אוטונומיים. לאחר השמטה של הפרטים, ראו את הנבואות של החזקים בשוק לגבי מתי נראה הרבה רכבים אוטונומיים על הכבישים: Year Company 2020 Nvidia 2020 Audi 2020 NuTonomy 2019 Delphi & MobilEye 2021 Ford ...
הטלוויזיה הרגה את הרדיו, האינטרנט הרג את הטלוויזיה והבוטים הורגים את אתרי האינטרנט
צאטבוטים Chatbots קיימים עוד משנות ה-60 (ראו את אליזה ELIZA החלוצה) אך ההתעניינות והפופולאריות שלהם גוברת : רמת הפופולאריות של המושג Chatbot לפי Google Trends בעתיד (ובהווה) במקום לשוטט באתרי קניות ולחפש מה שמעניין אותנו, נציג, ספק אנושי יקצר לנו זמנים, יראה לנו מה שמעניין אותנו, ייתן לנו פרטים ולבסוף ...
הכוכב הבא – תכנית הריאליטי של האלגוריתם GAN
נתחיל בשאלה: מי מזהה את השחקן הזה ובאיזה סרט הוא שיחק ? לא משנה מה עניתם, פשוט טעיתם! התמונה הזו הינה תוצאה של אלגוריתם של אנבידיה המבוסס על GAN=Generative Adversarial Network שאומן על Database של סלבריטאים ומייצר סלבריטאים בקצב יותר גבוה מכל תכנית ריאליטי שיש כיום. ז”א אין באמת אדם ...
על מה עבדו Google Brain בשנה שעברה ?
Google Brain הינה מחלקת המחקר של גוגל שעוסקת בלמידה עמוקה. המחלקה הוקמה ב 2011 ודוגלת במחקר חופשי. ז”א כל חוקר בקבוצה ראשי לבחור את תחום המחקר שלו תחת החזון של לשפר את חיי האנשים ולהפוך מכונות לחכמות יותר. בכתבה זו אסקור כמה מנושאי המחקר היותר מעניינים עליהם עבדו ב Google ...
אינטליגנציה מלאכותית גנרית או איך אלגוריתם מפתח אלגוריתם ?
בעיות AI כמו תירגום, זיהוי פנים או תמונה או קול, ועוד נפתרות היום יותר ויותר בהצלחה עם למידה עמוקה. בדרך כלל ניתן לומר שפתרון עם למידה עמוקה משמעותו רשת נוירונים עמוקה שהינה בעצם אוסף פעולות מתמטיות בסדר מסוים, ונוהגים לסרטט אותה למשל כך: כל עיגול מייצג איזושהיא פעולה מתמטית וכל ...
כמה זמן דרוש כדי לאלף אלגוריתם ?
מתי נראה הרבה רובוטים שעובדים במפעלים, משרתים אותנו בבתי קפה, מנקים לנו את הבית ואת הרחוב או מחליפים הרבה בעלי מקצוע אחרים ? נראה שלא ממש בקרוב! אחד הקשיים הוא כמות הזמן שיש לאמן את הרובוטים על כל משימה. התחום המבטיח בהקשר זה הינו Reinforcment learning או בעברית למידה חיזוקית. ...
ריכוז מאוד מוצלח של קישורים בנושאי למידה עמוקה
ריכוז מאוד מוצלח של קישורים של וידאוים, בלוגים, קודים, ספרים בנושאים Deep learning Vision: https://github.com/kjw0612/awesome-deep-vision RNN: https://github.com/kjw0612/awesome-rnn#codes Tutorials: https://github.com/TarrySingh/Artificial-Intelligence-Deep-Learning-Machine-Learning-Tutorials ...
מהי למידה עמוקה
“למידה עמוקה” (Deep Learning) הינו ענף ברשתות ניורונים שעשה מהפכה כמעט בכל תחומי האלגוריתמיקה. המהפיכה התחילה בראייה ממוחשבת (computer vision) והמשיכה לנושאים שונים כמו עיבוד שפה טבעית (NLP), תרגום, עיבוד אות שמע (speech, voice), מכוניות אוטונומיות, רובוטיקה, התנהגות ברשת ועוד ועוד… רבים מכנים זאת (באופן שגוי) כבינה מלאכותית (AI=Artificial Intelligence) אך ...
No post found
- ייצור דאטה טבלאי ע”י שימוש ב- Conditional Tabular GAN
- בחירה נכונה של מודל שפה
- מה זה Attention Mechanism ואיך זה עובד?
- הכרות פרקטית ל Machine Learning מומחשת עם בעיה מהעולם הפיננסי
- מערכת לזיהוי דובר מבוססת למידה עמוקה
- מהו Variational AutoEncoders?
- אתגר רפאל–פתרון בלמידת חיזוקים End-to-End
- אלגוריתם Reinforce – Vanilla Policy Gradients
- מבוא למערכת המלצות ומדדי דיוק מקובלים בתחום
- סיכום של סוגי אופטימיזציות בלמידה עמוקה
- שאלת מתנה-ספרי לי על פרויקט שעשית
- מה זה XAI – הסבר פשוט לאנשים שאין להם תואר שני ב-Data Science
- בינה מלאכותית בימי קורונה
- פרויקטי צד כדרך למציאת עבודה ראשונה בלמידה עמוקה – אוסף ראיונות עם מראיינים ומרואיינים
- איך מתקינים מה שצריך עבור Deep Learning עם Anaconda ?
- צעד קטן לאדם צעד גדול להתכנסות
- 5 שאלות על פונקציות אקטיבציה שעלולות להופיע בראיון העבודה הבא שלך
- A/B Testing
- כוחה של אתיקה בהנדסה
- AI בעולם החינוך – סקירה וקישורים מעניינים
- על דיאגרמת וורונוי, ואיך היית נראה בתור קורי עכביש?
- סדר בניהול הריצות Machine Learning
- איך מחוללים טקסט ומי מפחד מפייק ניוז ?
- Case study – ניתוח נתוני Kickstarter בעזרת Power BI
- מה עוד צריכה המכונה חוץ ממודל טוב?
- איך להנגיש בינה מלאכותית לילדים ולנוער (ריכוז קישורים מומלצים)
- הסבר למתחילים על העברת לימוד -Transfer Learning
- התקפות על למידת מכונה (Adversarial Attacks)
- אסטרטגיה אבולוציונית
- ערוכים לזה: עריכת וידאו בעזרת AI
- סקירה על הנעשה בהבנת שפה טבעית
- רשתות סיאמיות – להצליח איפה שדיפ לרנינג נכשל – חלק א
- TensorFlow 2 –מה נשתנה ?
- למידה עמוקה על גרפים
- מודל DeViSE – משלב הבנת שפה עם הבנת תמונה
- ניתוח תלת מימד של CT לצורך ניבוי סרטן ריאות
- למידת מכונה? לא לגאונים בלבד
- טנזורים או נקודות במרחב ? סקירת מאמרים על ענני נקודות בלמידה עמוקה
- AdaNet – איך לומדים איך ללמוד
- למידה לא מונחית לשערוך עומק לתמונה – Unsupervised Learning for Depth Estimation
- כשהאלגוריתם גזען או שוביניסט: על תחום ההוגנות בבינה מלאכותית
- Transfer Learning – הכללת ידע
- טעויות נפוצות בהסקת מסקנות מנתונים
- ניתוח מתמטי לאלגוריתם PCA
- מיני-פרויקט בלמידה חיזוקית (Reinforcement Learning)
- איך דאטה אנליסט יכול לעזור לחברה שלך לצמוח
- ניקוי רקע מתמונות (מודל ה- Tiramisu) – חלק ב’
- ניקוי רקע מתמונות (מודל ה- Tiramisu) – חלק א’
- רשתות קונבולוציה על יריעות
- המירוץ אחר הבינה המלאכותית: סין או ארה”ב ?
- רשת ה U-Net: סגמנטציה של תמונות מיקרוסקופיות
- AI בענן, האומנם ?
- כיצד לייצג מילים כמספרים בעלי משמעות? על הבסיס לאלגוריתמי NLP
- לחולל DATA חדש כדי לשפר סיווג (הרחבת Data בעזרת GAN)
- בעיית הידיות הגונבות Multi-Armed Bandit
- Random Erasing Data Augmentation – הרחבת מידע בעזרת מחיקה אקראית
- מהי קלאסיפיקציה ? דוגמא מהעולם העסקי: סגמנטציה של לקוחות
- העמקה לרשת הקפסולות Dynamic Routing Between Capsules – תיאוריה
- העמקה לרשת הקפסולות Dynamic Routing Between Capsules – פרקטיקה
- רשת הInception הקיצונית: Xception
- סיסמת הפנים – רשתות קומפקטיות שרצות ללא ענן
- החוליה שהייתה חסרה לניווט רובוטים (SLAM)
- הרעיון מאחורי רשת הקפסולות
- המפתח לאימון רשתות נוירונים – BackPropogation
- בטיחות ב AI – אימון סוכנים מבוקר אנשים
- ספורט ה DataSciense: נא להכיר את Kaggle!
- CycleGan אומנות בשירות הבינה המלאכותית
- מלאכת בינת הזיופים
- מה רואים בתמונה ? המסע שהחל ב-Alexnet והגיע עד רשתות הקפסולות
- Q-Learning על רובוטים שיודעים לדחות סיפוקים
- נביאי הרכב האוטונומיים עומדים למבחן
- הטלוויזיה הרגה את הרדיו, האינטרנט הרג את הטלוויזיה והבוטים הורגים את אתרי האינטרנט
- הכוכב הבא – תכנית הריאליטי של האלגוריתם GAN
- על מה עבדו Google Brain בשנה שעברה ?
- אינטליגנציה מלאכותית גנרית או איך אלגוריתם מפתח אלגוריתם ?
- כמה זמן דרוש כדי לאלף אלגוריתם ?
- ריכוז מאוד מוצלח של קישורים בנושאי למידה עמוקה
- מהי למידה עמוקה
