מאגרי עבודות וסיכומים

הרצאה 1 3
מדוע צריך ML? 3
סוגי למידה 3
היסטוריית למידת מכונה 3
הרצאה 2 4
הגדרות והקדמה 4
4 אלמנטים ללמידת מכונה 4
מטרת הלמידה 4
שאלות בלמידת מכונה 5
ERM – Empirical Risk Minimization 5
הרצאה 3 6
מסווג בסיאני (bayes) אופטימלי 6
The maximum likelihood estimator 7
סיכום 8
הרצאה 4 8
אפשרויות הלמידה 8
שאלות 8
סיבוכיות 8
הגדרות ואנוטציות 8
PAC Learning framework – Probably Approximately Correct. 9
מקרה יותר ריאלי – inconsistent case 10
הרצאה 5 12
Pac learning 12
מימד VC 12
משפט היסודי של הלמידה הסטטיסטית 14
SRM – Structural Risk Minimization 15
MDL – Minimum Description Length 15
רגולריזציה 15
הרצאה 6 16
SVM – Support Vector Machine 16
סט ההיפוטזות הלינאריות 16
SGD – Stochastic Gradient Descent 17
Margins 18
הרצאה 7 19
חזרה 19
ERM 19
SVM 20
Margin 20
SVR – Support Vector Regression 20
Logistic regression 20
רשתות נוירונים 21
הרצאה 8 21
רשתות עמוקות 21
Backpropagation – פעפוע לאחור 23
אלגוריתם backpropagation 26
הרצאה 9 26
Regularization, dropout, batchNorm 26
Training process 27
Batch normalization 28
הרצאה 10 29
CNN 30
היסטוריה 30
שלבי יצירה שכבה ב-CNN 30
הרצאה 11 32
RNN – Reccurent Neural Networks 32
Backpropagation through time 35
Truncated Backpropagation through time 35
הרצאה 12 35
LSTM 35
Image captioning with attention 36

הרצאה 1

למידת מכונה זה להביע פונקציונאליות, רק שבמקום לכתוב תוכנית מחשב – אנו כותבים תוכנית גנרית שמתאמנת על דוגמאות. מלמדים את המחשב על פי דוגמאות,training set, ולא על פי תכנות ישיר.
התחום הזה מאגד תחתיו אלגוריתמים שמשתכללים עם הזמן, ולומדים עם הזמן מתוך ניסיון.
כלומר יש כאן השתפרות אוטומטית, ויש ניסיון.
מדוע צריך ML?
– יש הרבה משימות שאי אפשר לתכנת, למשל קטלוג של תמונה לכלב/חתול. בML זה בין התרגילים הראשונים.
– מהירות הפיתוח. ב if-else יש למשל אם עיניים אחרת, אם אוזניים אחרת, אבל יש כאלה וכאלה…
– תאימות, אדפטציה. מתאים את עצמו במהלך החיים שלו, משתנה במהלכו. הדוג' שיוסי נתן הוא שהוא התחיל ללבוש חולצות סגולות, והאלגו' המלצות עכשיו מתאים את עצמו לזה.
מחשב יכול לזכור הכל. לספוג ולקלוט את כל המידע – אבל האם זה נחשב ללמידה?
אז יש פה עניין – זיכרון זה לא למידה.