Data-Science-For-Beginners/translations/he/1-Introduction/04-stats-and-probability

מבוא קצר לסטטיסטיקה והסתברות

סטטיסטיקה והסתברות - סקיצה מאת @nitya

תורת הסטטיסטיקה וההסתברות הן שני תחומים מתמטיים הקשורים זה בזה, והם בעלי חשיבות רבה במדעי הנתונים. אמנם ניתן לעבוד עם נתונים גם ללא ידע מעמיק במתמטיקה, אך תמיד עדיף להכיר לפחות את המושגים הבסיסיים. כאן נציג מבוא קצר שיעזור לכם להתחיל.

שאלון לפני ההרצאה

הסתברות ומשתנים מקריים

הסתברות היא מספר בין 0 ל-1 שמבטא עד כמה אירוע מסוים סביר. היא מוגדרת כמספר התוצאות החיוביות (שמובילות לאירוע), חלקי סך כל התוצאות, בהנחה שכל התוצאות שוות בסבירותן. לדוגמה, כאשר מטילים קובייה, ההסתברות לקבל מספר זוגי היא 3/6 = 0.5.

כאשר אנו מדברים על אירועים, אנו משתמשים במשתנים מקריים. לדוגמה, המשתנה המקרי שמייצג את המספר שמתקבל בהטלת קובייה יכול לקבל ערכים בין 1 ל-6. קבוצת המספרים מ-1 עד 6 נקראת מרחב המדגם. ניתן לדבר על ההסתברות שמשתנה מקרי יקבל ערך מסוים, לדוגמה P(X=3)=1/6.

המשתנה המקרי בדוגמה הקודמת נקרא בדיד, מכיוון שמרחב המדגם שלו ניתן לספירה, כלומר יש ערכים נפרדים שניתן למנות. ישנם מקרים שבהם מרחב המדגם הוא טווח של מספרים ממשיים, או כל קבוצת המספרים הממשיים. משתנים כאלה נקראים רציפים. דוגמה טובה לכך היא זמן הגעת האוטובוס.

התפלגות הסתברות

במקרה של משתנים מקריים בדידים, קל לתאר את ההסתברות של כל אירוע באמצעות פונקציה P(X). עבור כל ערך s ממרחב המדגם S, הפונקציה תיתן מספר בין 0 ל-1, כך שסכום כל הערכים של P(X=s) עבור כל האירועים יהיה 1.

ההתפלגות הבדידה המוכרת ביותר היא התפלגות אחידה, שבה מרחב המדגם מכיל N איברים, ולכל אחד מהם הסתברות שווה של 1/N.

תיאור התפלגות ההסתברות של משתנה רציף, עם ערכים הנלקחים מטווח [a,b] או מכל קבוצת המספרים הממשיים ℝ, הוא מורכב יותר. לדוגמה, במקרה של זמן הגעת האוטובוס, ההסתברות שהאוטובוס יגיע בדיוק בזמן מסוים t היא למעשה 0!

עכשיו אתם יודעים שאירועים עם הסתברות 0 קורים, ולעיתים קרובות! לפחות בכל פעם שהאוטובוס מגיע!

ניתן לדבר רק על ההסתברות שמשתנה ייפול בטווח מסוים של ערכים, לדוגמה P(t₁≤X<t₂). במקרה זה, התפלגות ההסתברות מתוארת באמצעות פונקציית צפיפות הסתברות p(x), כך ש-

האנלוג הרציף של התפלגות אחידה נקרא אחידה רציפה, והוא מוגדר על טווח סופי. ההסתברות שהערך X ייפול בטווח באורך l היא פרופורציונלית ל-l, ועולה עד 1.

התפלגות חשובה נוספת היא התפלגות נורמלית, עליה נדבר בהרחבה בהמשך.

ממוצע, שונות וסטיית תקן

נניח שאנו לוקחים רצף של n דגימות של משתנה מקרי X: x₁, x₂, ..., x_n. ניתן להגדיר את הממוצע (או הממוצע האריתמטי) של הרצף בדרך המסורתית כ-(x₁+x₂+...+x_n)/n. ככל שנגדיל את גודל המדגם (כלומר ניקח את הגבול כאשר n→∞), נקבל את הממוצע (שנקרא גם תוחלת) של ההתפלגות. נסמן את התוחלת כ-E(x).

ניתן להראות שעבור כל התפלגות בדידה עם ערכים {x₁, x₂, ..., x_N} והסתברויות מתאימות p₁, p₂, ..., p_N, התוחלת תהיה E(X)=x₁p₁+x₂p₂+...+x_Np_N.

כדי לזהות עד כמה הערכים מפוזרים, ניתן לחשב את השונות σ² = ∑(x_i - μ)²/n, כאשר μ הוא הממוצע של הרצף. הערך σ נקרא סטיית תקן, ו-σ² נקרא שונות.

חציון, שכיח ורבעונים

לפעמים, הממוצע אינו מייצג באופן מספק את הערך ה"טיפוסי" של הנתונים. למשל, כאשר ישנם ערכים קיצוניים מאוד, הם יכולים להשפיע על הממוצע. אינדיקציה טובה נוספת היא חציון, ערך כך שחצי מהנתונים נמוכים ממנו והחצי השני גבוהים ממנו.

כדי להבין את פיזור הנתונים, מועיל לדבר על רבעונים:

• הרבעון הראשון, או Q1, הוא ערך כך ש-25% מהנתונים נמוכים ממנו.
• הרבעון השלישי, או Q3, הוא ערך כך ש-75% מהנתונים נמוכים ממנו.

ניתן לייצג גרפית את הקשר בין החציון לרבעונים בדיאגרמה שנקראת תיבת קופסה:

כאן אנו מחשבים גם את טווח הרבעונים IQR=Q3-Q1, ואת מה שנקרא ערכים חריגים - ערכים שנמצאים מחוץ לטווח [Q1-1.5IQR,Q3+1.5IQR].

עבור התפלגות סופית שמכילה מספר קטן של ערכים אפשריים, ערך "טיפוסי" טוב הוא זה שמופיע בתדירות הגבוהה ביותר, והוא נקרא שכיח. לעיתים קרובות משתמשים בו עבור נתונים קטגוריים, כמו צבעים. לדוגמה, אם יש שתי קבוצות אנשים - כאלה שמעדיפים מאוד אדום וכאלה שמעדיפים כחול, הממוצע של הצבע המועדף עשוי להיות בטווח הכתום-ירוק, שאינו מייצג את ההעדפה האמיתית של אף קבוצה. לעומת זאת, השכיח יהיה אחד הצבעים, או שניהם אם מספר האנשים שהעדיפו כל צבע שווה (במקרה כזה נקרא לדגימה רב-שכיחית).

נתונים מהעולם האמיתי

כאשר אנו מנתחים נתונים מהעולם האמיתי, הם לעיתים אינם משתנים מקריים במובן זה שאיננו מבצעים ניסויים עם תוצאה לא ידועה. לדוגמה, קבוצה של שחקני בייסבול ונתוני הגוף שלהם, כמו גובה, משקל וגיל. נתונים אלו אינם בדיוק מקריים, אך עדיין ניתן ליישם עליהם את אותם מושגים מתמטיים. לדוגמה, רצף של משקלים של אנשים יכול להיחשב כרצף של ערכים שנלקחו ממשתנה מקרי.

הערה: כדי לראות דוגמה לעבודה עם מערך נתונים זה, עיינו ב-מחברת המצורפת. לאורך השיעור ישנם אתגרים שתוכלו להשלים על ידי הוספת קוד למחברת זו. אם אינכם בטוחים כיצד לעבוד עם נתונים, אל דאגה - נחזור לעבודה עם נתונים באמצעות Python בהמשך. אם אינכם יודעים כיצד להריץ קוד ב-Jupyter Notebook, עיינו ב-מאמר זה.

...

(המשך התרגום בהתאם למבנה הטקסט המקורי)

רווח סמך הוא הערכה של הממוצע האמיתי של האוכלוסייה בהתבסס על המדגם שלנו, שהיא מדויקת ברמת הסתברות מסוימת (או רמת ביטחון). בהנחה שיש לנו מדגם X₁, ..., X_n מההתפלגות שלנו. בכל פעם שניקח מדגם מההתפלגות, נקבל ערך ממוצע שונה μ. לכן ניתן להתייחס ל-μ כמשתנה מקרי. רווח סמך עם רמת ביטחון p הוא זוג ערכים (L_p,R_p), כך ש-P(L_p≤μ≤R_p) = p, כלומר ההסתברות שהממוצע שנמדד ייפול בתוך הרווח שווה ל-p.

הדיון על איך מחשבים את רווחי הסמך חורג מהמבוא הקצר שלנו. ניתן למצוא פרטים נוספים בויקיפדיה. בקצרה, אנו מגדירים את ההתפלגות של ממוצע המדגם המחושב ביחס לממוצע האמיתי של האוכלוסייה, שנקראת התפלגות סטודנט.

עובדה מעניינת: התפלגות סטודנט נקראת כך על שם המתמטיקאי ויליאם סילי גוסט, שפרסם את מאמרו תחת שם העט "סטודנט". הוא עבד במבשלת גינס, ולפי אחת הגרסאות, מעסיקו לא רצה שהציבור הרחב יידע שהם משתמשים במבחנים סטטיסטיים כדי לקבוע את איכות חומרי הגלם.

אם נרצה להעריך את הממוצע μ של האוכלוסייה שלנו עם רמת ביטחון p, עלינו לקחת את (1-p)/2-th percentile מהתפלגות סטודנט A, שניתן לקחת מטבלאות או לחשב באמצעות פונקציות מובנות בתוכנות סטטיסטיות (למשל Python, R וכו'). אז הרווח עבור μ יינתן על ידי X±A*D/√n, כאשר X הוא הממוצע שהתקבל במדגם, ו-D הוא סטיית התקן.

הערה: אנו גם מדלגים על דיון במושג חשוב של דרגות חופש, שהוא משמעותי בהקשר להתפלגות סטודנט. ניתן לעיין בספרים מקיפים יותר על סטטיסטיקה כדי להבין את המושג לעומק.

דוגמה לחישוב רווח סמך עבור משקלים וגבהים ניתנת ב-מחברות המצורפות.

p	ממוצע משקל
0.85	201.73±0.94
0.90	201.73±1.08
0.95	201.73±1.28

שימו לב שככל שרמת הביטחון גבוהה יותר, רווח הסמך רחב יותר.

בדיקת השערות

במאגר הנתונים של שחקני הבייסבול שלנו, ישנם תפקידים שונים שניתן לסכם בטבלה הבאה (ראו את המחברת המצורפת כדי לראות איך הטבלה חושבה):

תפקיד	גובה	משקל	כמות
תופס	72.723684	204.328947	76
חובט ייעודי	74.222222	220.888889	18
שחקן בסיס ראשון	74.000000	213.109091	55
שחקן חוץ	73.010309	199.113402	194
מגיש מחליף	74.374603	203.517460	315
שחקן בסיס שני	71.362069	184.344828	58
שורטסטופ	71.903846	182.923077	52
מגיש פותח	74.719457	205.163636	221
שחקן בסיס שלישי	73.044444	200.955556	45

ניתן להבחין שהממוצע של גובה שחקני בסיס ראשון גבוה מזה של שחקני בסיס שני. לכן, אנו עשויים להסיק ש-שחקני בסיס ראשון גבוהים יותר משחקני בסיס שני.

הצהרה זו נקראת השערה, משום שאיננו יודעים אם העובדה נכונה או לא.

עם זאת, לא תמיד ברור אם ניתן להסיק מסקנה זו. מהדיון לעיל אנו יודעים שלכל ממוצע יש רווח סמך משויך, ולכן ההבדל יכול להיות רק טעות סטטיסטית. אנו זקוקים לדרך פורמלית יותר לבדוק את ההשערה שלנו.

בואו נחשב רווחי סמך בנפרד עבור גובה שחקני בסיס ראשון ושני:

רמת ביטחון	בסיס ראשון	בסיס שני
0.85	73.62..74.38	71.04..71.69
0.90	73.56..74.44	70.99..71.73
0.95	73.47..74.53	70.92..71.81

ניתן לראות שבשום רמת ביטחון הרווחים אינם חופפים. זה מוכיח את ההשערה שלנו ששחקני בסיס ראשון גבוהים יותר משחקני בסיס שני.

באופן פורמלי יותר, הבעיה שאנו פותרים היא לבדוק אם שתי התפלגויות הסתברות זהות, או לפחות יש להן אותם פרמטרים. בהתאם להתפלגות, עלינו להשתמש במבחנים שונים לכך. אם אנו יודעים שההתפלגויות שלנו נורמליות, נוכל ליישם מבחן t של סטודנט.

במבחן t של סטודנט, אנו מחשבים את ערך t, שמצביע על ההבדל בין ממוצעים, תוך התחשבות בשונות. הוכח שערך t עוקב אחרי התפלגות סטודנט, מה שמאפשר לנו לקבל את ערך הסף עבור רמת ביטחון נתונה p (ניתן לחשב זאת או למצוא בטבלאות מספריות). לאחר מכן אנו משווים את ערך t לערך הסף כדי לאשר או לדחות את ההשערה.

ב-Python, ניתן להשתמש בחבילת SciPy, הכוללת את הפונקציה ttest_ind (בנוסף להרבה פונקציות סטטיסטיות שימושיות אחרות!). היא מחשבת עבורנו את ערך t, וגם מבצעת חיפוש הפוך של ערך הביטחון p, כך שנוכל פשוט להסתכל על רמת הביטחון כדי להסיק מסקנות.

לדוגמה, ההשוואה שלנו בין גובה שחקני בסיס ראשון ושני נותנת את התוצאות הבאות:

from scipy.stats import ttest_ind

tval, pval = ttest_ind(df.loc[df['Role']=='First_Baseman',['Height']], df.loc[df['Role']=='Designated_Hitter',['Height']],equal_var=False)
print(f"T-value = {tval[0]:.2f}\nP-value: {pval[0]}")

T-value = 7.65
P-value: 9.137321189738925e-12

במקרה שלנו, ערך p נמוך מאוד, מה שמעיד על ראיות חזקות לכך ששחקני בסיס ראשון גבוהים יותר.

ישנם גם סוגים אחרים של השערות שנרצה לבדוק, למשל:

• להוכיח שמדגם מסוים עוקב אחרי התפלגות מסוימת. במקרה שלנו הנחנו שהגבהים מתפלגים נורמלית, אך זה דורש אימות סטטיסטי פורמלי.
• להוכיח שערך ממוצע של מדגם תואם לערך מוגדר מראש.
• להשוות ממוצעים של מספר מדגמים (למשל, מה ההבדל ברמות האושר בין קבוצות גיל שונות).

חוק המספרים הגדולים ומשפט הגבול המרכזי

אחת הסיבות לכך שהתפלגות נורמלית חשובה היא משפט הגבול המרכזי. בהנחה שיש לנו מדגם גדול של N ערכים X₁, ..., X_N, שנדגמו מכל התפלגות עם ממוצע μ ושונות σ². אז, עבור N גדול מספיק (במילים אחרות, כאשר N→∞), הממוצע Σ_iX_i יתפלג נורמלית, עם ממוצע μ ושונות σ²/N.

דרך נוספת לפרש את משפט הגבול המרכזי היא לומר שלא משנה מה ההתפלגות, כאשר מחשבים את הממוצע של סכום ערכי משתנים מקריים כלשהם, מקבלים התפלגות נורמלית.

ממשפט הגבול המרכזי גם נובע שכאשר N→∞, ההסתברות שהממוצע של המדגם יהיה שווה ל-μ הופכת ל-1. זה ידוע כ-חוק המספרים הגדולים.

שונות וקורלציה

אחד הדברים שמדעי הנתונים עושים הוא למצוא קשרים בין נתונים. אנו אומרים ששתי סדרות מתואמות כאשר הן מציגות התנהגות דומה באותו זמן, כלומר הן עולות/יורדות יחד, או שאחת עולה כאשר השנייה יורדת ולהפך. במילים אחרות, נראה שיש קשר כלשהו בין שתי הסדרות.

קורלציה לא בהכרח מצביעה על קשר סיבתי בין שתי סדרות; לפעמים שני המשתנים יכולים להיות תלויים בסיבה חיצונית כלשהי, או שזה יכול להיות מקרי בלבד ששתי הסדרות מתואמות. עם זאת, קורלציה מתמטית חזקה היא אינדיקציה טובה לכך ששני המשתנים קשורים איכשהו.

מתמטית, המושג המרכזי שמראה את הקשר בין שני משתנים מקריים הוא שונות משותפת, שמחושבת כך: Cov(X,Y) = E[(X-E(X))(Y-E(Y))]. אנו מחשבים את הסטייה של שני המשתנים מהממוצע שלהם, ואז מכפילים את הסטיות. אם שני המשתנים סוטים יחד, המכפלה תמיד תהיה ערך חיובי, שיצטבר לשונות משותפת חיובית. אם שני המשתנים סוטים מחוץ לסנכרון (כלומר, אחד יורד מתחת לממוצע כאשר השני עולה מעל הממוצע), תמיד נקבל מספרים שליליים, שיצטברו לשונות משותפת שלילית. אם הסטיות אינן תלויות, הן יסתכמו לכמעט אפס.

הערך המוחלט של השונות המשותפת לא אומר לנו הרבה על גודל הקורלציה, משום שהוא תלוי בגודל הערכים בפועל. כדי לנרמל אותו, ניתן לחלק את השונות המשותפת בסטיית התקן של שני המשתנים, כדי לקבל קורלציה. הדבר הטוב הוא שהקורלציה תמיד בטווח [-1,1], כאשר 1 מציין קורלציה חיובית חזקה בין הערכים, -1 - קורלציה שלילית חזקה, ו-0 - אין קורלציה כלל (המשתנים בלתי תלויים).

דוגמה: ניתן לחשב קורלציה בין משקלים וגבהים של שחקני בייסבול מהמאגר שהוזכר לעיל:

print(np.corrcoef(weights,heights))

כתוצאה מכך, נקבל מטריצת קורלציה כמו זו:

array([[1.        , 0.52959196],
       [0.52959196, 1.        ]])

מטריצת קורלציה C יכולה להיות מחושבת עבור כל מספר של סדרות קלט S₁, ..., S_n. הערך של C_ij הוא הקורלציה בין S_i ו-S_j, והאלמנטים האלכסוניים תמיד שווים ל-1 (שזו גם קורלציה עצמית של S_i).

במקרה שלנו, הערך 0.53 מציין שיש קורלציה מסוימת בין משקל לגובה של אדם. ניתן גם ליצור תרשים פיזור של ערך אחד מול השני כדי לראות את הקשר באופן חזותי:

דוגמאות נוספות לקורלציה ושונות משותפת ניתן למצוא ב-מחברת המצורפת.

סיכום

בפרק זה למדנו:

• תכונות סטטיסטיות בסיסיות של נתונים, כמו ממוצע, שונות, חציון ורבעונים
• התפלגויות שונות של משתנים מקריים, כולל התפלגות נורמלית
• איך למצוא קורלציה בין תכונות שונות
• איך להשתמש במכשור מתמטי וסטטיסטי כדי להוכיח השערות
• איך לחשב רווחי סמך עבור משתנה מקרי בהתבסס על מדגם נתונים

למרות שזו בהחלט לא רשימה ממצה של נושאים הקיימים בהסתברות וסטטיסטיקה, היא אמורה להספיק כדי לתת לכם התחלה טובה בקורס הזה.

🚀 אתגר

השתמשו בקוד הדוגמה במחברת כדי לבדוק השערות אחרות:

1. שחקני בסיס ראשון מבוגרים יותר משחקני בסיס שני
2. שחקני בסיס ראשון גבוהים יותר משחקני בסיס שלישי
3. שורטסטופים גבוהים יותר משחקני בסיס שני

שאלון לאחר ההרצאה

סקירה ולימוד עצמי

הסתברות וסטטיסטיקה הוא נושא רחב שמגיע לו קורס משלו. אם אתם מעוניינים להעמיק בתיאוריה, ייתכן שתרצו להמשיך לקרוא כמה מהספרים הבאים:

1. קרלוס פרננדז-גרנדה מאוניברסיטת ניו יורק כתב סיכומי הרצאות מצוינים הסתברות וסטטיסטיקה למדעי הנתונים (זמין אונליין)
2. פיטר ואנדרו ברוס. סטטיסטיקה מעשית למדעני נתונים. [קוד לדוגמה ב-R].
3. ג'יימס ד. מילר. סטטיסטיקה למדעי הנתונים [קוד לדוגמה ב-R]

משימה

מחקר קטן על סוכרת

קרדיטים

השיעור הזה נכתב באהבה על ידי דמיטרי סושניקוב

---

כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. בעוד שאנו שואפים לדיוק, יש להיות מודעים לכך שתרגומים אוטומטיים עשויים להכיל שגיאות או אי דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור סמכותי. עבור מידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי אדם. איננו נושאים באחריות לאי הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.