leestott
c6f29d8c8b
|
1 year ago | |
|---|---|---|
| .. | ||
| README.md | 1 year ago | |
| assignment.ipynb | 1 year ago | |
| assignment.md | 1 year ago | |
| notebook.ipynb | 1 year ago | |
README.md
מחזור החיים של מדעי הנתונים: ניתוח
 |
|---|
| מחזור החיים של מדעי הנתונים: ניתוח - סקיצה מאת @nitya |
שאלון לפני השיעור
שאלון לפני השיעור
השלב של ניתוח במחזור החיים של הנתונים מאשר שהנתונים יכולים לענות על השאלות שהוצעו או לפתור בעיה מסוימת. שלב זה יכול גם להתמקד באישור שהמודל מתמודד בצורה נכונה עם השאלות והבעיות הללו. השיעור הזה מתמקד בניתוח נתונים חקרני (EDA), שהוא טכניקות להגדרת מאפיינים וקשרים בתוך הנתונים ויכול לשמש להכנת הנתונים למידול.
נשתמש במאגר נתונים לדוגמה מ-Kaggle כדי להראות כיצד ניתן ליישם זאת באמצעות Python וספריית Pandas. מאגר הנתונים הזה מכיל ספירה של מילים נפוצות שנמצאו באימיילים, כאשר מקורות האימיילים הללו הם אנונימיים. השתמשו ב-מחברת שבספרייה הזו כדי לעקוב אחר ההסברים.
ניתוח נתונים חקרני
שלב הלכידה במחזור החיים הוא המקום שבו הנתונים נאספים יחד עם הבעיות והשאלות הקיימות, אבל איך נוכל לדעת שהנתונים יכולים לתמוך בתוצאה הסופית? זכרו שמדען נתונים עשוי לשאול את השאלות הבאות כאשר הוא מקבל את הנתונים:
- האם יש לי מספיק נתונים כדי לפתור את הבעיה הזו?
- האם איכות הנתונים מספקת עבור הבעיה הזו?
- אם אני מגלה מידע נוסף דרך הנתונים האלה, האם כדאי לשקול לשנות או להגדיר מחדש את המטרות?
ניתוח נתונים חקרני הוא התהליך של היכרות עם הנתונים ויכול לשמש למענה על השאלות הללו, כמו גם לזיהוי האתגרים בעבודה עם מאגר הנתונים. בואו נתמקד בכמה מהטכניקות המשמשות להשגת מטרה זו.
פרופיל נתונים, סטטיסטיקה תיאורית ו-Pandas
איך נוכל להעריך אם יש לנו מספיק נתונים כדי לפתור את הבעיה הזו? פרופיל נתונים יכול לסכם ולאסוף מידע כללי על מאגר הנתונים שלנו באמצעות טכניקות של סטטיסטיקה תיאורית. פרופיל נתונים עוזר לנו להבין מה זמין לנו, וסטטיסטיקה תיאורית עוזרת לנו להבין כמה דברים זמינים לנו.
בשיעורים קודמים השתמשנו ב-Pandas כדי לספק סטטיסטיקה תיאורית עם הפונקציה describe(). הפונקציה מספקת את הספירה, הערכים המקסימליים והמינימליים, ממוצע, סטיית תקן וקוונטילים על הנתונים המספריים. שימוש בסטטיסטיקה תיאורית כמו הפונקציה describe() יכול לעזור לכם להעריך כמה נתונים יש לכם והאם אתם צריכים יותר.
דגימה ושאילתות
ניתוח כל הנתונים במאגר גדול יכול להיות משימה גוזלת זמן, שבדרך כלל מבוצעת על ידי מחשב. עם זאת, דגימה היא כלי מועיל להבנת הנתונים ומאפשרת לנו לקבל הבנה טובה יותר של מה נמצא במאגר הנתונים ומה הוא מייצג. עם דגימה, ניתן ליישם הסתברות וסטטיסטיקה כדי להגיע למסקנות כלליות על הנתונים. למרות שאין כלל מוגדר לגבי כמה נתונים כדאי לדגום, חשוב לציין שככל שתדגמו יותר נתונים, כך תוכלו להגיע להכללה מדויקת יותר על הנתונים.
ל-Pandas יש את הפונקציה sample() בספרייה שלה, שבה ניתן להעביר פרמטר של כמה דגימות אקראיות תרצו לקבל ולהשתמש בהן.
שאילתות כלליות על הנתונים יכולות לעזור לכם לענות על שאלות ותיאוריות כלליות שיש לכם. בניגוד לדגימה, שאילתות מאפשרות לכם לשלוט ולהתמקד בחלקים ספציפיים של הנתונים שיש לכם שאלות לגביהם.
הפונקציה query() בספריית Pandas מאפשרת לכם לבחור עמודות ולקבל תשובות פשוטות על הנתונים דרך השורות שנשלפו.
ניתוח באמצעות ויזואליזציות
אין צורך להמתין עד שהנתונים יהיו נקיים ומנותחים לחלוטין כדי להתחיל ליצור ויזואליזציות. למעשה, ייצוג חזותי בזמן הניתוח יכול לעזור לזהות דפוסים, קשרים ובעיות בנתונים. יתרה מכך, ויזואליזציות מספקות אמצעי תקשורת עם אנשים שאינם מעורבים בניהול הנתונים ויכולות להיות הזדמנות לשתף ולהבהיר שאלות נוספות שלא נענו בשלב הלכידה. עיינו ב-החלק על ויזואליזציות כדי ללמוד עוד על דרכים פופולריות לנתח חזותית.
ניתוח לזיהוי אי-עקביות
כל הנושאים בשיעור הזה יכולים לעזור לזהות ערכים חסרים או לא עקביים, אבל Pandas מספקת פונקציות לבדוק חלק מהערכים הללו. isna() או isnull() יכולות לבדוק ערכים חסרים. חלק חשוב בניתוח הערכים הללו בתוך הנתונים שלכם הוא לחקור מדוע הם הגיעו למצב הזה מלכתחילה. זה יכול לעזור לכם להחליט אילו פעולות לנקוט כדי לפתור אותם.
שאלון לאחר השיעור
משימה
כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור סמכותי. עבור מידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי אדם. איננו נושאים באחריות לאי הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.