Data-Science-For-Beginners/translations/he/6-Data-Science-In-Wild/20-Real-World-Examples

מדע הנתונים בעולם האמיתי

מדע הנתונים בעולם האמיתי - סקיצה מאת @nitya

אנחנו כמעט בסוף מסע הלמידה הזה!

התחלנו עם הגדרות של מדע הנתונים ואתיקה, חקרנו כלים וטכניקות שונות לניתוח ויזואליזציה של נתונים, סקרנו את מחזור החיים של מדע הנתונים, ובחנו כיצד ניתן להרחיב ולייעל תהליכי עבודה של מדע הנתונים באמצעות שירותי מחשוב ענן. אז אתם בטח שואלים: "איך בדיוק אני ממפה את כל הלמידות הללו להקשרים בעולם האמיתי?"

בשיעור הזה, נחקור יישומים בעולם האמיתי של מדע הנתונים בתעשייה ונצלול לדוגמאות ספציפיות במחקר, מדעי הרוח הדיגיטליים וקיימות. נבחן הזדמנויות לפרויקטים לסטודנטים ונסיים עם משאבים שימושיים שיעזרו לכם להמשיך את מסע הלמידה שלכם!

שאלון לפני השיעור

שאלון לפני השיעור

מדע הנתונים + תעשייה

בזכות הדמוקרטיזציה של AI, מפתחים מוצאים כיום קל יותר לעצב ולשלב תובנות מונעות AI והחלטות מבוססות נתונים בחוויות משתמש ובתהליכי פיתוח. הנה כמה דוגמאות כיצד מדע הנתונים "מיושם" ביישומים בעולם האמיתי בתעשייה:

• Google Flu Trends השתמש במדע הנתונים כדי לקשר בין מונחי חיפוש למגמות שפעת. למרות שהגישה הייתה פגומה, היא העלתה מודעות לאפשרויות (ולאתגרים) של תחזיות בריאות מבוססות נתונים.

• UPS Routing Predictions - מסביר כיצד UPS משתמשת במדע הנתונים ובלמידת מכונה כדי לחזות מסלולים אופטימליים למשלוח, תוך התחשבות בתנאי מזג האוויר, דפוסי תנועה, מועדי אספקה ועוד.

• NYC Taxicab Route Visualization - נתונים שנאספו באמצעות חוקי חופש המידע סייעו להמחיש יום בחיי המוניות בניו יורק, ועזרו לנו להבין כיצד הן מנווטות בעיר העמוסה, הכסף שהן מרוויחות, ומשך הנסיעות בכל תקופה של 24 שעות.

• Uber Data Science Workbench - משתמש בנתונים (על מיקומי איסוף והורדה, משך נסיעות, מסלולים מועדפים וכו') שנאספו ממיליוני נסיעות יומיות של Uber כדי לבנות כלי אנליטיקה נתונים המסייע בתמחור, בטיחות, זיהוי הונאות והחלטות ניווט.

• Sports Analytics - מתמקד ב_אנליטיקה חזויה_ (ניתוח קבוצות ושחקנים - כמו Moneyball - וניהול אוהדים) וב_ויזואליזציה של נתונים_ (לוחות מחוונים של קבוצות ואוהדים, משחקים וכו') עם יישומים כמו סקאוטינג כישרונות, הימורים ספורטיביים וניהול מלאי/מקומות.

• Data Science in Banking - מדגיש את הערך של מדע הנתונים בתעשיית הפיננסים עם יישומים החל ממידול סיכונים וזיהוי הונאות, ועד סגמנטציה של לקוחות, תחזיות בזמן אמת ומערכות המלצה. אנליטיקה חזויה גם מניעה מדדים קריטיים כמו ציוני אשראי.

• Data Science in Healthcare - מדגיש יישומים כמו הדמיה רפואית (למשל, MRI, רנטגן, CT-Scan), גנומיקה (ריצוף DNA), פיתוח תרופות (הערכת סיכונים, תחזית הצלחה), אנליטיקה חזויה (טיפול בחולים ולוגיסטיקה של אספקה), מעקב ומניעת מחלות ועוד.

קרדיט תמונה: Data Flair: 6 Amazing Data Science Applications

התרשים מציג תחומים ודוגמאות נוספים ליישום טכניקות מדע הנתונים. רוצים לחקור יישומים נוספים? בדקו את סקירה ולימוד עצמי למטה.

מדע הנתונים + מחקר

מדע הנתונים ומחקר - סקיצה מאת @nitya

בעוד שיישומים בעולם האמיתי מתמקדים לעיתים קרובות במקרי שימוש בתעשייה בקנה מידה רחב, יישומי מחקר ופרויקטים יכולים להיות שימושיים משתי פרספקטיבות:

• הזדמנויות חדשנות - חקר אב טיפוס מהיר של רעיונות מתקדמים ובדיקת חוויות משתמש ליישומים של הדור הבא.
• אתגרי פריסה - חקר נזקים פוטנציאליים או השלכות בלתי צפויות של טכנולוגיות מדע הנתונים בהקשרים בעולם האמיתי.

עבור סטודנטים, פרויקטי מחקר יכולים לספק גם הזדמנויות למידה ושיתוף פעולה שיכולות לשפר את ההבנה שלכם בנושא, ולהרחיב את המודעות והמעורבות שלכם עם אנשים או צוותים רלוונטיים שעובדים בתחומי עניין. אז איך נראים פרויקטי מחקר וכיצד הם יכולים להשפיע?

בואו נבחן דוגמה אחת - MIT Gender Shades Study של ג'וי בואולמוויני (MIT Media Labs) עם מאמר מחקר מוביל שנכתב בשיתוף עם טימניט גברו (אז ב-Microsoft Research) שהתמקד ב:

• מה: מטרת פרויקט המחקר הייתה להעריך הטיה קיימת באלגוריתמים ובמאגרי נתונים של ניתוח פנים אוטומטי בהתבסס על מגדר וסוג עור.
• למה: ניתוח פנים משמש בתחומים כמו אכיפת חוק, אבטחת שדות תעופה, מערכות גיוס ועוד - הקשרים שבהם סיווגים לא מדויקים (למשל, עקב הטיה) יכולים לגרום לנזקים כלכליים וחברתיים פוטנציאליים לאנשים או קבוצות מושפעות. הבנת הטיות (והסרתן או הפחתתן) היא מפתח להוגנות בשימוש.
• איך: החוקרים זיהו שמדדי הביצועים הקיימים השתמשו בעיקר בנבדקים בעלי עור בהיר, ואספו מאגר נתונים חדש (1000+ תמונות) שהיה מאוזן יותר לפי מגדר וסוג עור. מאגר הנתונים שימש להערכת דיוק של שלושה מוצרים לסיווג מגדר (מ-Microsoft, IBM ו-Face++).

התוצאות הראו שלמרות שהדיוק הכולל בסיווג היה טוב, הייתה הבחנה ניכרת בשיעורי השגיאות בין קבוצות שונות - עם שגיאות סיווג מגדרי גבוהות יותר לנשים או אנשים בעלי עור כהה, מה שמעיד על הטיה.

תוצאות מרכזיות: העלאת מודעות לכך שמדע הנתונים זקוק ל_מאגרי נתונים מייצגים יותר_ (קבוצות מאוזנות) ול_צוותים כוללים יותר_ (רקע מגוון) כדי לזהות ולהסיר או להפחית הטיות כאלה מוקדם יותר בפתרונות AI. מאמצי מחקר כמו זה גם תורמים להגדרת עקרונות ופרקטיקות ל_בינה מלאכותית אחראית_ בארגונים רבים כדי לשפר את ההוגנות במוצרים ותהליכים של AI.

רוצים ללמוד על מאמצי מחקר רלוונטיים ב-Microsoft?

• בדקו את פרויקטי המחקר של Microsoft בתחום הבינה המלאכותית.
• חקרו פרויקטים לסטודנטים מבית הספר לקיץ במדע הנתונים של Microsoft Research.
• בדקו את פרויקט Fairlearn ואת יוזמות Responsible AI.

מדע הנתונים + מדעי הרוח

מדע הנתונים ומדעי הרוח הדיגיטליים - סקיצה מאת @nitya

מדעי הרוח הדיגיטליים הוגדרו כ"אוסף של פרקטיקות וגישות המשלבות שיטות חישוביות עם חקירה הומניסטית". פרויקטים של סטנפורד כמו "היסטוריה מחדש" ו_"חשיבה פואטית"_ מדגימים את הקשר בין מדעי הרוח הדיגיטליים ומדע הנתונים - תוך הדגשת טכניקות כמו ניתוח רשתות, ויזואליזציה של מידע, ניתוח מרחבי וטקסט שיכולים לעזור לנו לבחון מחדש מערכי נתונים היסטוריים וספרותיים כדי להפיק תובנות ופרספקטיבות חדשות.

רוצים לחקור ולהרחיב פרויקט בתחום הזה?

בדקו את "אמילי דיקנסון ומטר המצב רוח" - דוגמה נהדרת מג'ן לופר ששואלת כיצד נוכל להשתמש במדע הנתונים כדי לבחון מחדש שירה מוכרת ולהעריך מחדש את משמעותה ואת תרומתה של המחברת בהקשרים חדשים. לדוגמה, האם נוכל לחזות את העונה שבה נכתבה שירה על ידי ניתוח הטון או הרגש שלה - ומה זה אומר על מצב הרוח של המחברת בתקופה הרלוונטית?

כדי לענות על השאלה הזו, אנו עוקבים אחר שלבי מחזור החיים של מדע הנתונים:

• רכישת נתונים - לאסוף מערך נתונים רלוונטי לניתוח. אפשרויות כוללות שימוש ב-API (למשל, Poetry DB API) או גרידת דפי אינטרנט (למשל, Project Gutenberg) באמצעות כלים כמו Scrapy.
• ניקוי נתונים - מסביר כיצד ניתן לעצב, לנקות ולפשט טקסט באמצעות כלים בסיסיים כמו Visual Studio Code ו-Microsoft Excel.
• ניתוח נתונים - מסביר כיצד ניתן לייבא את מערך הנתונים ל"מחברות" לניתוח באמצעות חבילות Python (כמו pandas, numpy ו-matplotlib) כדי לארגן ולחזות את הנתונים.
• ניתוח רגשות - מסביר כיצד ניתן לשלב שירותי ענן כמו Text Analytics, באמצעות כלים עם קוד נמוך כמו Power Automate עבור תהליכי עבודה אוטומטיים לעיבוד נתונים.

באמצעות תהליך זה, נוכל לחקור את ההשפעות העונתיות על הרגש של השירים, ולעזור לנו לעצב פרספקטיבות משלנו על המחברת. נסו זאת בעצמכם - ואז הרחיבו את המחברת כדי לשאול שאלות נוספות או להציג את הנתונים בדרכים חדשות!

תוכלו להשתמש בכמה מהכלים בערכת הכלים של מדעי הרוח הדיגיטליים כדי להמשיך לחקור תחום זה.

מדע הנתונים + קיימות

מדע הנתונים וקיימות - סקיצה מאת @nitya

אג'נדה 2030 לפיתוח בר קיימא - שאומצה על ידי כל חברי האומות המאוחדות בשנת 2015 - מזהה 17 יעדים כולל כאלה שמתמקדים בהגנה על כדור הארץ מפני התדרדרות והשפעת שינויי האקלים. יוזמת Microsoft Sustainability תומכת ביעדים אלה על ידי חקר דרכים שבהן פתרונות טכנולוגיים יכולים לתמוך ולבנות עתיד בר קיימא יותר עם מיקוד ב-4 יעדים - להיות שליליים בפחמן, חיוביים במים, אפס פסולת, וביודיוורסיים עד 2030.

התמודדות עם אתגרים אלה בצורה רחבת היקף ובזמן דורשת חשיבה בקנה מידה ענני - ונתונים רחבי היקף. יוזמת Planetary Computer מספקת 4 רכיבים כדי לעזור למדעני נתונים ולמפתחים במאמץ זה:

• קטלוג נתונים - עם פטה-בייטים של נתוני מערכות כדור הארץ (חינם ומאוחסן ב-Azure).

• Planetary API - כדי לעזור למשתמשים לחפש נתונים רלוונטיים במרחב ובזמן.

• Hub - סביבה מנוהלת למדענים לעיבוד מערכי נתונים גיאו-מרחביים עצומים.

• יישומים - מציגים מקרי שימוש וכלים לתובנות קיימות. פרויקט המחשב הפלנטרי נמצא כרגע בתצוגה מקדימה (נכון לספטמבר 2021) - כך תוכלו להתחיל לתרום לפתרונות קיימות באמצעות מדע הנתונים.

• בקשו גישה כדי להתחיל לחקור ולהתחבר לעמיתים.

• חקור את התיעוד כדי להבין אילו מערכי נתונים ו-APIs נתמכים.

• חקור יישומים כמו מעקב אחר מערכות אקולוגיות לקבלת השראה לרעיונות ליישומים.

חשבו כיצד תוכלו להשתמש בהדמיית נתונים כדי לחשוף או להעצים תובנות רלוונטיות בתחומים כמו שינויי אקלים וכריתת יערות. או חשבו כיצד ניתן להשתמש בתובנות כדי ליצור חוויות משתמש חדשות שמניעות שינויים התנהגותיים לחיים ברי קיימא יותר.

מדע הנתונים + סטודנטים

דיברנו על יישומים בעולם האמיתי בתעשייה ובמחקר, וחקרנו דוגמאות ליישומי מדע הנתונים במדעי הרוח הדיגיטליים ובקיימות. אז איך תוכלו לפתח את הכישורים שלכם ולשתף את המומחיות שלכם כמתחילים במדע הנתונים?

הנה כמה דוגמאות לפרויקטים של סטודנטים במדע הנתונים שיתנו לכם השראה.

• בית הספר לקיץ במדע הנתונים של MSR עם פרויקטים ב-GitHub שחוקרים נושאים כמו:
  • הטיה גזעית בשימוש בכוח על ידי המשטרה | Github
  • אמינות מערכת הרכבת התחתית של ניו יורק | Github
• דיגיטציה של תרבות חומרית: חקר התפלגויות סוציו-אקונומיות בסירקאפ - מאת אורנלה אלטוניאן והצוות בקלרמונט, תוך שימוש ב-ArcGIS StoryMaps.

🚀 אתגר

חפשו מאמרים שממליצים על פרויקטים במדע הנתונים שמתאימים למתחילים - כמו 50 תחומי הנושא האלו או 21 רעיונות לפרויקטים האלו או 16 הפרויקטים האלו עם קוד מקור שתוכלו לפרק ולהרכיב מחדש. ואל תשכחו לכתוב בלוג על מסעות הלמידה שלכם ולשתף את התובנות שלכם איתנו.

חידון לאחר ההרצאה

חידון לאחר ההרצאה

סקירה ולמידה עצמית

רוצים לחקור עוד מקרי שימוש? הנה כמה מאמרים רלוונטיים:

• 17 יישומים ודוגמאות של מדע הנתונים - יולי 2021
• 11 יישומים עוצרי נשימה של מדע הנתונים בעולם האמיתי - מאי 2021
• מדע הנתונים בעולם האמיתי - אוסף מאמרים
• מדע הנתונים ב: חינוך, חקלאות, פיננסים, סרטים ועוד.

משימה

חקור מערך נתונים של המחשב הפלנטרי

---

כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. בעוד שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפתו המקורית נחשב למקור הסמכותי. למידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי בני אדם. איננו נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.