12 KiB
מבוא למדעי הנתונים בענן
 |
|---|
| מדעי הנתונים בענן: מבוא - סקיצה מאת @nitya |
בשיעור זה תלמדו את העקרונות הבסיסיים של הענן, תבינו מדוע כדאי להשתמש בשירותי ענן לניהול פרויקטים של מדעי הנתונים, ונבחן כמה דוגמאות לפרויקטים של מדעי הנתונים שמתבצעים בענן.
שאלון לפני השיעור
מהו הענן?
הענן, או מחשוב ענן, הוא אספקת מגוון רחב של שירותי מחשוב בתשלום לפי שימוש, המתארחים בתשתית דרך האינטרנט. השירותים כוללים פתרונות כמו אחסון, מסדי נתונים, רשתות, תוכנה, אנליטיקה ושירותים חכמים.
נהוג להבחין בין ענן ציבורי, ענן פרטי וענן היברידי באופן הבא:
- ענן ציבורי: ענן ציבורי בבעלות ומופעל על ידי ספק שירותי ענן צד שלישי, המספק את משאבי המחשוב שלו דרך האינטרנט לציבור הרחב.
- ענן פרטי: מתייחס למשאבי מחשוב ענן המשמשים באופן בלעדי עסק או ארגון יחיד, עם שירותים ותשתית המתוחזקים ברשת פרטית.
- ענן היברידי: מערכת המשלבת עננים ציבוריים ופרטיים. משתמשים בוחרים מרכז נתונים מקומי, תוך אפשרות להריץ נתונים ויישומים על אחד או יותר מעננים ציבוריים.
רוב שירותי מחשוב הענן מתחלקים לשלוש קטגוריות: תשתית כשירות (IaaS), פלטפורמה כשירות (PaaS) ותוכנה כשירות (SaaS).
- תשתית כשירות (IaaS): משתמשים שוכרים תשתית IT כמו שרתים ומכונות וירטואליות (VMs), אחסון, רשתות ומערכות הפעלה.
- פלטפורמה כשירות (PaaS): משתמשים שוכרים סביבה לפיתוח, בדיקה, אספקה וניהול של יישומי תוכנה. אין צורך לדאוג להקמת או ניהול התשתית הבסיסית של שרתים, אחסון, רשתות ומסדי נתונים הנדרשים לפיתוח.
- תוכנה כשירות (SaaS): משתמשים מקבלים גישה ליישומי תוכנה דרך האינטרנט, לפי דרישה ובדרך כלל על בסיס מנוי. אין צורך לדאוג לאירוח וניהול יישום התוכנה, התשתית הבסיסית או תחזוקה כמו עדכוני תוכנה ותיקוני אבטחה.
חלק מספקי הענן הגדולים ביותר הם Amazon Web Services, Google Cloud Platform ו-Microsoft Azure.
מדוע לבחור בענן עבור מדעי הנתונים?
מפתחים ואנשי IT בוחרים לעבוד עם הענן מסיבות רבות, כולל:
- חדשנות: ניתן לשלב שירותים חדשניים שפותחו על ידי ספקי הענן ישירות באפליקציות שלכם.
- גמישות: משלמים רק עבור השירותים הנדרשים וניתן לבחור מתוך מגוון רחב של שירותים. בדרך כלל משלמים לפי שימוש ומסתגלים לצרכים המשתנים.
- תקציב: אין צורך בהשקעות ראשוניות לרכישת חומרה ותוכנה, הקמת והפעלת מרכזי נתונים מקומיים, ומשלמים רק עבור מה שמשתמשים בו.
- יכולת הרחבה: המשאבים יכולים להתרחב בהתאם לצרכי הפרויקט, כך שהאפליקציות יכולות להשתמש ביותר או פחות כוח מחשוב, אחסון ורוחב פס, בהתאם לגורמים חיצוניים בכל זמן נתון.
- פרודוקטיביות: ניתן להתמקד בעסק במקום לבזבז זמן על משימות שניתן לנהל על ידי אחרים, כמו ניהול מרכזי נתונים.
- אמינות: מחשוב ענן מציע דרכים רבות לגיבוי רציף של הנתונים וניתן להקים תוכניות התאוששות מאסון כדי לשמור על העסק והשירותים פעילים גם בזמני משבר.
- אבטחה: ניתן ליהנות ממדיניות, טכנולוגיות ובקרות שמחזקות את אבטחת הפרויקט.
אלו הן כמה מהסיבות הנפוצות ביותר לכך שאנשים בוחרים להשתמש בשירותי ענן. עכשיו, כשיש לנו הבנה טובה יותר של מהו הענן ומהם היתרונות המרכזיים שלו, נבחן באופן ספציפי את עבודתם של מדעני נתונים ומפתחים העובדים עם נתונים, וכיצד הענן יכול לעזור להם להתמודד עם כמה מהאתגרים שהם עשויים להיתקל בהם:
- אחסון כמויות גדולות של נתונים: במקום לקנות, לנהל ולהגן על שרתים גדולים, ניתן לאחסן את הנתונים ישירות בענן, עם פתרונות כמו Azure Cosmos DB, Azure SQL Database ו-Azure Data Lake Storage.
- ביצוע אינטגרציה של נתונים: אינטגרציה של נתונים היא חלק חיוני במדעי הנתונים, שמאפשר מעבר מאיסוף נתונים לפעולה. עם שירותי אינטגרציה המוצעים בענן, ניתן לאסוף, לשנות ולשלב נתונים ממקורות שונים למחסן נתונים אחד, עם Data Factory.
- עיבוד נתונים: עיבוד כמויות גדולות של נתונים דורש כוח מחשוב רב, ולא לכולם יש גישה למכונות חזקות מספיק לכך, ולכן רבים בוחרים להשתמש ישירות בכוח המחשוב העצום של הענן כדי להריץ ולפרוס את הפתרונות שלהם.
- שימוש בשירותי אנליטיקה של נתונים: שירותי ענן כמו Azure Synapse Analytics, Azure Stream Analytics ו-Azure Databricks עוזרים להפוך את הנתונים לתובנות שניתן לפעול לפיהן.
- שימוש בשירותי למידת מכונה ובינה מלאכותית: במקום להתחיל מאפס, ניתן להשתמש באלגוריתמים של למידת מכונה שמציע ספק הענן, עם שירותים כמו AzureML. ניתן גם להשתמש בשירותים קוגניטיביים כמו דיבור לטקסט, טקסט לדיבור, ראייה ממוחשבת ועוד.
דוגמאות למדעי הנתונים בענן
בואו נעשה את זה מוחשי יותר על ידי בחינת כמה תרחישים.
ניתוח רגשות במדיה חברתית בזמן אמת
נתחיל עם תרחיש שנחקר לעיתים קרובות על ידי אנשים שמתחילים עם למידת מכונה: ניתוח רגשות במדיה חברתית בזמן אמת.
נניח שאתם מנהלים אתר חדשות ורוצים לנצל נתונים חיים כדי להבין איזה תוכן עשוי לעניין את הקוראים שלכם. כדי לדעת יותר על כך, ניתן לבנות תוכנית שמבצעת ניתוח רגשות בזמן אמת של נתונים מפרסומים בטוויטר, בנושאים הרלוונטיים לקוראים שלכם.
המדדים המרכזיים שתבדקו הם נפח הציוצים בנושאים ספציפיים (האשטגים) ורגשות, שנקבעים באמצעות כלי אנליטיקה שמבצעים ניתוח רגשות סביב הנושאים המוגדרים.
השלבים הדרושים ליצירת הפרויקט הם:
- יצירת Event Hub לקלט סטרימינג, שיאסוף נתונים מטוויטר.
- הגדרת והפעלת אפליקציית לקוח טוויטר, שתשתמש ב-Streaming APIs של טוויטר.
- יצירת משימת Stream Analytics.
- הגדרת קלט המשימה ושאילתה.
- יצירת יעד פלט והגדרת פלט המשימה.
- הפעלת המשימה.
לצפייה בתהליך המלא, עיינו ב-תיעוד.
ניתוח מאמרים מדעיים
ניקח דוגמה נוספת לפרויקט שנוצר על ידי דמיטרי סושניקוב, אחד ממחברי הקורס הזה.
דמיטרי יצר כלי שמנתח מאמרים על COVID. על ידי סקירת הפרויקט הזה, תוכלו לראות כיצד ניתן ליצור כלי שמפיק ידע ממאמרים מדעיים, משיג תובנות ועוזר לחוקרים לנווט דרך אוספים גדולים של מאמרים בצורה יעילה.
השלבים השונים בפרויקט כוללים:
- חילוץ ועיבוד מידע עם Text Analytics for Health.
- שימוש ב-Azure ML להקבלה של תהליכי עיבוד.
- אחסון ושאילת מידע עם Cosmos DB.
- יצירת לוח מחוונים אינטראקטיבי לחקר נתונים והמחשה באמצעות Power BI.
לצפייה בתהליך המלא, בקרו ב-הבלוג של דמיטרי.
כפי שניתן לראות, ניתן לנצל שירותי ענן בדרכים רבות לביצוע מדעי נתונים.
הערת שוליים
מקורות:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
שאלון לאחר השיעור
שאלון לאחר השיעור
משימה
כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור סמכותי. עבור מידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי אדם. איננו נושאים באחריות לאי הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.