| علم البيانات في العالم الحقيقي - _رسم توضيحي بواسطة [@nitya](https://twitter.com/nitya)_ |
| علم البيانات في العالم الحقيقي - _رسم توضيحي من [@nitya](https://twitter.com/nitya)_ |
نحن على وشك إنهاء هذه الرحلة التعليمية!
بدأنا بتعريف علم البيانات والأخلاقيات، واستكشفنا أدوات وتقنيات مختلفة لتحليل البيانات وتصويرها، وراجعنا دورة حياة علم البيانات، وتعرفنا على كيفية توسيع وأتمتة سير العمل في علم البيانات باستخدام خدمات الحوسبة السحابية. لذا، ربما تتساءل: _"كيف يمكنني تطبيق كل هذه المعرفة في سياقات العالم الحقيقي؟"_
بدأنا بتعريفات علم البيانات والأخلاقيات، واستكشفنا أدوات وتقنيات مختلفة لتحليل البيانات وتصويرها، وراجعنا دورة حياة علم البيانات، واطلعنا على كيفية توسيع وأتمتة سير العمل في علم البيانات باستخدام خدمات الحوسبة السحابية. لذا، ربما تتساءل: _"كيف يمكنني تطبيق كل هذه المعارف في سياقات العالم الحقيقي؟"_
في هذه الدرس، سنستكشف تطبيقات علم البيانات في الصناعة ونغوص في أمثلة محددة في مجالات البحث، العلوم الإنسانية الرقمية، والاستدامة. سننظر في فرص مشاريع الطلاب ونختتم بموارد مفيدة لمساعدتك على مواصلة رحلتك التعليمية!
في هذا الدرس، سنستكشف تطبيقات علم البيانات في الصناعة ونغوص في أمثلة محددة في مجالات البحث، العلوم الإنسانية الرقمية، والاستدامة. سنلقي نظرة على فرص مشاريع الطلاب ونختتم بموارد مفيدة لمساعدتك على مواصلة رحلتك التعليمية!
## اختبار ما قبل المحاضرة
@ -25,50 +25,50 @@ CO_OP_TRANSLATOR_METADATA:
## علم البيانات + الصناعة
بفضل ديمقراطية الذكاء الاصطناعي، أصبح من السهل على المطورين تصميم ودمج اتخاذ القرارات المدعومة بالذكاء الاصطناعي والرؤى المستندة إلى البيانات في تجارب المستخدم وسير العمل التطويري. إليك بعض الأمثلة على كيفية تطبيق علم البيانات في العالم الحقيقي عبر الصناعة:
بفضل ديمقراطية الذكاء الاصطناعي، أصبح من السهل على المطورين تصميم ودمج اتخاذ القرارات المدعوم بالذكاء الاصطناعي والرؤى المستندة إلى البيانات في تجارب المستخدم وسير العمل التطويري. إليك بعض الأمثلة على كيفية تطبيق علم البيانات في العالم الحقيقي عبر الصناعة:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) استخدم علم البيانات لربط مصطلحات البحث باتجاهات الإنفلونزا. على الرغم من وجود عيوب في النهج، إلا أنه أثار الوعي بالإمكانيات (والتحديات) للتنبؤات الصحية المستندة إلى البيانات.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) استخدم علم البيانات لربط مصطلحات البحث باتجاهات الإنفلونزا. على الرغم من وجود عيوب في النهج، إلا أنه أثار الوعي بالإمكانات (والتحديات) للتنبؤات الصحية المستندة إلى البيانات.
* [تنبؤات مسارات UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - يشرح كيف تستخدم UPS علم البيانات والتعلم الآلي للتنبؤ بالمسارات المثلى للتسليم، مع الأخذ في الاعتبار ظروف الطقس، أنماط المرور، المواعيد النهائية للتسليم والمزيد.
* [توقعات مسارات UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - يوضح كيف تستخدم UPS علم البيانات والتعلم الآلي للتنبؤ بالمسارات المثلى للتوصيل، مع الأخذ في الاعتبار ظروف الطقس، أنماط المرور، المواعيد النهائية للتسليم والمزيد.
* [تصوير مسارات سيارات الأجرة في نيويورك](http://chriswhong.github.io/nyctaxi/) - البيانات التي تم جمعها باستخدام [قوانين حرية المعلومات](https://chriswhong.com/open-data/foil_nyc_taxi/) ساعدت في تصوير يوم في حياة سيارات الأجرة في نيويورك، مما يساعدنا على فهم كيفية تنقلها في المدينة المزدحمة، الأموال التي تجنيها، ومدة الرحلات خلال كل فترة 24 ساعة.
* [تصوير مسارات سيارات الأجرة في نيويورك](http://chriswhong.github.io/nyctaxi/) - البيانات التي تم جمعها باستخدام [قوانين حرية المعلومات](https://chriswhong.com/open-data/foil_nyc_taxi/) ساعدت في تصور يوم في حياة سيارات الأجرة في نيويورك، مما يساعدنا على فهم كيفية تنقلها في المدينة المزدحمة، الأموال التي تحققها، ومدة الرحلات على مدار 24 ساعة.
* [منصة علم البيانات في Uber](https://eng.uber.com/dsw/) - تستخدم البيانات (مثل مواقع الالتقاط والتوصيل، مدة الرحلة، المسارات المفضلة، إلخ) التي يتم جمعها من ملايين الرحلات اليومية لبناء أداة تحليل بيانات تساعد في التسعير، السلامة، اكتشاف الاحتيال واتخاذ قرارات التنقل.
* [منصة علم البيانات في أوبر](https://eng.uber.com/dsw/) - تستخدم البيانات (مثل مواقع الالتقاط والتوصيل، مدة الرحلة، المسارات المفضلة، إلخ) التي يتم جمعها من ملايين الرحلات اليومية لبناء أداة تحليل بيانات تساعد في التسعير، السلامة، اكتشاف الاحتيال واتخاذ قرارات التنقل.
* [تحليلات الرياضة](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - تركز على _التحليلات التنبؤية_ (تحليل الفرق واللاعبين - مثل [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - وإدارة المشجعين) و_تصوير البيانات_ (لوحات الفرق والمشجعين، الألعاب، إلخ) مع تطبيقات مثل اكتشاف المواهب، المراهنات الرياضية وإدارة المخزون/المكان.
* [تحليلات الرياضة](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - تركز على _التحليلات التنبؤية_ (تحليل الفرق واللاعبين - مثل [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - وإدارة الجماهير) و_تصوير البيانات_ (لوحات التحكم للفرق والجماهير، الألعاب، إلخ) مع تطبيقات مثل اكتشاف المواهب، المراهنات الرياضية وإدارة المخزون/الملاعب.
* [علم البيانات في البنوك](https://data-flair.training/blogs/data-science-in-banking/) - يبرز قيمة علم البيانات في صناعة التمويل مع تطبيقات تتراوح من نمذجة المخاطر واكتشاف الاحتيال، إلى تقسيم العملاء، التنبؤ في الوقت الحقيقي وأنظمة التوصية. التحليلات التنبؤية تدفع أيضًا تدابير حاسمة مثل [درجات الائتمان](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [علم البيانات في البنوك](https://data-flair.training/blogs/data-science-in-banking/) - يبرز قيمة علم البيانات في صناعة التمويل مع تطبيقات تتراوح من نمذجة المخاطر واكتشاف الاحتيال، إلى تقسيم العملاء، التنبؤ في الوقت الحقيقي وأنظمة التوصية. التحليلات التنبؤية تدفع أيضًا تدابير حاسمة مثل [درجات الائتمان](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [علم البيانات في الرعاية الصحية](https://data-flair.training/blogs/data-science-in-healthcare/) - يبرز تطبيقات مثل التصوير الطبي (مثل MRI، الأشعة السينية، التصوير المقطعي)، الجينوميات (تسلسل الحمض النووي)، تطوير الأدوية (تقييم المخاطر، التنبؤ بالنجاح)، التحليلات التنبؤية (رعاية المرضى ولوجستيات الإمداد)، تتبع الأمراض والوقاية منها، إلخ.
* [علم البيانات في الرعاية الصحية](https://data-flair.training/blogs/data-science-in-healthcare/) - يبرز تطبيقات مثل التصوير الطبي (مثل التصوير بالرنين المغناطيسي، الأشعة السينية، التصوير المقطعي)، الجينوميات (تسلسل الحمض النووي)، تطوير الأدوية (تقييم المخاطر، التنبؤ بالنجاح)، التحليلات التنبؤية (رعاية المرضى ولوجستيات الإمداد)، تتبع الأمراض والوقاية منها، إلخ.
 حقوق الصورة: [Data Flair: 6 Amazing Data Science Applications](https://data-flair.training/blogs/data-science-applications/)
 مصدر الصورة: [Data Flair: 6 Amazing Data Science Applications](https://data-flair.training/blogs/data-science-applications/)
تُظهر الصورة مجالات أخرى وأمثلة لتطبيق تقنيات علم البيانات. هل تريد استكشاف تطبيقات أخرى؟ تحقق من قسم [المراجعة والدراسة الذاتية](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) أدناه.
تُظهر الصورة مجالات وأمثلة أخرى لتطبيق تقنيات علم البيانات. هل تريد استكشاف تطبيقات أخرى؟ تحقق من قسم [المراجعة والدراسة الذاتية](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) أدناه.
## علم البيانات + البحث
| ](../../sketchnotes/20-DataScience-Research.png) |
| ](../../sketchnotes/20-DataScience-Research.png) |
| علم البيانات والبحث - _رسم توضيحي بواسطة [@nitya](https://twitter.com/nitya)_ |
| علم البيانات والبحث - _رسم توضيحي من [@nitya](https://twitter.com/nitya)_ |
بينما تركز التطبيقات الواقعية غالبًا على حالات الاستخدام الصناعي على نطاق واسع، يمكن أن تكون تطبيقات ومشاريع _البحث_ مفيدة من منظورين:
* _فرص الابتكار_ - استكشاف النماذج الأولية السريعة للمفاهيم المتقدمة واختبار تجارب المستخدم للتطبيقات المستقبلية.
* _تحديات النشر_ - التحقيق في الأضرار المحتملة أو العواقب غير المقصودة لتقنيات علم البيانات في سياقات العالم الحقيقي.
* _تحديات النشر_ - التحقيق في الأضرار المحتملة أو العواقب غير المقصودة لتقنيات علم البيانات في السياقات الواقعية.
بالنسبة للطلاب، يمكن أن توفر هذه المشاريع البحثية فرصًا للتعلم والتعاون التي تحسن فهمك للموضوع، وتوسع وعيك وتفاعلك مع الأشخاص أو الفرق ذات الصلة التي تعمل في مجالات الاهتمام. فما هي شكل المشاريع البحثية وكيف يمكن أن تحدث تأثيرًا؟
بالنسبة للطلاب، يمكن أن توفر هذه المشاريع البحثية فرصًا للتعلم والتعاون تعزز فهمك للموضوع، وتوسع وعيك وتفاعلك مع الأشخاص أو الفرق ذات الصلة التي تعمل في مجالات اهتمامك. فما هي المشاريع البحثية وكيف يمكن أن تحدث تأثيرًا؟
لننظر إلى مثال واحد - [دراسة MIT Gender Shades](http://gendershades.org/overview.html) من Joy Buolamwini (MIT Media Labs) مع [ورقة بحثية مميزة](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) شاركت في تأليفها مع Timnit Gebru (حينها في Microsoft Research) التي ركزت على:
دعونا نلقي نظرة على مثال واحد - [دراسة Gender Shades من MIT](http://gendershades.org/overview.html) التي أجرتها جوي بولامويني (مختبرات MIT Media) مع [ورقة بحثية مميزة](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) شاركت في تأليفها مع تيمنيت جيبرو (حينها في Microsoft Research) والتي ركزت على:
***ما الهدف:** كان الهدف من المشروع البحثي هو _تقييم التحيز الموجود في خوارزميات تحليل الوجه الآلية ومجموعات البيانات_ بناءً على النوع ولون البشرة.
* **لماذا:** يتم استخدام تحليل الوجه في مجالات مثل إنفاذ القانون، أمن المطارات، أنظمة التوظيف والمزيد - سياقات حيث يمكن أن تؤدي التصنيفات غير الدقيقة (مثل التحيز) إلى أضرار اقتصادية واجتماعية محتملة للأفراد أو المجموعات المتأثرة. فهم (والقضاء أو التخفيف من) التحيزات هو المفتاح للعدالة في الاستخدام.
***كيف:** أدرك الباحثون أن المعايير الحالية تستخدم بشكل رئيسي موضوعات ذات بشرة فاتحة، وقاموا بتجميع مجموعة بيانات جديدة (1000+ صورة) كانت _أكثر توازنًا_ من حيث النوع ولون البشرة. تم استخدام مجموعة البيانات لتقييم دقة ثلاثة منتجات لتصنيف النوع (من Microsoft، IBM وFace++).
***ما الهدف:** كان الهدف من المشروع البحثي هو _تقييم التحيز الموجود في خوارزميات وتحليلات الوجه الآلية_ بناءً على النوع ولون البشرة.
* **لماذا:** تُستخدم تحليلات الوجه في مجالات مثل إنفاذ القانون، أمن المطارات، أنظمة التوظيف والمزيد - وهي سياقات يمكن أن تسبب فيها التصنيفات غير الدقيقة (مثلًا بسبب التحيز) أضرارًا اقتصادية واجتماعية محتملة للأفراد أو المجموعات المتأثرة. فهم (والتخلص أو التخفيف من) التحيزات هو المفتاح لتحقيق العدالة في الاستخدام.
***كيف:** أدرك الباحثون أن المعايير الحالية استخدمت في الغالب موضوعات ذات بشرة فاتحة، وقاموا بتجميع مجموعة بيانات جديدة (1000+ صورة) كانت _أكثر توازنًا_ من حيث النوع ولون البشرة. تم استخدام مجموعة البيانات لتقييم دقة ثلاثة منتجات لتصنيف النوع (من Microsoft، IBM وFace++).
أظهرت النتائج أنه على الرغم من أن دقة التصنيف العامة كانت جيدة، إلا أن هناك فرقًا ملحوظًا في معدلات الخطأ بين المجموعات الفرعية المختلفة - مع ارتفاع معدلات **التصنيف الخاطئ** للإناث أو الأشخاص ذوي البشرة الداكنة، مما يشير إلى وجود تحيز.
أظهرت النتائج أنه على الرغم من أن دقة التصنيف الإجمالية كانت جيدة، إلا أن هناك فرقًا ملحوظًا في معدلات الخطأ بين المجموعات الفرعية المختلفة - حيث كان **الخطأ في تحديد النوع** أعلى للإناث أو الأشخاص ذوي البشرة الداكنة، مما يشير إلى وجود تحيز.
**النتائج الرئيسية:** أثارت الوعي بأن علم البيانات يحتاج إلى المزيد من _مجموعات البيانات الممثلة_ (مجموعات فرعية متوازنة) والمزيد من _الفرق الشاملة_ (خلفيات متنوعة) للتعرف على هذه التحيزات والقضاء عليها أو التخفيف منها في وقت مبكر في حلول الذكاء الاصطناعي. جهود البحث مثل هذه تلعب أيضًا دورًا رئيسيًا في تعريف العديد من المؤسسات بمبادئ وممارسات _الذكاء الاصطناعي المسؤول_ لتحسين العدالة عبر منتجات وعمليات الذكاء الاصطناعي الخاصة بها.
**النتائج الرئيسية:** أثارت الدراسة الوعي بأن علم البيانات يحتاج إلى _مجموعات بيانات تمثيلية أكثر_ (مجموعات فرعية متوازنة) وفرق _أكثر شمولية_ (خلفيات متنوعة) للتعرف على مثل هذه التحيزات والقضاء عليها أو التخفيف منها في وقت مبكر في حلول الذكاء الاصطناعي. كما أن الجهود البحثية مثل هذه تلعب دورًا أساسيًا في تعريف العديد من المؤسسات بالمبادئ والممارسات الخاصة بـ _الذكاء الاصطناعي المسؤول_ لتحسين العدالة عبر منتجاتها وعملياتها.
**هل تريد معرفة المزيد عن جهود البحث ذات الصلة في Microsoft؟**
**هل تريد معرفة المزيد عن الجهود البحثية ذات الصلة في Microsoft؟**
* تحقق من [مشاريع Microsoft Research](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) في مجال الذكاء الاصطناعي.
* استكشف مشاريع الطلاب من [مدرسة Microsoft Research Data Science الصيفية](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -76,40 +76,40 @@ CO_OP_TRANSLATOR_METADATA:
## علم البيانات + العلوم الإنسانية
| ](../../sketchnotes/20-DataScience-Humanities.png) |
| ](../../sketchnotes/20-DataScience-Humanities.png) |
| علم البيانات والعلوم الإنسانية الرقمية - _رسم توضيحي بواسطة [@nitya](https://twitter.com/nitya)_ |
| علم البيانات والعلوم الإنسانية الرقمية - _رسم توضيحي من [@nitya](https://twitter.com/nitya)_ |
تم تعريف العلوم الإنسانية الرقمية [على أنها](https://digitalhumanities.stanford.edu/about-dh-stanford) "مجموعة من الممارسات والمناهج التي تجمع بين الأساليب الحاسوبية والاستفسارات الإنسانية". مشاريع [Stanford](https://digitalhumanities.stanford.edu/projects) مثل _"إعادة تشغيل التاريخ"_ و_"التفكير الشعري"_ توضح العلاقة بين [العلوم الإنسانية الرقمية وعلم البيانات](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - مع التركيز على تقنيات مثل تحليل الشبكات، تصوير المعلومات، التحليل المكاني والنصي التي يمكن أن تساعدنا في إعادة النظر في مجموعات البيانات التاريخية والأدبية لاستخلاص رؤى جديدة ومنظورات.
تم تعريف العلوم الإنسانية الرقمية [على أنها](https://digitalhumanities.stanford.edu/about-dh-stanford) "مجموعة من الممارسات والأساليب التي تجمع بين الطرق الحاسوبية والاستفسارات الإنسانية". مشاريع [Stanford](https://digitalhumanities.stanford.edu/projects) مثل _"إعادة تشغيل التاريخ"_ و_"التفكير الشعري"_ توضح العلاقة بين [العلوم الإنسانية الرقمية وعلم البيانات](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - مع التركيز على تقنيات مثل تحليل الشبكات، تصور المعلومات، التحليل المكاني والنصي التي يمكن أن تساعدنا في إعادة النظر في مجموعات البيانات التاريخية والأدبية لاستخلاص رؤى ومنظورات جديدة.
*هل تريد استكشاف وتوسيع مشروع في هذا المجال؟*
تحقق من ["إميلي ديكنسون ومقياس المزاج"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - مثال رائع من [Jen Looper](https://twitter.com/jenlooper) يسأل كيف يمكننا استخدام علم البيانات لإعادة النظر في الشعر المألوف وإعادة تقييم معناه ومساهمات مؤلفه في سياقات جديدة. على سبيل المثال، _هل يمكننا التنبؤ بالموسم الذي كتب فيه القصيدة من خلال تحليل نغمتها أو مشاعرها_ - وماذا يخبرنا هذا عن حالة المؤلف النفسية خلال الفترة ذات الصلة؟
تحقق من ["إميلي ديكنسون ومقياس المزاج"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - مثال رائع من [جين لوبر](https://twitter.com/jenlooper) يسأل كيف يمكننا استخدام علم البيانات لإعادة النظر في الشعر المألوف وإعادة تقييم معناه ومساهمات مؤلفه في سياقات جديدة. على سبيل المثال، _هل يمكننا التنبؤ بالموسم الذي كتب فيه القصيدة من خلال تحليل نغمتها أو مشاعرها_ - وماذا يخبرنا هذا عن الحالة النفسية للمؤلف خلال الفترة ذات الصلة؟
للإجابة على هذا السؤال، نتبع خطوات دورة حياة علم البيانات:
* [`اكتساب البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - لجمع مجموعة بيانات ذات صلة للتحليل. الخيارات تشمل استخدام واجهة برمجة التطبيقات (مثل [Poetry DB API](https://poetrydb.org/index.html)) أو استخراج صفحات الويب (مثل [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) باستخدام أدوات مثل [Scrapy](https://scrapy.org/).
* [`تنظيف البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - يشرح كيفية تنسيق النص، تنظيفه وتبسيطه باستخدام أدوات أساسية مثل Visual Studio Code وMicrosoft Excel.
* [`تحليل البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - يشرح كيفية استيراد مجموعة البيانات إلى "دفاتر الملاحظات" لتحليلها باستخدام حزم Python (مثل pandas، numpy وmatplotlib) لتنظيم البيانات وتصويرها.
* [`تحليل المشاعر`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - يشرح كيفية دمج خدمات السحابة مثل Text Analytics، باستخدام أدوات منخفضة الكود مثل [Power Automate](https://flow.microsoft.com/en-us/) لأتمتة سير العمل لمعالجة البيانات.
* [`اكتساب البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - لجمع مجموعة بيانات ذات صلة للتحليل. الخيارات تشمل استخدام واجهة برمجة التطبيقات (مثل [Poetry DB API](https://poetrydb.org/index.html)) أو استخراج صفحات الويب (مثل [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) باستخدام أدوات مثل [Scrapy](https://scrapy.org/).
* [`تنظيف البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - يوضح كيفية تنسيق النصوص وتنقيتها وتبسيطها باستخدام أدوات أساسية مثل Visual Studio Code وMicrosoft Excel.
* [`تحليل البيانات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - يوضح كيفية استيراد مجموعة البيانات إلى "دفاتر الملاحظات" لتحليلها باستخدام حزم Python (مثل pandas، numpy وmatplotlib) لتنظيم البيانات وتصويرها.
* [`تحليل المشاعر`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - يوضح كيفية دمج الخدمات السحابية مثل Text Analytics، باستخدام أدوات منخفضة الكود مثل [Power Automate](https://flow.microsoft.com/en-us/) لأتمتة سير العمل لمعالجة البيانات.
باستخدام هذا سير العمل، يمكننا استكشاف التأثيرات الموسمية على مشاعر القصائد، ومساعدتنا في تشكيل وجهات نظرنا الخاصة حول المؤلف. جربه بنفسك - ثم قم بتوسيع دفتر الملاحظات لطرح أسئلة أخرى أو تصور البيانات بطرق جديدة!
باستخدام هذا النهج، يمكننا استكشاف التأثيرات الموسمية على مشاعر القصائد، ومساعدتنا في تشكيل وجهات نظرنا الخاصة حول المؤلف. جربها بنفسك - ثم قم بتوسيع دفتر الملاحظات لطرح أسئلة أخرى أو تصور البيانات بطرق جديدة!
> يمكنك استخدام بعض الأدوات في [مجموعة أدوات العلوم الإنسانية الرقمية](https://github.com/Digital-Humanities-Toolkit) لمتابعة هذه المسارات البحثية.
> يمكنك استخدام بعض الأدوات الموجودة في [مجموعة أدوات العلوم الإنسانية الرقمية](https://github.com/Digital-Humanities-Toolkit) لمتابعة هذه الاستفسارات.
## علم البيانات + الاستدامة
| ](../../sketchnotes/20-DataScience-Sustainability.png) |
| ](../../sketchnotes/20-DataScience-Sustainability.png) |
| علم البيانات والاستدامة - _رسم توضيحي بواسطة [@nitya](https://twitter.com/nitya)_ |
| علم البيانات والاستدامة - _رسم توضيحي من [@nitya](https://twitter.com/nitya)_ |
[أجندة 2030 للتنمية المستدامة](https://sdgs.un.org/2030agenda) - التي اعتمدها جميع أعضاء الأمم المتحدة في عام 2015 - تحدد 17 هدفًا بما في ذلك تلك التي تركز على **حماية الكوكب** من التدهور وتأثير تغير المناخ. تدعم مبادرة [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) هذه الأهداف من خلال استكشاف الطرق التي يمكن أن تدعم بها الحلول التقنية بناء مستقبل أكثر استدامة مع [التركيز على 4 أهداف](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - أن تكون سلبية الكربون، إيجابية المياه، صفر نفايات، ومتنوعة بيولوجيًا بحلول عام 2030.
[أجندة 2030 للتنمية المستدامة](https://sdgs.un.org/2030agenda) - التي اعتمدها جميع أعضاء الأمم المتحدة في 2015 - تحدد 17 هدفًا بما في ذلك الأهداف التي تركز على **حماية الكوكب** من التدهور وتأثير تغير المناخ. تدعم مبادرة [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) هذه الأهداف من خلال استكشاف الطرق التي يمكن أن تدعم بها الحلول التكنولوجية بناء مستقبل أكثر استدامة مع [التركيز على 4 أهداف](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - أن تكون سلبية الكربون، إيجابية المياه، صفر نفايات، ومتنوعة بيولوجيًا بحلول عام 2030.
معالجة هذه التحديات بطريقة قابلة للتوسع وفي الوقت المناسب تتطلب تفكيرًا على نطاق السحابة - وبيانات ضخمة. توفر مبادرة [Planetary Computer](https://planetarycomputer.microsoft.com/) 4 مكونات لمساعدة علماء البيانات والمطورين في هذا الجهد:
معالجة هذه التحديات بطريقة قابلة للتوسع وفي الوقت المناسب تتطلب تفكيرًا على مستوى السحابة - وبيانات ضخمة. توفر مبادرة [Planetary Computer](https://planetarycomputer.microsoft.com/) 4 مكونات لمساعدة علماء البيانات والمطورين في هذا الجهد:
* [كتالوج البيانات](https://planetarycomputer.microsoft.com/catalog) - يحتوي على بيتابايت من بيانات أنظمة الأرض (مجانية ومستضافة على Azure).
* [واجهة برمجة تطبيقات الكوكب](https://planetarycomputer.microsoft.com/docs/reference/stac/) - لمساعدة المستخدمين في البحث عن البيانات ذات الصلة عبر المكان والزمان.
* [المركز](https://planetarycomputer.microsoft.com/docs/overview/environment/) - بيئة مُدارة للعلماء لمعالجة مجموعات البيانات الجغرافية الضخمة.
* [التطبيقات](https://planetarycomputer.microsoft.com/applications) - تعرض حالات الاستخدام والأدوات للحصول على رؤى حول الاستدامة.
* [كتالوج البيانات](https://planetarycomputer.microsoft.com/catalog) - يحتوي على بيتابايت من بيانات أنظمة الأرض (مجانية ومستضافة على Azure).
* [واجهة برمجة التطبيقات الكوكبية](https://planetarycomputer.microsoft.com/docs/reference/stac/) - لمساعدة المستخدمين على البحث عن البيانات ذات الصلة عبر الزمان والمكان.
* [المحور](https://planetarycomputer.microsoft.com/docs/overview/environment/) - بيئة مُدارة للعلماء لمعالجة مجموعات البيانات الجغرافية الضخمة.
* [التطبيقات](https://planetarycomputer.microsoft.com/applications) - تعرض حالات الاستخدام والأدوات للحصول على رؤى حول الاستدامة.
**مشروع الكمبيوتر الكوكبي حاليًا في مرحلة المعاينة (اعتبارًا من سبتمبر 2021)** - إليك كيفية البدء بالمساهمة في حلول الاستدامة باستخدام علم البيانات.
* [طلب الوصول](https://planetarycomputer.microsoft.com/account/request) لبدء الاستكشاف والتواصل مع الزملاء.
@ -120,18 +120,18 @@ CO_OP_TRANSLATOR_METADATA:
## علم البيانات + الطلاب
لقد تحدثنا عن تطبيقات العالم الحقيقي في الصناعة والبحث، واستكشفنا أمثلة لتطبيقات علم البيانات في العلوم الإنسانية الرقمية والاستدامة. إذًا كيف يمكنك بناء مهاراتك ومشاركة خبرتك كمبتدئين في علم البيانات؟
لقد تحدثنا عن التطبيقات الواقعية في الصناعة والبحث، واستكشفنا أمثلة لتطبيقات علم البيانات في العلوم الإنسانية الرقمية والاستدامة. إذن كيف يمكنك بناء مهاراتك ومشاركة خبراتك كمبتدئين في علم البيانات؟
إليك بعض الأمثلة على مشاريع الطلاب في علم البيانات لإلهامك.
إليك بعض الأمثلة لمشاريع الطلاب في علم البيانات لإلهامك.
* [مدرسة الصيف لعلم البيانات MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) مع [مشاريع](https://github.com/msr-ds3) على GitHub تستكشف موضوعات مثل:
- [التحيز العنصري في استخدام الشرطة للقوة](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* [مدرسة الصيف لعلم البيانات MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) مع [مشاريع](https://github.com/msr-ds3) على GitHub تستكشف مواضيع مثل:
- [التحيز العرقي في استخدام الشرطة للقوة](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [موثوقية نظام مترو الأنفاق في نيويورك](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [رقمنة الثقافة المادية: استكشاف التوزيعات الاجتماعية والاقتصادية في سيركاب](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - من [أورنيلا ألتونيان](https://twitter.com/ornelladotcom) وفريقها في كليرمونت، باستخدام [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 التحدي
ابحث عن مقالات توصي بمشاريع علم البيانات المناسبة للمبتدئين - مثل [هذه 50 فكرة موضوعية](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) أو [هذه 21 فكرة مشروع](https://www.intellspot.com/data-science-project-ideas) أو [هذه 16 مشروعًا مع كود المصدر](https://data-flair.training/blogs/data-science-project-ideas/) التي يمكنك تحليلها وإعادة تشكيلها. ولا تنسَ التدوين عن رحلاتك التعليمية ومشاركة رؤاك معنا جميعًا.
ابحث عن مقالات توصي بمشاريع علم البيانات المناسبة للمبتدئين - مثل [هذه 50 فكرة موضوعية](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) أو [هذه 21 فكرة مشروع](https://www.intellspot.com/data-science-project-ideas) أو [هذه 16 مشروعًا مع كود المصدر](https://data-flair.training/blogs/data-science-project-ideas/) التي يمكنك تفكيكها وإعادة مزجها. ولا تنسَ التدوين عن رحلاتك التعليمية ومشاركة رؤاك معنا جميعًا.
## اختبار ما بعد المحاضرة
@ -139,11 +139,12 @@ CO_OP_TRANSLATOR_METADATA:
## المراجعة والدراسة الذاتية
هل ترغب في استكشاف المزيد من حالات الاستخدام؟ إليك بعض المقالات ذات الصلة:
هل تريد استكشاف المزيد من حالات الاستخدام؟ إليك بعض المقالات ذات الصلة:
* [17 تطبيقًا وأمثلة لعلم البيانات](https://builtin.com/data-science/data-science-applications-examples) - يوليو 2021
* [11 تطبيقًا مذهلًا لعلم البيانات في العالم الحقيقي](https://myblindbird.com/data-science-applications-real-world/) - مايو 2021
* [علم البيانات في العالم الحقيقي](https://towardsdatascience.com/data-science-in-the-real-world/home) - مجموعة مقالات
* علم البيانات في: [التعليم](https://data-flair.training/blogs/data-science-in-education/)، [الزراعة](https://data-flair.training/blogs/data-science-in-agriculture/)، [المالية](https://data-flair.training/blogs/data-science-in-finance/)، [الأفلام](https://data-flair.training/blogs/data-science-at-movies/) والمزيد.
* [11 تطبيقًا مذهلًا لعلم البيانات في العالم الواقعي](https://myblindbird.com/data-science-applications-real-world/) - مايو 2021
* [علم البيانات في العالم الواقعي](https://towardsdatascience.com/data-science-in-the-real-world/home) - مجموعة مقالات
* [12 تطبيقًا واقعيًا لعلم البيانات مع أمثلة](https://www.scaler.com/blog/data-science-applications/) - مايو 2024
* علم البيانات في: [التعليم](https://data-flair.training/blogs/data-science-in-education/)، [الزراعة](https://data-flair.training/blogs/data-science-in-agriculture/)، [التمويل](https://data-flair.training/blogs/data-science-in-finance/)، [الأفلام](https://data-flair.training/blogs/data-science-at-movies/)، [الرعاية الصحية](https://onlinedegrees.sandiego.edu/data-science-health-care/) والمزيد.
## الواجب
@ -152,4 +153,4 @@ CO_OP_TRANSLATOR_METADATA:
---
**إخلاء المسؤولية**:
تم ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو معلومات غير دقيقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق. للحصول على معلومات حاسمة، يُوصى بالاستعانة بترجمة بشرية احترافية. نحن غير مسؤولين عن أي سوء فهم أو تفسيرات خاطئة ناتجة عن استخدام هذه الترجمة.
تم ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو معلومات غير دقيقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي. للحصول على معلومات حاسمة، يُوصى بالاستعانة بترجمة بشرية احترافية. نحن غير مسؤولين عن أي سوء فهم أو تفسيرات خاطئة تنشأ عن استخدام هذه الترجمة.
Започнахме с дефиниции за наука за данни и етика, разгледахме различни инструменти и техники за анализ и визуализация на данни, прегледахме жизнения цикъл на науката за данни и разгледахме мащабирането и автоматизацията на работните процеси с облачни услуги. Вероятно се питате: _"Как точно да приложа всичко това в реални контексти?"_
Започнахме с дефиниции за науката за данни и етика, разгледахме различни инструменти и техники за анализ и визуализация на данни, прегледахме жизнения цикъл на науката за данни и разгледахме мащабирането и автоматизацията на работните процеси с облачни услуги. Вероятно се питате: _"Как точно да приложа всичко това в реални контексти?"_
В този урок ще разгледаме приложенията на науката за данни в различни индустрии и ще се потопим в конкретни примери в областите на изследванията, дигиталните хуманитарни науки и устойчивостта. Ще обсъдим възможности за студентски проекти и ще завършим с полезни ресурси, които да ви помогнат да продължите своето обучение!
В този урок ще разгледаме приложенията на науката за данни в различни индустрии и ще се потопим в конкретни примери в областите на изследванията, дигиталните хуманитарни науки и устойчивостта. Ще разгледаме възможности за студентски проекти и ще завършим с полезни ресурси, които да ви помогнат да продължите своето обучение!
## Предварителен тест
@ -25,25 +25,25 @@ CO_OP_TRANSLATOR_METADATA:
## Наука за данни + Индустрия
Благодарение на демократизацията на AI, разработчиците вече намират за по-лесно да проектират и интегрират решения, базирани на AI, и да извличат прозрения от данни в потребителския опит и работните процеси. Ето няколко примера за това как науката за данни се "прилага" в реални приложения в индустрията:
Благодарение на демократизацията на AI, разработчиците вече намират за по-лесно да проектират и интегрират решения, базирани на AI, и да извличат прозрения от данни в потребителски преживявания и работни процеси. Ето няколко примера за това как науката за данни се "прилага" в реални приложения в индустрията:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) използва науката за данни, за да корелира търсения с тенденции за грип. Въпреки че подходът имаше недостатъци, той повиши осведомеността за възможностите (и предизвикателствата) на прогнозите в здравеопазването, базирани на данни.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) използва науката за данни, за да свърже търсения с тенденции за грип. Въпреки че подходът имаше недостатъци, той повиши осведомеността за възможностите (и предизвикателствата) на прогнозите в здравеопазването, базирани на данни.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - обяснява как UPS използва науката за данни и машинното обучение, за да предсказва оптимални маршрути за доставка, като взема предвид метеорологични условия, трафик, крайни срокове за доставка и други.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - обяснява как UPS използва науката за данни и машинното обучение, за да предскаже оптимални маршрути за доставка, като взема предвид метеорологични условия, трафик, крайни срокове за доставка и други.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - данни, събрани чрез [Закони за свобода на информацията](https://chriswhong.com/open-data/foil_nyc_taxi/), помогнаха за визуализация на един ден от живота на такситата в Ню Йорк, като ни показаха как те се движат из града, какви приходи генерират и продължителността на пътуванията за 24-часов период.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - данни, събрани чрез [Закони за свобода на информацията](https://chriswhong.com/open-data/foil_nyc_taxi/), помогнаха за визуализиране на един ден от живота на такситата в Ню Йорк, като ни показаха как те се движат из града, колко печелят и колко време отнемат пътуванията им за 24-часов период.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - използва данни (за местоположения на качване и слизане, продължителност на пътуванията, предпочитани маршрути и др.), събрани от милиони пътувания с Uber *ежедневно*, за да създаде инструмент за анализ на данни, който помага при ценообразуване, безопасност, откриване на измами и навигационни решения.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - използва данни (за местоположения на качване и слизане, продължителност на пътуванията, предпочитани маршрути и др.), събрани от милиони ежедневни пътувания с Uber, за да създаде инструмент за анализ на данни, който помага при ценообразуване, безопасност, откриване на измами и навигационни решения.
* [Спортна аналитика](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - фокусира се върху _предиктивна аналитика_ (анализ на отбори и играчи - като [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - и управление на фенове) и _визуализация на данни_ (табла за отбори и фенове, игри и др.) с приложения като подбор на таланти, спортни залагания и управление на инвентар/места.
* [Анализ в спорта](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - фокусира се върху _предсказателен анализ_ (анализ на отбори и играчи - като [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - и управление на фенове) и _визуализация на данни_ (табла за отбори и фенове, игри и др.) с приложения като подбор на таланти, спортни залагания и управление на инвентар/места.
* [Наука за данни в банковия сектор](https://data-flair.training/blogs/data-science-in-banking/) - подчертава стойността на науката за данни във финансовата индустрия с приложения, вариращи от моделиране на рискове и откриване на измами до сегментация на клиенти, прогнози в реално време и препоръчващи системи. Предиктивната аналитика също така подпомага критични мерки като [кредитни оценки](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Наука за данни в банковия сектор](https://data-flair.training/blogs/data-science-in-banking/) - подчертава стойността на науката за данни във финансовата индустрия с приложения, вариращи от моделиране на рискове и откриване на измами до сегментация на клиенти, прогнози в реално време и препоръчващи системи. Предсказателният анализ също така движи критични мерки като [кредитни рейтинги](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Наука за данни в здравеопазването](https://data-flair.training/blogs/data-science-in-healthcare/) - подчертава приложения като медицинска визуализация (например MRI, рентген, CT-сканиране), геномика (секвениране на ДНК), разработка на лекарства (оценка на риска, прогноза за успех), предиктивна аналитика (грижа за пациенти и логистика на доставки), проследяване и превенция на заболявания и др.
* [Наука за данни в здравеопазването](https://data-flair.training/blogs/data-science-in-healthcare/) - подчертава приложения като медицинско изображение (напр. MRI, рентген, CT-сканиране), геномика (секвениране на ДНК), разработка на лекарства (оценка на риска, прогноза за успех), предсказателен анализ (грижа за пациенти и логистика на доставки), проследяване и предотвратяване на заболявания и др.
 Кредит за изображението: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Кредит за изображението: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Фигурата показва други области и примери за прилагане на техники от науката за данни. Искате да разгледате други приложения? Вижте секцията [Преглед и самостоятелно обучение](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) по-долу.
Фигурата показва други области и примери за прилагане на техники за наука за данни. Искате ли да разгледате други приложения? Вижте секцията [Преглед и самостоятелно обучение](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) по-долу.
## Наука за данни + Изследвания
@ -53,22 +53,22 @@ CO_OP_TRANSLATOR_METADATA:
Докато приложенията в реалния свят често се фокусират върху индустриални случаи в мащаб, _изследователските_ приложения и проекти могат да бъдат полезни от две перспективи:
* _възможности за иновации_ - изследване на бързо прототипиране на напреднали концепции и тестване на потребителски опит за приложения от следващо поколение.
* _предизвикателства при внедряване_ - изследване на потенциални вреди или непредвидени последици от технологиите на науката за данни в реални контексти.
* _възможности за иновации_ - изследване на бързото прототипиране на напреднали концепции и тестване на потребителски преживявания за приложения от следващо поколение.
* _предизвикателства при внедряване_ - изследване на потенциални вреди или непредвидени последици от технологиите за наука за данни в реални контексти.
За студентите тези изследователски проекти могат да предоставят както възможности за обучение, така и за сътрудничество, които да подобрят разбирането им по темата и да разширят осведомеността и ангажираността им с релевантни хора или екипи, работещи в области от интерес. Как изглеждат изследователските проекти и как могат да имат въздействие?
За студентите тези изследователски проекти могат да предоставят както възможности за учене, така и за сътрудничество, които да подобрят разбирането на темата и да разширят осведомеността и ангажираността с подходящи хора или екипи, работещи в области от интерес. Как изглеждат изследователските проекти и как могат да имат въздействие?
Нека разгледаме един пример - [MIT Gender Shades Study](http://gendershades.org/overview.html) от Джой Буоламвини (MIT Media Labs) с [подписана изследователска статия](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), съавторство с Тимнит Гебру (тогава в Microsoft Research), която се фокусира върху:
* **Какво:** Целта на изследователския проект беше _оценка на пристрастията в автоматизирани алгоритми за анализ на лица и набори от данни_ въз основа на пол и тип кожа.
* **Защо:** Анализът на лица се използва в области като правоприлагане, сигурност на летища, системи за наемане и други - контексти, в които неточни класификации (например, поради пристрастия) могат да причинят икономически и социални вреди на засегнатите лица или групи. Разбирането (и премахването или смекчаването) на пристрастията е ключово за справедливостта при използване.
* **Как:** Изследователите разпознаха, че съществуващите бенчмаркове използват предимно субекти спо-светла кожа и създадоха нов набор от данни (1000+ изображения), който беше _по-балансиран_ по пол и тип кожа. Наборът от данни беше използван за оценка на точността на три продукта за класификация на пол (от Microsoft, IBM и Face++).
* **Какво:** Целта на изследователския проект беше _оценка на пристрастията в автоматизираните алгоритми за анализ на лица и набори от данни_ въз основа на пол и тип кожа.
* **Защо:** Анализът на лица се използва в области като правоприлагане, сигурност на летища, системи за наемане и други - контексти, в които неточни класификации (напр. поради пристрастия) могат да причинят потенциални икономически и социални вреди на засегнатите лица или групи. Разбирането (и премахването или смекчаването) на пристрастията е ключово за справедливостта при използване.
* **Как:** Изследователите разпознаха, че съществуващите бенчмаркове използват предимно субекти със светла кожа и създадоха нов набор от данни (1000+ изображения), който беше _по-балансиран_ по пол и тип кожа. Наборът от данни беше използван за оценка на точността на три продукта за класификация на пол (от Microsoft, IBM и Face++).
Резултатите показаха, че въпреки че общата точност на класификацията беше добра, имаше забележима разлика в процентите на грешки между различните подгрупи - като**грешно определяне на пола** беше по-високо за жени или лица с по-тъмна кожа, което е показателно за пристрастия.
Резултатите показаха, че въпреки че общата точност на класификацията беше добра, имаше забележима разлика в процентите на грешки между различните подгрупи - с**грешно определяне на пола**, което беше по-високо за жени или лица с по-тъмна кожа, което е показателно за пристрастия.
**Основни резултати:** Повишена осведоменост, че науката за данни се нуждае от повече _представителни набори от данни_ (балансирани подгрупи) и повече _инклузивни екипи_ (разнообразни среди), за да разпознават и премахват или смекчават такива пристрастия по-рано в AI решенията. Изследователски усилия като това също са инструментални за много организации при дефиниране на принципи и практики за _отговорен AI_, за да се подобри справедливостта в техните AI продукти и процеси.
**Основни резултати:** Повишена осведоменост, че науката за данни се нуждае от повече _представителни набори от данни_ (балансирани подгрупи) и повече _инклузивни екипи_ (разнообразни среди), за да разпознават и премахват или смекчават такива пристрастия по-рано в AI решенията. Изследователски усилия като това също са инструментални за много организации при дефинирането на принципи и практики за _отговорен AI_, за да се подобри справедливостта в техните AI продукти и процеси.
**Искате да научите за релевантни изследователски усилия в Microsoft?**
**Искате ли да научите за съответните изследователски усилия в Microsoft?**
* Разгледайте [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) в областта на изкуствения интелект.
* Изследвайте студентски проекти от [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
| Наука за данни и дигитални хуманитарни науки - _Скетч от [@nitya](https://twitter.com/nitya)_ |
Дигиталните хуманитарни науки [са дефинирани](https://digitalhumanities.stanford.edu/about-dh-stanford) като "сбор от практики и подходи, комбиниращи компютърни методи с хуманитарни изследвания". [Проекти на Станфорд](https://digitalhumanities.stanford.edu/projects) като _"рестартиране на историята"_ и _"поетично мислене"_ илюстрират връзката между [Дигитални хуманитарни науки и наука за данни](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - подчертавайки техники като анализ на мрежи, визуализация на информация, пространствен и текстов анализ, които могат да ни помогнат да преразгледаме исторически и литературни набори от данни, за да извлечем нови прозрения и перспективи.
Дигиталните хуманитарни науки [са дефинирани](https://digitalhumanities.stanford.edu/about-dh-stanford) като "сбор от практики и подходи, които комбинират компютърни методи с хуманитарни изследвания". [Проекти на Станфорд](https://digitalhumanities.stanford.edu/projects) като _"рестартиране на историята"_ и _"поетично мислене"_ илюстрират връзката между [Дигитални хуманитарни науки и Наука за данни](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - подчертавайки техники като анализ на мрежи, визуализация на информация, пространствен и текстов анализ, които могат да ни помогнат да преосмислим исторически и литературни набори от данни, за да извлечем нови прозрения и перспективи.
*Искате да изследвате и разширите проект в тази област?*
*Искате ли да изследвате и разширите проект в тази област?*
Разгледайте ["Емили Дикинсън и метърът на настроението"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - страхотен пример от [Джен Лупър](https://twitter.com/jenlooper), който пита как можем да използваме науката за данни, за да преразгледаме позната поезия и да преоценим нейното значение и приноса на автора в нови контексти. Например, _можем ли да предскажем сезона, в който е написано стихотворение, чрез анализ на неговия тон или настроение_ - и какво ни казва това за състоянието на ума на автора през съответния период?
Разгледайте ["Емили Дикинсън и метърът на настроението"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - страхотен пример от [Джен Лупър](https://twitter.com/jenlooper), който пита как можем да използваме науката за данни, за да преосмислим познатата поезия и да преоценим нейното значение и приноса на автора в нови контексти. Например, _можем ли да предскажем сезона, в който е написано стихотворение, като анализираме неговия тон или настроение_ - и какво ни казва това за състоянието на ума на автора през съответния период?
За да отговорим на този въпрос, следваме стъпките на жизнения цикъл на науката за данни:
* [`Придобиване на данни`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - за събиране на релевантен набор от данни за анализ. Опциите включват използване на API (например [Poetry DB API](https://poetrydb.org/index.html)) или извличане на уеб страници (например [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) с инструменти като [Scrapy](https://scrapy.org/).
* [`Събиране на данни`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - за събиране на подходящ набор от данни за анализ. Опциите включват използване на API (напр. [Poetry DB API](https://poetrydb.org/index.html)) или извличане на уеб страници (напр. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) с инструменти като [Scrapy](https://scrapy.org/).
* [`Почистване на данни`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - обяснява как текстът може да бъде форматиран, пречистен и опростен с основни инструменти като Visual Studio Code и Microsoft Excel.
* [`Анализ на данни`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - обяснява как можем да импортираме набора от данни в "Тетрадки" за анализ, използвайки Python пакети (като pandas, numpy и matplotlib), за да организираме и визуализираме данните.
* [`Анализ на настроения`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - обяснява как можем да интегрираме облачни услуги като Text Analytics, използвайки инструменти с нисък код като [Power Automate](https://flow.microsoft.com/en-us/) за автоматизирани работни процеси за обработка на данни.
* [`Анализ на настроението`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - обяснява как можем да интегрираме облачни услуги като Text Analytics, използвайки инструменти с нисък код като [Power Automate](https://flow.microsoft.com/en-us/) за автоматизирани работни процеси за обработка на данни.
С този работен процес можем да изследваме сезонните влияния върху настроението на стихотворенията и да ни помогнем да изградим свои собствени перспективи за автора. Опитайте сами - след това разширете тетрадката, за да зададете други въпроси или да визуализирате данните по нови начини!
Спомощта на този работен процес можем да изследваме сезонните влияния върху настроението на стихотворенията и да ни помогнем да изградим свои собствени перспективи за автора. Опитайте сами - след това разширете тетрадката, за да зададете други въпроси или да визуализирате данните по нови начини!
> Можете да използвате някои от инструментите в [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit), за да преследвате тези изследователски направления.
> Можете да използвате някои от инструментите в [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit), за да преследвате тези направления на изследване.
## Наука за данни + Устойчивост
@ -104,33 +104,33 @@ CO_OP_TRANSLATOR_METADATA:
[Програмата за устойчиво развитие до 2030 г.](https://sdgs.un.org/2030agenda) - приета от всички членове на ООН през 2015 г. - идентифицира 17 цели, включително такива, които се фокусират върху **защита на планетата** от деградация и въздействието на климатичните промени. Инициативата [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) подкрепя тези цели, като изследва начини, по които технологичните решения могат да подкрепят и изградят по-устойчиво бъдеще с [фокус върху 4 цели](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - да бъдат въглеродно отрицателни, водно положителни, с нулеви отпадъци и биоразнообразни до 2030 г.
Справянето с тези предизвикателства в мащабен и навременен начин изисква мислене на облачно ниво - и големи обеми данни. Инициативата [Planetary Computer](https://planetarycomputer.microsoft.com/) предоставя 4 компонента, които да помогнат на учените и разработчиците в това усилие:
Справянето с тези предизвикателства в мащабен и своевременен начин изисква мислене в облачен мащаб - и големи обеми данни. Инициативата [Planetary Computer](https://planetarycomputer.microsoft.com/) предоставя 4 компонента, които да помогнат на учените и разработчиците в това усилие:
* [Каталог на данни](https://planetarycomputer.microsoft.com/catalog) - с петабайти данни за земните системи (безплатни и хоствани в Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - за да помогне на потребителите да търсят релевантни данни в пространството и времето.
**Проектът Planetary Computer в момента е в предварителен преглед (към септември 2021)** - ето как можете да започнете да допринасяте за устойчиви решения чрез анализ на данни.
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - за да помогне на потребителите да търсят подходящи данни в пространството и времето.
**Проектът Planetary Computer в момента е в предварителен преглед (към септември 2021)** - ето как можете да започнете да допринасяте за устойчиви решения чрез използване на науката за данни.
* [Заявете достъп](https://planetarycomputer.microsoft.com/account/request), за да започнете изследването и да се свържете с други участници.
* [Заявете достъп](https://planetarycomputer.microsoft.com/account/request), за да започнете изследване и да се свържете с други хора.
* [Разгледайте документацията](https://planetarycomputer.microsoft.com/docs/overview/about), за да разберете поддържаните набори от данни и API.
* Разгледайте приложения като [Мониторинг на екосистеми](https://analytics-lab.org/ecosystemmonitoring/) за вдъхновение относно идеи за приложения.
Помислете как можете да използвате визуализация на данни, за да разкриете или подчертаете важни прозрения в области като климатични промени и обезлесяване. Или помислете как тези прозрения могат да бъдат използвани за създаване на нови потребителски преживявания, които мотивират промени в поведението за по-устойчив начин на живот.
## Анализ на данни + Студенти
## Наука за данни + Студенти
Говорихме за приложения в реалния свят в индустрията и научните изследвания и разгледахме примери за приложения на анализ на данни в дигиталните хуманитарни науки и устойчивостта. Но как можете да развиете уменията си и да споделите експертизата си като начинаещи в анализа на данни?
Говорихме за приложения в реалния свят в индустрията и научните изследвания и разгледахме примери за приложения на науката за данни в дигиталните хуманитарни науки и устойчивостта. Как можете да развиете своите умения и да споделите своя опит като начинаещи в науката за данни?
Ето някои примери за студентски проекти в областта на анализа на данни, които да ви вдъхновят.
Ето някои примери за студентски проекти в областта на науката за данни, които да ви вдъхновят.
* [Лятно училище за анализ на данни на MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) с GitHub [проекти](https://github.com/msr-ds3), които изследват теми като:
- [Расова пристрастност в използването на сила от полицията](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* [Лятно училище по наука за данни на MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) с GitHub [проекти](https://github.com/msr-ds3), които изследват теми като:
- [Расови предразсъдъци при използването на сила от полицията](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Надеждност на метрото в Ню Йорк](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Дигитализация на материалната култура: Изследване на социално-икономическите разпределения в Сиркап](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - от [Орнела Алтунян](https://twitter.com/ornelladotcom) и екипа ѝ в Клермонт, използвайки [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Дигитализация на материалната култура: Изследване на социално-икономическите разпределения в Сиркап](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - от [Орнела Алтунян](https://twitter.com/ornelladotcom) и екипът й в Клермонт, използвайки [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Предизвикателство
Търсете статии, които препоръчват проекти за анализ на данни, подходящи за начинаещи - като [тези 50 теми](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) или [тези 21 идеи за проекти](https://www.intellspot.com/data-science-project-ideas) или [тези 16 проекта с изходен код](https://data-flair.training/blogs/data-science-project-ideas/), които можете да разглобите и преработите. И не забравяйте да пишете блогове за вашите учебни пътувания и да споделяте прозренията сис всички нас.
Търсете статии, които препоръчват проекти в областта на науката за данни, подходящи за начинаещи - като [тези 50 теми](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) или [тези 21 идеи за проекти](https://www.intellspot.com/data-science-project-ideas) или [тези 16 проекта с изходен код](https://data-flair.training/blogs/data-science-project-ideas/), които можете да анализирате и адаптирате. И не забравяйте да пишете блогове за вашите учебни пътувания и да споделяте своите прозрения с всички нас.
## Тест след лекцията
@ -138,11 +138,12 @@ CO_OP_TRANSLATOR_METADATA:
## Преглед и самостоятелно обучение
Искате ли да разгледате повече случаи на употреба? Ето няколко подходящи статии:
* [17 приложения и примери за анализ на данни](https://builtin.com/data-science/data-science-applications-examples) - юли 2021
* [11 впечатляващи приложения на анализ на данни в реалния свят](https://myblindbird.com/data-science-applications-real-world/) - май 2021
* [Анализ на данни в реалния свят](https://towardsdatascience.com/data-science-in-the-real-world/home) - колекция от статии
* Анализ на данни в: [Образованието](https://data-flair.training/blogs/data-science-in-education/), [Селското стопанство](https://data-flair.training/blogs/data-science-in-agriculture/), [Финансите](https://data-flair.training/blogs/data-science-in-finance/), [Филмите](https://data-flair.training/blogs/data-science-at-movies/) и други.
Искате ли да разгледате още примери за приложения? Ето няколко подходящи статии:
* [17 приложения и примери за наука за данни](https://builtin.com/data-science/data-science-applications-examples) - юли 2021
* [11 впечатляващи приложения на науката за данни в реалния свят](https://myblindbird.com/data-science-applications-real-world/) - май 2021
* [Наука за данни в реалния свят](https://towardsdatascience.com/data-science-in-the-real-world/home) - колекция от статии
* [12 приложения на науката за данни в реалния свят с примери](https://www.scaler.com/blog/data-science-applications/) - май 2024
* Наука за данни в: [Образование](https://data-flair.training/blogs/data-science-in-education/), [Селско стопанство](https://data-flair.training/blogs/data-science-in-agriculture/), [Финанси](https://data-flair.training/blogs/data-science-in-finance/), [Филми](https://data-flair.training/blogs/data-science-at-movies/), [Здравеопазване](https://onlinedegrees.sandiego.edu/data-science-health-care/) и други.
## Задание
@ -151,4 +152,4 @@ CO_OP_TRANSLATOR_METADATA:
---
**Отказ от отговорност**:
Този документ е преведен с помощта на AI услуга за превод [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Не носим отговорност за недоразумения или погрешни интерпретации, произтичащи от използването на този превод.
Този документ е преведен с помощта на AI услуга за превод [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматичните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия изходен език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален превод от човек. Ние не носим отговорност за каквито и да е недоразумения или погрешни интерпретации, произтичащи от използването на този превод.
| বাস্তব জীবনে ডেটা সায়েন্স - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| বাস্তব জীবনে ডেটা সায়েন্স - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
আমরা এই শেখার যাত্রার প্রায় শেষ প্রান্তে পৌঁছে গেছি!
আমরা এই শেখার যাত্রার প্রায় শেষ প্রান্তে পৌঁছে গেছি!
আমরা ডেটা সায়েন্স এবং নৈতিকতার সংজ্ঞা দিয়ে শুরু করেছি, ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশনের বিভিন্ন টুল ও কৌশল অন্বেষণ করেছি, ডেটা সায়েন্স লাইফসাইকেল পর্যালোচনা করেছি এবং ক্লাউড কম্পিউটিং পরিষেবার মাধ্যমে ডেটা সায়েন্স ওয়ার্কফ্লো স্কেলিং এবং অটোমেশন নিয়ে আলোচনা করেছি। তাই, আপনি হয়তো ভাবছেন: _"এই শেখাগুলোকে বাস্তব জীবনের প্রেক্ষাপটে কীভাবে প্রয়োগ করব?"_
আমরা ডেটা সায়েন্স এবং নীতিশাস্ত্রের সংজ্ঞা দিয়ে শুরু করেছিলাম, ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশনের বিভিন্ন সরঞ্জাম ও কৌশল অন্বেষণ করেছি, ডেটা সায়েন্স লাইফসাইকেল পর্যালোচনা করেছি এবং ক্লাউড কম্পিউটিং পরিষেবাগুলির মাধ্যমে ডেটা সায়েন্স ওয়ার্কফ্লো স্কেল এবং স্বয়ংক্রিয় করার উপায় দেখেছি। তাই, আপনি হয়তো ভাবছেন: _"এই সমস্ত শেখাগুলো বাস্তব জীবনের প্রেক্ষাপটে কীভাবে প্রয়োগ করব?"_
এই পাঠে, আমরা শিল্পে ডেটা সায়েন্সের বাস্তব জীবনের প্রয়োগ নিয়ে আলোচনা করব এবং গবেষণা, ডিজিটাল মানবিকতা এবং টেকসই উন্নয়নের নির্দিষ্ট উদাহরণগুলোতে গভীরভাবে প্রবেশ করব। আমরা শিক্ষার্থীদের প্রকল্পের সুযোগগুলো দেখব এবং আপনার শেখার যাত্রা চালিয়ে যাওয়ার জন্য দরকারী রিসোর্স দিয়ে শেষ করব!
এই পাঠে, আমরা শিল্পে ডেটা সায়েন্সের বাস্তব জীবনের প্রয়োগগুলি অন্বেষণ করব এবং গবেষণা, ডিজিটাল মানবিকতা এবং টেকসই উন্নয়নের নির্দিষ্ট উদাহরণগুলিতে গভীরভাবে প্রবেশ করব। আমরা শিক্ষার্থীদের প্রকল্পের সুযোগগুলি দেখব এবং আপনার শেখার যাত্রা চালিয়ে যেতে সহায়ক কিছু সম্পদ দিয়ে শেষ করব!
এআই-এর গণতান্ত্রিকরণের জন্য ধন্যবাদ, এখন ডেভেলপাররা এআই-চালিত সিদ্ধান্ত গ্রহণ এবং ডেটা-চালিত অন্তর্দৃষ্টি ব্যবহারকারীর অভিজ্ঞতা এবং ডেভেলপমেন্ট ওয়ার্কফ্লোতে ডিজাইন এবং সংযুক্ত করা সহজতর করে তুলছেন। এখানে শিল্পে ডেটা সায়েন্সের বাস্তব জীবনের প্রয়োগের কিছু উদাহরণ দেওয়া হলো:
এআই-এর গণতন্ত্রীকরণের জন্য ধন্যবাদ, এখন ডেভেলপাররা এআই-চালিত সিদ্ধান্ত গ্রহণ এবং ডেটা-চালিত অন্তর্দৃষ্টি ব্যবহারকারীর অভিজ্ঞতা এবং ডেভেলপমেন্ট ওয়ার্কফ্লোতে ডিজাইন এবং সংহত করা সহজতর করছে। এখানে শিল্পে ডেটা সায়েন্সের "প্রয়োগ" এর কয়েকটি উদাহরণ দেওয়া হলো:
* [গুগল ফ্লু ট্রেন্ডস](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ডেটা সায়েন্স ব্যবহার করে সার্চ টার্মগুলোর সাথে ফ্লু ট্রেন্ডের সম্পর্ক স্থাপন করেছিল। যদিও এই পদ্ধতিতে ত্রুটি ছিল, এটি ডেটা-চালিত স্বাস্থ্যসেবা পূর্বাভাসের সম্ভাবনা (এবং চ্যালেঞ্জ) সম্পর্কে সচেতনতা বৃদ্ধি করেছিল।
* [গুগল ফ্লু ট্রেন্ডস](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ডেটা সায়েন্স ব্যবহার করে সার্চ টার্মগুলিকে ফ্লু প্রবণতার সাথে সম্পর্কিত করেছিল। যদিও এই পদ্ধতিতে ত্রুটি ছিল, এটি ডেটা-চালিত স্বাস্থ্যসেবা পূর্বাভাসের সম্ভাবনা (এবং চ্যালেঞ্জ) সম্পর্কে সচেতনতা বাড়িয়েছিল।
* [ইউপিএস রাউটিং পূর্বাভাস](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - ইউপিএস ডেটা সায়েন্স এবং মেশিন লার্নিং ব্যবহার করে আবহাওয়ার অবস্থা, ট্রাফিক প্যাটার্ন, ডেলিভারি সময়সীমা এবং আরও অনেক কিছু বিবেচনা করে ডেলিভারির জন্য সর্বোত্তম রুট পূর্বাভাস দেয়।
* [ইউপিএস রাউটিং পূর্বাভাস](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - ইউপিএস কীভাবে আবহাওয়া পরিস্থিতি, ট্রাফিক প্যাটার্ন, ডেলিভারি সময়সীমা এবং আরও অনেক কিছু বিবেচনায় নিয়ে ডেলিভারির জন্য সর্বোত্তম রুট পূর্বাভাস দিতে ডেটা সায়েন্স এবং মেশিন লার্নিং ব্যবহার করে তা ব্যাখ্যা করে।
* [এনওয়াইসি ট্যাক্সিক্যাব রুট ভিজ্যুয়ালাইজেশন](http://chriswhong.github.io/nyctaxi/) - [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) ব্যবহার করে সংগৃহীত ডেটা এনওয়াইসি ট্যাক্সিক্যাবের এক দিনের জীবনকে ভিজ্যুয়ালাইজ করতে সাহায্য করেছে, যা আমাদের ব্যস্ত শহরে তাদের চলাচল, আয় এবং ২৪ ঘণ্টার প্রতিটি ট্রিপের সময়কাল বুঝতে সাহায্য করে।
* [এনওয়াইসি ট্যাক্সিক্যাব রুট ভিজ্যুয়ালাইজেশন](http://chriswhong.github.io/nyctaxi/) - [তথ্য স্বাধীনতা আইন](https://chriswhong.com/open-data/foil_nyc_taxi/) ব্যবহার করে সংগৃহীত ডেটা এনওয়াইসি ক্যাবগুলোর দৈনন্দিন জীবনকে ভিজ্যুয়ালাইজ করতে সাহায্য করেছিল, যা আমাদের ব্যস্ত শহরে তাদের নেভিগেশন, উপার্জন এবং প্রতিদিনের ২৪ ঘণ্টার ভ্রমণের সময়কাল বুঝতে সাহায্য করে।
* [উবার ডেটা সায়েন্স ওয়ার্কবেঞ্চ](https://eng.uber.com/dsw/) - প্রতিদিন লক্ষ লক্ষ উবার ট্রিপ থেকে সংগৃহীত ডেটা (পিকআপ ও ড্রপঅফ লোকেশন, ট্রিপের সময়কাল, পছন্দের রুট ইত্যাদি) ব্যবহার করে একটি ডেটা অ্যানালিটিক্স টুল তৈরি করে যা প্রাইসিং, নিরাপত্তা, প্রতারণা সনাক্তকরণ এবং নেভিগেশন সিদ্ধান্তে সাহায্য করে।
* [উবার ডেটা সায়েন্স ওয়ার্কবেঞ্চ](https://eng.uber.com/dsw/) - প্রতিদিন লক্ষ লক্ষ উবার ট্রিপ থেকে সংগৃহীত ডেটা (যেমন পিকআপ এবং ড্রপঅফ লোকেশন, ট্রিপের সময়কাল, পছন্দের রুট ইত্যাদি) ব্যবহার করে একটি ডেটা অ্যানালিটিক্স টুল তৈরি করে যা মূল্য নির্ধারণ, নিরাপত্তা, প্রতারণা সনাক্তকরণ এবং নেভিগেশন সিদ্ধান্তে সহায়তা করে।
* [স্পোর্টস অ্যানালিটিক্স](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _প্রেডিকটিভ অ্যানালিটিক্স_ (টিম এবং প্লেয়ার বিশ্লেষণ - যেমন [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - এবং ফ্যান ম্যানেজমেন্ট) এবং _ডেটা ভিজ্যুয়ালাইজেশন_ (টিম ও ফ্যান ড্যাশবোর্ড, গেমস ইত্যাদি) এর উপর গুরুত্ব দেয়, যার প্রয়োগ রয়েছে ট্যালেন্ট স্কাউটিং, স্পোর্টস গ্যাম্বলিং এবং ইনভেন্টরি/ভেন্যু ম্যানেজমেন্টে।
* [স্পোর্টস অ্যানালিটিক্স](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _পূর্বাভাসমূলক বিশ্লেষণ_ (দল এবং খেলোয়াড় বিশ্লেষণ - যেমন [মানিবল](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - এবং ভক্ত ব্যবস্থাপনা) এবং _ডেটা ভিজ্যুয়ালাইজেশন_ (দল এবং ভক্ত ড্যাশবোর্ড, গেম ইত্যাদি) এর উপর দৃষ্টি নিবদ্ধ করে, যা প্রতিভা অনুসন্ধান, ক্রীড়া জুয়া এবং ভেন্যু ব্যবস্থাপনার মতো ক্ষেত্রে প্রয়োগ করা হয়।
* [ব্যাংকিংয়ে ডেটা সায়েন্স](https://data-flair.training/blogs/data-science-in-banking/) - ঝুঁকি মডেলিং এবং প্রতারণা সনাক্তকরণ থেকে শুরু করে গ্রাহক সেগমেন্টেশন, রিয়েল-টাইম পূর্বাভাস এবং রিকমেন্ডার সিস্টেম পর্যন্ত ফাইন্যান্স ইন্ডাস্ট্রিতে ডেটা সায়েন্সের মূল্য তুলে ধরে। প্রেডিকটিভ অ্যানালিটিক্স গুরুত্বপূর্ণ মাপকাঠি যেমন [ক্রেডিট স্কোর](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) চালিত করে।
* [ব্যাংকিংয়ে ডেটা সায়েন্স](https://data-flair.training/blogs/data-science-in-banking/) - ঝুঁকি মডেলিং এবং প্রতারণা সনাক্তকরণ থেকে শুরু করে গ্রাহক বিভাজন, রিয়েল-টাইম পূর্বাভাস এবং রিকমেন্ডার সিস্টেম পর্যন্ত আর্থিক শিল্পে ডেটা সায়েন্সের মূল্য তুলে ধরে। পূর্বাভাসমূলক বিশ্লেষণ [ক্রেডিট স্কোর](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) এর মতো গুরুত্বপূর্ণ ব্যবস্থাগুলোকেও চালিত করে।
* [স্বাস্থ্যসেবায় ডেটা সায়েন্স](https://data-flair.training/blogs/data-science-in-healthcare/) - মেডিকেল ইমেজিং (যেমন, এমআরআই, এক্স-রে, সিটি-স্ক্যান), জেনোমিক্স (ডিএনএ সিকোয়েন্সিং), ড্রাগ ডেভেলপমেন্ট (ঝুঁকি মূল্যায়ন, সফলতার পূর্বাভাস), প্রেডিকটিভ অ্যানালিটিক্স (রোগীর যত্ন ও সরবরাহের লজিস্টিকস), রোগ ট্র্যাকিং ও প্রতিরোধ ইত্যাদি প্রয়োগ তুলে ধরে।
* [স্বাস্থ্যসেবায় ডেটা সায়েন্স](https://data-flair.training/blogs/data-science-in-healthcare/) - মেডিকেল ইমেজিং (যেমন এমআরআই, এক্স-রে, সিটি-স্ক্যান), জিনোমিক্স (ডিএনএ সিকোয়েন্সিং), ওষুধ উন্নয়ন (ঝুঁকি মূল্যায়ন, সাফল্যের পূর্বাভাস), পূর্বাভাসমূলক বিশ্লেষণ (রোগীর যত্ন এবং সরবরাহ লজিস্টিকস), রোগ ট্র্যাকিং এবং প্রতিরোধ ইত্যাদির মতো প্রয়োগ তুলে ধরে।
 ইমেজ ক্রেডিট: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
চিত্রটি ডেটা সায়েন্স কৌশল প্রয়োগের অন্যান্য ক্ষেত্র এবং উদাহরণ দেখায়। আরও প্রয়োগ অন্বেষণ করতে চান? নিচের [পর্যালোচনা ও স্ব-অধ্যয়ন](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) বিভাগটি দেখুন।
চিত্রটি ডেটা সায়েন্স কৌশল প্রয়োগের অন্যান্য ডোমেইন এবং উদাহরণ দেখায়। আরও প্রয়োগ অন্বেষণ করতে চান? নীচের [পর্যালোচনা এবং স্ব-অধ্যয়ন](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) বিভাগটি দেখুন।
## ডেটা সায়েন্স + গবেষণা
## ডেটা সায়েন্স + গবেষণা
|  ](../../sketchnotes/20-DataScience-Research.png) |
| ডেটা সায়েন্স ও গবেষণা - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ডেটা সায়েন্স এবং গবেষণা - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
যদিও বাস্তব জীবনের প্রয়োগ প্রায়শই শিল্পের বৃহৎ পরিসরের ব্যবহারকে কেন্দ্র করে থাকে, _গবেষণা_ প্রয়োগ এবং প্রকল্পগুলো দুটি দৃষ্টিকোণ থেকে উপকারী হতে পারে:
যদিও বাস্তব জীবনের প্রয়োগ প্রায়শই শিল্পের বৃহৎ পরিসরের ব্যবহারিক ক্ষেত্রে মনোযোগ দেয়, _গবেষণা_ প্রয়োগ এবং প্রকল্প দুটি দৃষ্টিকোণ থেকে কার্যকর হতে পারে:
* _উদ্ভাবনের সুযোগ_ - উন্নত ধারণার দ্রুত প্রোটোটাইপিং এবং পরবর্তী প্রজন্মের অ্যাপ্লিকেশনের জন্য ব্যবহারকারীর অভিজ্ঞতা পরীক্ষা করা।
* _প্রয়োগের চ্যালেঞ্জ_ - বাস্তব জীবনের প্রেক্ষাপটে ডেটা সায়েন্স প্রযুক্তির সম্ভাব্য ক্ষতি বা অনিচ্ছাকৃত পরিণতি তদন্ত করা।
* _উদ্ভাবনের সুযোগ_ - পরবর্তী প্রজন্মের অ্যাপ্লিকেশনের জন্য উন্নত ধারণাগুলির দ্রুত প্রোটোটাইপিং এবং ব্যবহারকারীর অভিজ্ঞতা পরীক্ষা করা।
* _প্রয়োগের চ্যালেঞ্জ_ - বাস্তব জীবনের প্রেক্ষাপটে ডেটা সায়েন্স প্রযুক্তির সম্ভাব্য ক্ষতি বা অনিচ্ছাকৃত পরিণতি তদন্ত করা।
শিক্ষার্থীদের জন্য, এই গবেষণা প্রকল্পগুলো শেখার এবং সহযোগিতার সুযোগ প্রদান করতে পারে যা আপনার বিষয়ের বোঝাপড়া উন্নত করতে পারে এবং প্রাসঙ্গিক ক্ষেত্রগুলোতে কাজ করা ব্যক্তিদের বা টিমের সাথে সচেতনতা এবং সম্পৃক্ততা বৃদ্ধি করতে পারে। তাহলে গবেষণা প্রকল্পগুলো দেখতে কেমন এবং কীভাবে তারা প্রভাব ফেলতে পারে?
শিক্ষার্থীদের জন্য, এই গবেষণা প্রকল্পগুলি শেখার এবং সহযোগিতার সুযোগ প্রদান করতে পারে যা বিষয়টির প্রতি আপনার বোঝাপড়া উন্নত করতে পারে এবং আগ্রহের ক্ষেত্রে কাজ করা প্রাসঙ্গিক ব্যক্তি বা দলের সাথে আপনার সচেতনতা এবং সম্পৃক্ততা বাড়াতে পারে। তাহলে গবেষণা প্রকল্পগুলি দেখতে কেমন এবং কীভাবে তারা প্রভাব ফেলতে পারে?
চলুন একটি উদাহরণ দেখি - [MIT Gender Shades Study](http://gendershades.org/overview.html) যা জয় বুয়োলামউইনি (MIT Media Labs) দ্বারা পরিচালিত এবং একটি [গবেষণা পেপার](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) সহ-লেখক টিমনিট গেব্রু (তৎকালীন Microsoft Research) দ্বারা সহ-লেখা হয়েছিল যা নিম্নলিখিত বিষয়ের উপর কেন্দ্রীভূত ছিল:
চলুন একটি উদাহরণ দেখি - [এমআইটি জেন্ডার শেডস স্টাডি](http://gendershades.org/overview.html) যা জয় বুয়োলামউইনি (এমআইটি মিডিয়া ল্যাবস) দ্বারা পরিচালিত এবং একটি [স্বাক্ষর গবেষণা পত্র](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) সহ-লিখিত হয়েছিল টিমনিট গেব্রু (তখন মাইক্রোসফট রিসার্চে) দ্বারা। গবেষণার লক্ষ্য ছিল:
* **কী:** গবেষণা প্রকল্পের উদ্দেশ্য ছিল _লিঙ্গ এবং ত্বকের রঙের উপর ভিত্তি করে স্বয়ংক্রিয় মুখ বিশ্লেষণ অ্যালগরিদম এবং ডেটাসেটগুলোর মধ্যে বিদ্যমান পক্ষপাত মূল্যায়ন করা।_
* **কেন:** মুখ বিশ্লেষণ আইন প্রয়োগ, বিমানবন্দর নিরাপত্তা, নিয়োগ ব্যবস্থা এবং আরও অনেক ক্ষেত্রে ব্যবহৃত হয় - যেখানে ভুল শ্রেণীবিভাগ (যেমন, পক্ষপাতের কারণে) প্রভাবিত ব্যক্তি বা গোষ্ঠীর জন্য সম্ভাব্য অর্থনৈতিক এবং সামাজিক ক্ষতি সৃষ্টি করতে পারে। পক্ষপাত দূর করা বা কমানো ন্যায্য ব্যবহারের জন্য গুরুত্বপূর্ণ।
* **কীভাবে:** গবেষকরা স্বীকৃতি দেন যে বিদ্যমান বেঞ্চমার্কগুলো প্রধানত হালকা ত্বকের বিষয়গুলো ব্যবহার করে এবং একটি নতুন ডেটাসেট (১০০০+ ইমেজ) তৈরি করেন যা লিঙ্গ এবং ত্বকের রঙের উপর ভিত্তি করে _আরও ভারসাম্যপূর্ণ_। এই ডেটাসেটটি তিনটি লিঙ্গ শ্রেণীবিভাগ পণ্য (Microsoft, IBM এবং Face++) এর সঠিকতা মূল্যায়নের জন্য ব্যবহার করা হয়েছিল।
* **কী:** লিঙ্গ এবং ত্বকের রঙের উপর ভিত্তি করে স্বয়ংক্রিয় মুখ বিশ্লেষণ অ্যালগরিদম এবং ডেটাসেটগুলিতে বিদ্যমান পক্ষপাত মূল্যায়ন করা।
* **কেন:** মুখ বিশ্লেষণ আইন প্রয়োগ, বিমানবন্দর নিরাপত্তা, নিয়োগ ব্যবস্থা এবং আরও অনেক ক্ষেত্রে ব্যবহৃত হয় - যেখানে পক্ষপাতের কারণে ভুল শ্রেণীবিভাগ (যেমন, ভুল লিঙ্গ নির্ধারণ) প্রভাবিত ব্যক্তি বা গোষ্ঠীর জন্য সম্ভাব্য অর্থনৈতিক এবং সামাজিক ক্ষতি ঘটাতে পারে। ন্যায্যতার জন্য পক্ষপাত বোঝা এবং তা দূর করা বা হ্রাস করা গুরুত্বপূর্ণ।
* **কীভাবে:** গবেষকরা লক্ষ্য করেছিলেন যে বিদ্যমান বেঞ্চমার্কগুলি প্রধানত হালকা ত্বকের বিষয়গুলিকে অন্তর্ভুক্ত করে এবং একটি নতুন ডেটাসেট (১০০০+ চিত্র) তৈরি করেছিলেন যা লিঙ্গ এবং ত্বকের রঙের ভিত্তিতে _আরও ভারসাম্যপূর্ণ_ ছিল। এই ডেটাসেটটি তিনটি লিঙ্গ শ্রেণীবিভাগ পণ্যের (মাইক্রোসফট, আইবিএম এবং ফেস++) নির্ভুলতা মূল্যায়নের জন্য ব্যবহৃত হয়েছিল।
ফলাফল দেখিয়েছে যে যদিও সামগ্রিক শ্রেণীবিভাগের সঠিকতা ভালো ছিল, বিভিন্ন উপগোষ্ঠীর মধ্যে ত্রুটির হার উল্লেখযোগ্য পার্থক্য ছিল - যেখানে **মিসজেন্ডারিং** নারীদের বা গাঢ় ত্বকের ব্যক্তিদের জন্য বেশি ছিল, যা পক্ষপাতের ইঙ্গিত দেয়।
ফলাফল দেখিয়েছে যে সামগ্রিক শ্রেণীবিভাগ নির্ভুলতা ভাল হলেও, বিভিন্ন উপগোষ্ঠীর মধ্যে ত্রুটির হারে একটি উল্লেখযোগ্য পার্থক্য ছিল - যেখানে **ভুল লিঙ্গ নির্ধারণ** মহিলাদের বা গাঢ় ত্বকের ব্যক্তিদের জন্য বেশি ছিল, যা পক্ষপাত নির্দেশ করে।
**মূল ফলাফল:** সচেতনতা বৃদ্ধি করেছে যে ডেটা সায়েন্সের জন্য আরও _প্রতিনিধিত্বমূলক ডেটাসেট_ (ভারসাম্যপূর্ণ উপগোষ্ঠী) এবং আরও _অন্তর্ভুক্তিমূলক টিম_ (বৈচিত্র্যময় পটভূমি) প্রয়োজন যাতে এআই সমাধানগুলোতে এই ধরনের পক্ষপাত আগেই স্বীকৃতি এবং দূর করা বা কমানো যায়। এই ধরনের গবেষণা প্রচেষ্টা অনেক সংস্থাকে তাদের এআই পণ্য এবং প্রক্রিয়াগুলোর ন্যায্যতা উন্নত করতে _দায়িত্বশীল এআই_ এর জন্য নীতিমালা এবং অনুশীলন সংজ্ঞায়িত করতে সহায়ক।
**মূল ফলাফল:** ডেটা সায়েন্সে আরও _প্রতিনিধিত্বমূলক ডেটাসেট_ (ভারসাম্যপূর্ণ উপগোষ্ঠী) এবং আরও _অন্তর্ভুক্তিমূলক দল_ (বৈচিত্র্যময় পটভূমি) প্রয়োজনীয়তা সম্পর্কে সচেতনতা বৃদ্ধি করেছে, যাতে এআই সমাধানগুলিতে এই ধরনের পক্ষপাতগুলি আগেই চিহ্নিত এবং হ্রাস করা যায়। এই ধরনের গবেষণা প্রচেষ্টা অনেক সংস্থাকে তাদের এআই পণ্য এবং প্রক্রিয়াগুলিতে ন্যায্যতা উন্নত করতে _দায়িত্বশীল এআই_ নীতিমালা এবং অনুশীলন সংজ্ঞায়িত করতে সহায়ক।
**Microsoft-এ প্রাসঙ্গিক গবেষণা প্রচেষ্টা সম্পর্কে জানতে চান?**
**মাইক্রোসফটের প্রাসঙ্গিক গবেষণা প্রচেষ্টা সম্পর্কে জানতে চান?**
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) এআই সম্পর্কিত গবেষণা প্রকল্পগুলো দেখুন।
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) থেকে শিক্ষার্থীদের প্রকল্পগুলো অন্বেষণ করুন।
* [Fairlearn](https://fairlearn.org/) প্রকল্প এবং [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) উদ্যোগগুলো দেখুন।
| ডেটা সায়েন্স ও ডিজিটাল মানবিকতা - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ডেটা সায়েন্স এবং ডিজিটাল মানবিকতা - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
ডিজিটাল মানবিকতা [সংজ্ঞায়িত করা হয়েছে](https://digitalhumanities.stanford.edu/about-dh-stanford) "কম্পিউটেশনাল পদ্ধতি এবং মানবিক অনুসন্ধানের সমন্বয়ে গঠিত একটি অনুশীলন এবং পদ্ধতির সংগ্রহ" হিসেবে। [স্ট্যানফোর্ড প্রকল্পগুলো](https://digitalhumanities.stanford.edu/projects) যেমন _"rebooting history"_ এবং _"poetic thinking"_ [ডিজিটাল মানবিকতা এবং ডেটা সায়েন্সের](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) সংযোগকে চিত্রিত করে - নেটওয়ার্ক বিশ্লেষণ, তথ্য ভিজ্যুয়ালাইজেশন, স্থানিক এবং পাঠ বিশ্লেষণের মতো কৌশলগুলোকে গুরুত্ব দেয় যা আমাদের ঐতিহাসিক এবং সাহিত্যিক ডেটাসেটগুলো পুনর্বিবেচনা করতে এবং নতুন অন্তর্দৃষ্টি এবং দৃষ্টিভঙ্গি অর্জন করতে সাহায্য করে।
ডিজিটাল মানবিকতা [সংজ্ঞায়িত করা হয়েছে](https://digitalhumanities.stanford.edu/about-dh-stanford) "কম্পিউটেশনাল পদ্ধতি এবং মানবিক অনুসন্ধানের সমন্বয়ে গঠিত একটি অনুশীলন এবং পদ্ধতির সংগ্রহ" হিসাবে। [স্ট্যানফোর্ড প্রকল্পগুলি](https://digitalhumanities.stanford.edu/projects) যেমন _"ইতিহাস পুনরায় চালু করা"_ এবং _"কাব্যিক চিন্তা"_ [ডিজিটাল মানবিকতা এবং ডেটা সায়েন্সের](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) মধ্যে সংযোগকে চিত্রিত করে - নেটওয়ার্ক বিশ্লেষণ, তথ্য ভিজ্যুয়ালাইজেশন, স্থানিক এবং পাঠ বিশ্লেষণের মতো কৌশলগুলির উপর জোর দেয় যা আমাদের ঐতিহাসিক এবং সাহিত্যিক ডেটাসেটগুলি পুনর্বিবেচনা করতে এবং নতুন অন্তর্দৃষ্টি এবং দৃষ্টিভঙ্গি অর্জন করতে সাহায্য করে।
*এই ক্ষেত্রে একটি প্রকল্প অন্বেষণ এবং প্রসারিত করতে চান?*
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) দেখুন - [Jen Looper](https://twitter.com/jenlooper) এর একটি চমৎকার উদাহরণ যা প্রশ্ন করে কীভাবে আমরা ডেটা সায়েন্স ব্যবহার করে পরিচিত কবিতাগুলো পুনর্বিবেচনা করতে পারি এবং নতুন প্রেক্ষাপটে এর অর্থ এবং এর লেখকের অবদান পুনর্মূল্যায়ন করতে পারি। উদাহরণস্বরূপ, _কবিতার টোন বা অনুভূতি বিশ্লেষণ করে আমরা কি অনুমান করতে পারি যে এটি কোন ঋতুতে লেখা হয়েছিল_ - এবং এটি লেখকের মানসিক অবস্থার উপর প্রাসঙ্গিক সময়কালে কী বলে?
["এমিলি ডিকিনসন এবং মুডের মিটার"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) দেখুন - [জেন লুপার](https://twitter.com/jenlooper) এর একটি চমৎকার উদাহরণ যা জিজ্ঞাসা করে যে আমরা কীভাবে ডেটা সায়েন্স ব্যবহার করে পরিচিত কবিতাগুলিকে পুনর্বিবেচনা করতে পারি এবং নতুন প্রেক্ষাপটে এর অর্থ এবং এর লেখকের অবদান পুনর্মূল্যায়ন করতে পারি। উদাহরণস্বরূপ, _কবিতার সুর বা অনুভূতি বিশ্লেষণ করে আমরা কি অনুমান করতে পারি যে এটি কোন ঋতুতে লেখা হয়েছিল_ - এবং এটি সংশ্লিষ্ট সময়কালে লেখকের মানসিক অবস্থার সম্পর্কে আমাদের কী বলে?
এই প্রশ্নের উত্তর দিতে, আমরা আমাদের ডেটা সায়েন্স লাইফসাইকেলের ধাপগুলো অনুসরণ করি:
* [`ডেটা সংগ্রহ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - বিশ্লেষণের জন্য একটি প্রাসঙ্গিক ডেটাসেট সংগ্রহ করা। অপশনগুলোতে একটি এপিআই ব্যবহার করা (যেমন, [Poetry DB API](https://poetrydb.org/index.html)) বা ওয়েব পেজ স্ক্র্যাপ করা (যেমন, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) টুল ব্যবহার করে [Scrapy](https://scrapy.org/) অন্তর্ভুক্ত।
* [`ডেটা পরিষ্কার করা`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - ব্যাখ্যা করে কীভাবে টেক্সট ফরম্যাট করা, স্যানিটাইজ করা এবং সরলীকৃত করা যায় Visual Studio Code এবং Microsoft Excel এর মতো মৌলিক টুল ব্যবহার করে।
* [`ডেটা বিশ্লেষণ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - ব্যাখ্যা করে কীভাবে আমরা এখন ডেটাসেটটি "নোটবুক" এ আমদানি করতে পারি বিশ্লেষণের জন্য, Python প্যাকেজ (যেমন pandas, numpy এবং matplotlib) ব্যবহার করে ডেটা সংগঠিত এবং ভিজ্যুয়ালাইজ করতে।
* [`অনুভূতি বিশ্লেষণ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - ব্যাখ্যা করে কীভাবে আমরা Text Analytics এর মতো ক্লাউড পরিষেবাগুলো সংযুক্ত করতে পারি, [Power Automate](https://flow.microsoft.com/en-us/) এর মতো লো-কোড টুল ব্যবহার করে স্বয়ংক্রিয় ডেটা প্রসেসিং ওয়ার্কফ্লো তৈরি করতে।
এই প্রশ্নের উত্তর দিতে, আমরা আমাদের ডেটা সায়েন্স লাইফসাইকেলের ধাপগুলি অনুসরণ করি:
* [`ডেটা সংগ্রহ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - বিশ্লেষণের জন্য একটি প্রাসঙ্গিক ডেটাসেট সংগ্রহ করা। বিকল্পগুলির মধ্যে একটি এপিআই (যেমন [পোয়েট্রি ডিবি এপিআই](https://poetrydb.org/index.html)) ব্যবহার করা বা ওয়েব পৃষ্ঠাগুলি স্ক্র্যাপ করা (যেমন [প্রজেক্ট গুটেনবার্গ](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) অন্তর্ভুক্ত।
* [`ডেটা পরিষ্কার করা`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - ব্যাখ্যা করে কীভাবে পাঠ্য ফর্ম্যাট করা, পরিষ্কার করা এবং সরলীকৃত করা যায়, যেমন ভিজ্যুয়াল স্টুডিও কোড এবং মাইক্রোসফট এক্সেল ব্যবহার করে।
* [`ডেটা বিশ্লেষণ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - ব্যাখ্যা করে কীভাবে আমরা এখন ডেটাসেটটি "নোটবুক"-এ আমদানি করতে পারি এবং পাইথন প্যাকেজ (যেমন pandas, numpy এবং matplotlib) ব্যবহার করে ডেটা সংগঠিত এবং ভিজ্যুয়ালাইজ করতে পারি।
* [`অনুভূতি বিশ্লেষণ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - ব্যাখ্যা করে কীভাবে আমরা টেক্সট অ্যানালিটিক্সের মতো ক্লাউড পরিষেবাগুলিকে সংহত করতে পারি, স্বয়ংক্রিয় ডেটা প্রসেসিং ওয়ার্কফ্লোর জন্য [পাওয়ার অটোমেট](https://flow.microsoft.com/en-us/) এর মতো লো-কোড সরঞ্জাম ব্যবহার করে।
এই ওয়ার্কফ্লো ব্যবহার করে, আমরা কবিতার অনুভূতির উপর ঋতুর প্রভাবগুলো অন্বেষণ করতে পারি এবং লেখকের উপর আমাদের নিজস্ব দৃষ্টিভঙ্গি তৈরি করতে সাহায্য করতে পারি। নিজে চেষ্টা করুন - তারপর নোটবুকটি প্রসারিত করুন অন্য প্রশ্ন জিজ্ঞাসা করতে বা ডেটা নতুনভাবে ভিজ্যুয়ালাইজ করতে!
এই ওয়ার্কফ্লো ব্যবহার করে, আমরা কবিতার অনুভূতির উপর ঋতুগুলির প্রভাব অন্বেষণ করতে পারি এবং লেখকের উপর আমাদের নিজস্ব দৃষ্টিভঙ্গি তৈরি করতে পারি। নিজেই চেষ্টা করুন - তারপর নোটবুকটি প্রসারিত করুন অন্য প্রশ্ন জিজ্ঞাসা করতে বা নতুন উপায়ে ডেটা ভিজ্যুয়ালাইজ করতে!
> [ডিজিটাল মানবিকতার টুলকিট](https://github.com/Digital-Humanities-Toolkit) এর কিছু টুল ব্যবহার করে এই অনুসন্ধানের পথগুলো অনুসরণ করতে পারেন।
> আপনি [ডিজিটাল মানবিকতা টুলকিট](https://github.com/Digital-Humanities-Toolkit)-এর কিছু সরঞ্জাম ব্যবহার করে এই অনুসন্ধানের পথগুলি অনুসরণ করতে পারেন।
## ডেটা সায়েন্স + টেকসই উন্নয়ন
## ডেটা সায়েন্স + টেকসই উন্নয়ন
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| ডেটা সায়েন্স ও টেকসই উন্নয়ন - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ডেটা সায়েন্স এবং টেকসই উন্নয়ন - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[টেকসই উন্নয়নের জন্য ২০৩০ এজেন্ডা](https://sdgs.un.org/2030agenda) - যা ২০১৫ সালে সমস্ত জাতিসংঘ সদস্যদের দ্বারা গৃহীত হয়েছিল - ১৭টি লক্ষ্য চিহ্নিত করে, যার মধ্যে **গ্রহকে রক্ষা করা** এবং জলবায়ু পরিবর্তনের প্রভাব থেকে রক্ষা করার উপর গুরুত্ব দেয়। [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) উদ্যোগ এই লক্ষ্যগুলোকে সমর্থন করে এবং প্রযুক্তি সমাধানগুলো কীভাবে আরও টেকসই ভবিষ্যত তৈরি করতে সাহায্য করতে পারে তা অন্বেষণ করে, [৪টি লক্ষ্য](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) এর উপর ফোকাস করে - ২০৩০ সালের মধ্যে কার্বন নেগেটিভ, জল পজিটিভ, শূন্য বর্জ্য এবং জীববৈচিত্র্যম
[২০৩০ টেকসই উন্নয়নের এজেন্ডা](https://sdgs.un.org/2030agenda) - যা ২০১৫ সালে জাতিসংঘের সমস্ত সদস্য দ্বারা গৃহীত হয়েছিল - ১৭টি লক্ষ্য চিহ
**প্ল্যানেটারি কম্পিউটার প্রকল্প বর্তমানে প্রিভিউ পর্যায়ে রয়েছে (সেপ্টেম্বর ২০২১ অনুযায়ী)** - ডেটা সায়েন্স ব্যবহার করে টেকসই সমাধানে অবদান রাখার জন্য কীভাবে শুরু করবেন তা এখানে দেওয়া হলো।
* [অ্যাক্সেসের জন্য অনুরোধ করুন](https://planetarycomputer.microsoft.com/account/request) যাতে অনুসন্ধান শুরু করতে পারেন এবং সহকর্মীদের সাথে সংযোগ স্থাপন করতে পারেন।
* [ডকুমেন্টেশন অন্বেষণ করুন](https://planetarycomputer.microsoft.com/docs/overview/about) যাতে সমর্থিত ডেটাসেট এবং API সম্পর্কে বুঝতে পারেন।
* [ইকোসিস্টেম মনিটরিং](https://analytics-lab.org/ecosystemmonitoring/) এর মতো অ্যাপ্লিকেশন অন্বেষণ করুন, যা অ্যাপ্লিকেশন আইডিয়ার জন্য অনুপ্রেরণা দিতে পারে।
ভাবুন কীভাবে আপনি ডেটা ভিজ্যুয়ালাইজেশন ব্যবহার করে জলবায়ু পরিবর্তন এবং বন উজাড়ের মতো ক্ষেত্রগুলিতে প্রাসঙ্গিক অন্তর্দৃষ্টি প্রকাশ বা বাড়িয়ে তুলতে পারেন। অথবা ভাবুন কীভাবে এই অন্তর্দৃষ্টি ব্যবহার করে নতুন ব্যবহারকারীর অভিজ্ঞতা তৈরি করা যেতে পারে যা আরও টেকসই জীবনযাপনের জন্য আচরণগত পরিবর্তনকে উৎসাহিত করে।
ভাবুন কীভাবে আপনি ডেটা ভিজ্যুয়ালাইজেশন ব্যবহার করে জলবায়ু পরিবর্তন এবং বন উজাড়ের মতো বিষয়গুলিতে প্রাসঙ্গিক অন্তর্দৃষ্টি প্রকাশ বা জোর দিতে পারেন। অথবা ভাবুন কীভাবে এই অন্তর্দৃষ্টিগুলি নতুন ব্যবহারকারীর অভিজ্ঞতা তৈরি করতে ব্যবহার করা যেতে পারে, যা আরও টেকসই জীবনযাপনের জন্য আচরণগত পরিবর্তনকে উৎসাহিত করে।
## ডেটা সায়েন্স + শিক্ষার্থীরা
@ -120,11 +121,11 @@ CO_OP_TRANSLATOR_METADATA:
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) এর GitHub [প্রকল্পগুলি](https://github.com/msr-ds3) যা নিম্নলিখিত বিষয়গুলি অন্বেষণ করে:
* [ডিজিটালাইজিং ম্যাটেরিয়াল কালচার: সিরকাপে সামাজিক-অর্থনৈতিক বিতরণ অন্বেষণ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc)- [Ornella Altunyan](https://twitter.com/ornelladotcom) এবং Claremont টিমের দ্বারা, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) ব্যবহার করে।
* [ডিজিটালাইজিং ম্যাটেরিয়াল কালচার: সিরকাপে সামাজিক-অর্থনৈতিক বিতরণ অন্বেষণ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc)- [Ornella Altunyan](https://twitter.com/ornelladotcom) এবং Claremont টিমের দ্বারা, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) ব্যবহার করে।
## 🚀 চ্যালেঞ্জ
ডেটা সায়েন্স প্রকল্পের জন্য এমন প্রবন্ধ অনুসন্ধান করুন যা শিক্ষার্থীদের জন্য সহজ এবং শুরু করার উপযোগী - যেমন [এই ৫০টি বিষয়](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [এই ২১টি প্রকল্প আইডিয়া](https://www.intellspot.com/data-science-project-ideas),অথবা [এই ১৬টি প্রকল্পের সোর্স কোড সহ](https://data-flair.training/blogs/data-science-project-ideas/) যা আপনি বিশ্লেষণ এবং পুনর্গঠন করতে পারেন। এবং আপনার শেখার যাত্রা সম্পর্কে ব্লগ লিখতে ভুলবেন না এবং আপনার অন্তর্দৃষ্টি আমাদের সবার সাথে শেয়ার করুন।
ডেটা সায়েন্স প্রকল্পের জন্য এমন প্রবন্ধ খুঁজুন যা শিক্ষার্থীদের জন্য সহজ এবং শুরু করার উপযোগী - যেমন [এই ৫০টি বিষয়](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) বা [এই ২১টি প্রকল্প আইডিয়া](https://www.intellspot.com/data-science-project-ideas) বা [এই ১৬টি প্রকল্প সোর্স কোড সহ](https://data-flair.training/blogs/data-science-project-ideas/) যা আপনি বিশ্লেষণ এবং পুনর্গঠন করতে পারেন। এবং আপনার শেখার যাত্রা সম্পর্কে ব্লগ লিখতে ভুলবেন না এবং আপনার অন্তর্দৃষ্টি আমাদের সবার সাথে শেয়ার করুন।
## পোস্ট-লেকচার কুইজ
@ -132,11 +133,12 @@ CO_OP_TRANSLATOR_METADATA:
## পর্যালোচনা এবং স্ব-অধ্যয়ন
আরও ব্যবহারিক ক্ষেত্র অন্বেষণ করতে চান? এখানে কিছু প্রাসঙ্গিক প্রবন্ধ দেওয়া হলো:
আরও ব্যবহারিক উদাহরণ অন্বেষণ করতে চান? এখানে কিছু প্রাসঙ্গিক প্রবন্ধ দেওয়া হলো:
* [ডেটা সায়েন্সের ১৭টি প্রয়োগ এবং উদাহরণ](https://builtin.com/data-science/data-science-applications-examples) - জুলাই ২০২১
* [বাস্তব জগতে ডেটা সায়েন্স](https://towardsdatascience.com/data-science-in-the-real-world/home) - প্রবন্ধ সংগ্রহ
* ডেটা সায়েন্স: [শিক্ষা](https://data-flair.training/blogs/data-science-in-education/), [কৃষি](https://data-flair.training/blogs/data-science-in-agriculture/), [অর্থনীতি](https://data-flair.training/blogs/data-science-in-finance/), [চলচ্চিত্র](https://data-flair.training/blogs/data-science-at-movies/) এবং আরও অনেক কিছু।
* [ডেটা সায়েন্সের ১২টি বাস্তব উদাহরণ](https://www.scaler.com/blog/data-science-applications/) - মে ২০২৪
* ডেটা সায়েন্স: [শিক্ষা](https://data-flair.training/blogs/data-science-in-education/), [কৃষি](https://data-flair.training/blogs/data-science-in-agriculture/), [অর্থনীতি](https://data-flair.training/blogs/data-science-in-finance/), [চলচ্চিত্র](https://data-flair.training/blogs/data-science-at-movies/), [স্বাস্থ্যসেবা](https://onlinedegrees.sandiego.edu/data-science-health-care/) এবং আরও অনেক কিছু।
## অ্যাসাইনমেন্ট
@ -145,4 +147,4 @@ CO_OP_TRANSLATOR_METADATA:
---
**অস্বীকৃতি**:
এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসাধ্য সঠিকতার জন্য চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল ভাষায় থাকা নথিটিকে প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য, পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যা হলে আমরা তার জন্য দায়ী থাকব না।
এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসম্ভব সঠিক অনুবাদের চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। নথিটির মূল ভাষায় রচিত সংস্করণটিকেই প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই।
@ -27,9 +27,9 @@ Nesta lição, vamos explorar aplicações reais da ciência de dados em diferen
Graças à democratização da IA, os desenvolvedores estão encontrando mais facilidade para projetar e integrar tomadas de decisão baseadas em IA e insights orientados por dados em experiências de usuário e fluxos de trabalho de desenvolvimento. Aqui estão alguns exemplos de como a ciência de dados é "aplicada" em contextos reais na indústria:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) utilizou ciência de dados para correlacionar termos de busca com tendências de gripe. Embora a abordagem tenha tido falhas, ela trouxe à tona as possibilidades (e desafios) de previsões de saúde baseadas em dados.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) usou ciência de dados para correlacionar termos de busca com tendências de gripe. Embora a abordagem tenha falhas, ela trouxe à tona as possibilidades (e desafios) de previsões de saúde baseadas em dados.
* [Previsões de Rotas da UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explica como a UPS usa ciência de dados e aprendizado de máquina para prever rotas ideais de entrega, considerando condições climáticas, padrões de tráfego, prazos de entrega e mais.
* [Previsões de Rotas da UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explica como a UPS utiliza ciência de dados e aprendizado de máquina para prever rotas ideais de entrega, considerando condições climáticas, padrões de tráfego, prazos de entrega e mais.
* [Visualização de Rotas de Táxi em NYC](http://chriswhong.github.io/nyctaxi/) - dados obtidos por meio das [Leis de Liberdade de Informação](https://chriswhong.com/open-data/foil_nyc_taxi/) ajudaram a visualizar um dia na vida dos táxis de NYC, permitindo entender como eles navegam pela cidade movimentada, o dinheiro que ganham e a duração das viagens ao longo de um período de 24 horas.
@ -41,7 +41,7 @@ Graças à democratização da IA, os desenvolvedores estão encontrando mais fa
* [Ciência de Dados na Saúde](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicações como imagem médica (e.g., ressonância magnética, raio-X, tomografia), genômica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados com pacientes e logística de suprimentos), rastreamento e prevenção de doenças etc.
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
A figura mostra outros domínios e exemplos de aplicação de técnicas de ciência de dados. Quer explorar outras aplicações? Confira a seção [Revisão e Autoestudo](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) abaixo.
@ -51,18 +51,18 @@ A figura mostra outros domínios e exemplos de aplicação de técnicas de ciên
| Ciência de Dados & Pesquisa - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Embora as aplicações do mundo real frequentemente se concentrem em casos de uso na indústria em grande escala, as aplicações e projetos de _pesquisa_ podem ser úteis sob duas perspectivas:
Embora as aplicações do mundo real frequentemente se concentrem em casos de uso na indústria em larga escala, as aplicações e projetos de _pesquisa_ podem ser úteis sob duas perspectivas:
* _oportunidades de inovação_ - explorar protótipos rápidos de conceitos avançados e testar experiências de usuário para aplicações de próxima geração.
* _oportunidades de inovação_ - explorar prototipagem rápida de conceitos avançados e testar experiências de usuário para aplicações de próxima geração.
* _desafios de implementação_ - investigar possíveis danos ou consequências não intencionais das tecnologias de ciência de dados em contextos reais.
Para estudantes, esses projetos de pesquisa podem oferecer oportunidades de aprendizado e colaboração que melhoram sua compreensão do tema e ampliam sua conscientização e engajamento com pessoas ou equipes relevantes que trabalham em áreas de interesse. Então, como são os projetos de pesquisa e como eles podem causar impacto?
Vamos analisar um exemplo - o [MIT Gender Shades Study](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) com um [artigo de pesquisa de destaque](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) coautorado com Timnit Gebru (então na Microsoft Research) que focou em:
* **O que:** O objetivo do projeto de pesquisa era _avaliar o viés presente em algoritmos e conjuntos de dados de análise facial automatizada_ com base em gênero e tipo de pele.
* **Por que:** A análise facial é usada em áreas como aplicação da lei, segurança em aeroportos, sistemas de contratação e mais - contextos onde classificações imprecisas (e.g., devido a viés) podem causar danos econômicos e sociais potenciais a indivíduos ou grupos afetados. Entender (e eliminar ou mitigar) esses vieses é essencial para a equidade no uso.
* **Como:** Os pesquisadores perceberam que os benchmarks existentes usavam predominantemente sujeitos de pele mais clara e criaram um novo conjunto de dados (mais de 1000 imagens) que era _mais equilibrado_em termos de gênero e tipo de pele. O conjunto de dados foi usado para avaliar a precisão de três produtos de classificação de gênero (da Microsoft, IBM e Face++).
* **O quê:** O objetivo do projeto de pesquisa era _avaliar o viés presente em algoritmos e conjuntos de dados de análise facial automatizada_ com base em gênero e tipo de pele.
* **Por quê:** A análise facial é usada em áreas como aplicação da lei, segurança em aeroportos, sistemas de contratação e mais - contextos onde classificações imprecisas (e.g., devido ao viés) podem causar danos econômicos e sociais potenciais a indivíduos ou grupos afetados. Entender (e eliminar ou mitigar) esses vieses é essencial para a equidade no uso.
* **Como:** Os pesquisadores perceberam que os benchmarks existentes usavam predominantemente sujeitos de pele mais clara e criaram um novo conjunto de dados (mais de 1000 imagens) que era _mais equilibrado_por gênero e tipo de pele. O conjunto de dados foi usado para avaliar a precisão de três produtos de classificação de gênero (da Microsoft, IBM e Face++).
Os resultados mostraram que, embora a precisão geral da classificação fosse boa, havia uma diferença perceptível nas taxas de erro entre vários subgrupos - com **erros de classificação de gênero** sendo mais altos para mulheres ou pessoas com pele mais escura, indicativo de viés.
@ -80,9 +80,9 @@ Os resultados mostraram que, embora a precisão geral da classificação fosse b
| Ciência de Dados & Humanidades Digitais - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Humanidades Digitais [são definidas](https://digitalhumanities.stanford.edu/about-dh-stanford) como "uma coleção de práticas e abordagens que combinam métodos computacionais com investigação humanística". Projetos [Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ e _"poetic thinking"_ ilustram a ligação entre [Humanidades Digitais e Ciência de Dados](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizando técnicas como análise de redes, visualização de informações, análise espacial e textual que podem nos ajudar a revisitar conjuntos de dados históricos e literários para derivar novos insights e perspectivas.
Humanidades Digitais [são definidas](https://digitalhumanities.stanford.edu/about-dh-stanford) como "uma coleção de práticas e abordagens que combinam métodos computacionais com investigação humanística". Projetos [Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ e _"poetic thinking"_ ilustram a ligação entre [Humanidades Digitais e Ciência de Dados](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizando técnicas como análise de redes, visualização de informações, análise espacial e textual que podem nos ajudar a revisitar conjuntos de dados históricos e literários para obter novos insights e perspectivas.
*Quer explorar e expandir um projeto neste espaço?*
*Quer explorar e expandir um projeto nesta área?*
Confira ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - um ótimo exemplo de [Jen Looper](https://twitter.com/jenlooper) que pergunta como podemos usar ciência de dados para revisitar poesias familiares e reavaliar seu significado e as contribuições de seu autor em novos contextos. Por exemplo, _podemos prever a estação do ano em que um poema foi escrito analisando seu tom ou sentimento_ - e o que isso nos diz sobre o estado de espírito do autor durante o período relevante?
@ -104,46 +104,47 @@ Usando esse fluxo de trabalho, podemos explorar os impactos sazonais no sentimen
A [Agenda 2030 para o Desenvolvimento Sustentável](https://sdgs.un.org/2030agenda) - adotada por todos os membros das Nações Unidas em 2015 - identifica 17 objetivos, incluindo aqueles que focam em **Proteger o Planeta** contra a degradação e os impactos das mudanças climáticas. A iniciativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) apoia esses objetivos explorando maneiras pelas quais soluções tecnológicas podem promover e construir futuros mais sustentáveis com um [foco em 4 metas](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - ser carbono negativo, positivo em água, zero desperdício e biodiverso até 2030.
Enfrentar esses desafios de forma escalável e oportuna exige pensamento em escala de nuvem - e dados em grande escala. A iniciativa [Planetary Computer](https://planetarycomputer.microsoft.com/) fornece 4 componentes para ajudar cientistas de dados e desenvolvedores nesse esforço:
Enfrentar esses desafios de forma escalável e oportuna exige pensamento em escala de nuvem - e grandes volumes de dados. A iniciativa [Planetary Computer](https://planetarycomputer.microsoft.com/) fornece 4 componentes para ajudar cientistas de dados e desenvolvedores nesse esforço:
* [Catálogo de Dados](https://planetarycomputer.microsoft.com/catalog) - com petabytes de dados de sistemas terrestres (gratuitos e hospedados no Azure).
* [API Planetária](https://planetarycomputer.microsoft.com/docs/reference/stac/) - para ajudar os usuários a buscar dados relevantes no espaço e no tempo.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - ambiente gerenciado para cientistas processarem conjuntos de dados geoespaciais massivos.
* [Aplicações](https://planetarycomputer.microsoft.com/applications) - mostram casos de uso e ferramentas para insights de sustentabilidade.
**O Projeto Planetary Computer está atualmente em fase de prévia (a partir de setembro de 2021)** - veja como você pode começar a contribuir para soluções de sustentabilidade usando ciência de dados.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - ambiente gerenciado para cientistas processarem grandes conjuntos de dados geoespaciais.
* [Aplicações](https://planetarycomputer.microsoft.com/applications) - mostram casos de uso e ferramentas para insights sobre sustentabilidade.
**O Projeto Planetary Computer está atualmente em fase de pré-visualização (a partir de setembro de 2021)** - veja como você pode começar a contribuir para soluções de sustentabilidade usando ciência de dados.
* [Solicite acesso](https://planetarycomputer.microsoft.com/account/request) para iniciar a exploração e se conectar com outros profissionais.
* [Explore a documentação](https://planetarycomputer.microsoft.com/docs/overview/about) para entender os conjuntos de dados e APIs suportados.
* Explore aplicações como [Monitoramento de Ecossistemas](https://analytics-lab.org/ecosystemmonitoring/) para se inspirar em ideias de aplicações.
Pense em como você pode usar visualização de dados para expor ou amplificar insights relevantes em áreas como mudanças climáticas e desmatamento. Ou reflita sobre como esses insights podem ser usados para criar novas experiências de usuário que motivem mudanças comportamentais para um estilo de vida mais sustentável.
Pense em como você pode usar visualização de dados para expor ou amplificar insights relevantes em áreas como mudanças climáticas e desmatamento. Ou reflita sobre como esses insights podem ser usados para criar novas experiências de usuário que motivem mudanças comportamentais para uma vida mais sustentável.
## Ciência de Dados + Estudantes
Já falamos sobre aplicações no mundo real na indústria e na pesquisa, e exploramos exemplos de aplicações de ciência de dados em humanidades digitais e sustentabilidade. Então, como você pode desenvolver suas habilidades e compartilhar sua expertise como iniciante em ciência de dados?
Falamos sobre aplicações do mundo real na indústria e na pesquisa, e exploramos exemplos de aplicações de ciência de dados nas humanidades digitais e na sustentabilidade. Então, como você pode desenvolver suas habilidades e compartilhar sua expertise como iniciante em ciência de dados?
Aqui estão alguns exemplos de projetos de estudantes em ciência de dados para inspirar você.
* [Escola de Verão de Ciência de Dados da MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) com [projetos](https://github.com/msr-ds3) no GitHub explorando tópicos como:
- [Viés racial no uso da força pela polícia](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Confiabilidade do sistema de metrô de Nova York](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalizando a Cultura Material: Explorando distribuições socioeconômicas em Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de [Ornella Altunyan](https://twitter.com/ornelladotcom) e equipe em Claremont, usando [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Escola de Verão de Ciência de Dados da MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) com [projetos](https://github.com/msr-ds3) no GitHub explorando tópicos como:
- [Viés Racial no Uso da Força pela Polícia](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Confiabilidade do Sistema de Metrô de Nova York](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalizando a Cultura Material: Explorando distribuições socioeconômicas em Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de [Ornella Altunyan](https://twitter.com/ornelladotcom) e equipe em Claremont, usando [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Desafio
Procure por artigos que recomendem projetos de ciência de dados para iniciantes - como [esses 50 tópicos](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ou [essas 21 ideias de projetos](https://www.intellspot.com/data-science-project-ideas) ou [esses 16 projetos com códigofonte](https://data-flair.training/blogs/data-science-project-ideas/) que você pode desconstruir e remixar. E não se esqueça de blogar sobre suas jornadas de aprendizado e compartilhar seus insights com todos nós.
Pesquise artigos que recomendem projetos de ciência de dados para iniciantes - como [essas 50 áreas temáticas](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ou [essas 21 ideias de projetos](https://www.intellspot.com/data-science-project-ideas) ou [esses 16 projetos com código-fonte](https://data-flair.training/blogs/data-science-project-ideas/) que você pode desconstruir e remixar. E não se esqueça de blogar sobre suas jornadas de aprendizado e compartilhar seus insights com todos nós.
Quer explorar mais casos de uso? Aqui estão alguns artigos relevantes:
* [17 Aplicações e Exemplos de Ciência de Dados](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplicações Impressionantes de Ciência de Dados no Mundo Real](https://myblindbird.com/data-science-applications-real-world/) - Mai 2021
* [Ciência de Dados no Mundo Real](https://towardsdatascience.com/data-science-in-the-real-world/home) - Coleção de Artigos
* Ciência de Dados em: [Educação](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanças](https://data-flair.training/blogs/data-science-in-finance/), [Filmes](https://data-flair.training/blogs/data-science-at-movies/) e mais.
* [17 Aplicações e Exemplos de Ciência de Dados](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplicações Impressionantes de Ciência de Dados no Mundo Real](https://myblindbird.com/data-science-applications-real-world/) - Mai 2021
* [Ciência de Dados no Mundo Real](https://towardsdatascience.com/data-science-in-the-real-world/home) - Coleção de Artigos
* [12 Aplicações Reais de Ciência de Dados com Exemplos](https://www.scaler.com/blog/data-science-applications/) - Mai 2024
* Ciência de Dados em: [Educação](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanças](https://data-flair.training/blogs/data-science-in-finance/), [Filmes](https://data-flair.training/blogs/data-science-at-movies/), [Saúde](https://onlinedegrees.sandiego.edu/data-science-health-care/) e mais.
## Tarefa
@ -152,4 +153,4 @@ Quer explorar mais casos de uso? Aqui estão alguns artigos relevantes:
---
**Aviso Legal**:
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte oficial. Para informações críticas, recomenda-se a tradução profissional feita por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.
@ -25,23 +25,23 @@ V této lekci prozkoumáme reálné aplikace datové vědy napříč průmyslem
## Data Science + Průmysl
Díky demokratizaci AI je pro vývojáře nyní snazší navrhovat a integrovat rozhodování řízené AI a poznatky založené na datech do uživatelských zkušeností a pracovních postupů vývoje. Zde je několik příkladů, jak je datová věda "aplikována" na reálné aplikace napříč průmyslem:
Díky demokratizaci AI je pro vývojáře nyní snazší navrhovat a integrovat rozhodování řízené AI a poznatky založené na datech do uživatelských zkušeností a vývojových pracovních postupů. Zde je několik příkladů, jak je datová věda "aplikována" na reálné aplikace napříč průmyslem:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) využíval datovou vědu k propojení vyhledávacích termínů s trendy chřipky. Přestože přístup měl své nedostatky, zvýšil povědomí o možnostech (a výzvách) predikcí zdravotní péče založených na datech.
* [Predikce tras UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - vysvětluje, jak UPS využívá datovou vědu a strojové učení k predikci optimálních tras pro doručování, přičemž bere v úvahu povětrnostní podmínky, dopravní situaci, termíny doručení a další faktory.
* [Vizualizace tras taxíků v NYC](http://chriswhong.github.io/nyctaxi/) - data získaná pomocí [zákonů o svobodném přístupu k informacím](https://chriswhong.com/open-data/foil_nyc_taxi/) pomohla vizualizovat jeden den v životě taxíků v NYC, což nám umožňuje pochopit, jak se pohybují po rušném městě, kolik vydělávají a jak dlouho trvají jednotlivé jízdy během 24 hodin.
* [Vizualizace tras taxíků v NYC](http://chriswhong.github.io/nyctaxi/) - data získaná pomocí [zákonů o svobodném přístupu k informacím](https://chriswhong.com/open-data/foil_nyc_taxi/) pomohla vizualizovat jeden den v životě taxíků v NYC, což nám umožňuje pochopit, jak se pohybují po rušném městě, kolik vydělávají a jak dlouho trvají jejich cesty během každého 24hodinového období.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - využívá data (o místech vyzvednutí a vysazení, délce jízdy, preferovaných trasách atd.) získaná z milionů jízd Uberu *denně*k vytvoření nástroje pro analýzu dat, který pomáhá s cenotvorbou, bezpečností, detekcí podvodů a navigačními rozhodnutími.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - využívá data (o místech vyzvednutí a vysazení, délce cesty, preferovaných trasách atd.) získaná z milionů denních jízd Uberu k vytvoření analytického nástroje, který pomáhá s cenotvorbou, bezpečností, detekcí podvodů a navigačními rozhodnutími.
* [Analýza dat ve sportu](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - zaměřuje se na _prediktivní analýzu_ (analýza týmů a hráčů - například [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - a řízení fanoušků) a _vizualizaci dat_ (dashboardy týmů a fanoušků, hry atd.) s aplikacemi jako skauting talentů, sportovní sázení a řízení inventáře/areálu.
* [Analytika ve sportu](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - zaměřuje se na _prediktivní analytiku_ (analýza týmů a hráčů - například [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - a řízení fanoušků) a _vizualizaci dat_ (dashboardy týmů a fanoušků, hry atd.) s aplikacemi jako skauting talentů, sportovní sázení a řízení inventáře/areálu.
* [Datová věda v bankovnictví](https://data-flair.training/blogs/data-science-in-banking/) - zdůrazňuje hodnotu datové vědy ve finančním průmyslu s aplikacemi od modelování rizik a detekce podvodů, přes segmentaci zákazníků, až po predikce v reálném čase a doporučovací systémy. Prediktivní analýza také pohání klíčová opatření jako [kreditní skóre](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Datová věda v bankovnictví](https://data-flair.training/blogs/data-science-in-banking/) - zdůrazňuje hodnotu datové vědy ve finančním průmyslu s aplikacemi od modelování rizik a detekce podvodů po segmentaci zákazníků, predikce v reálném čase a doporučovací systémy. Prediktivní analytika také pohání klíčová opatření jako [kreditní skóre](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Datová věda ve zdravotnictví](https://data-flair.training/blogs/data-science-in-healthcare/) - zdůrazňuje aplikace jako lékařské zobrazování (např. MRI, rentgen, CT-sken), genomika (sekvenování DNA), vývoj léků (hodnocení rizik, predikce úspěchu), prediktivní analýza (péče o pacienty a logistika zásob), sledování a prevence nemocí atd.
* [Datová věda ve zdravotnictví](https://data-flair.training/blogs/data-science-in-healthcare/) - zdůrazňuje aplikace jako lékařské zobrazování (např. MRI, rentgen, CT-sken), genomiku (sekvenování DNA), vývoj léků (hodnocení rizik, predikce úspěchu), prediktivní analytiku (péče o pacienty a logistika zásob), sledování a prevence nemocí atd.
 Zdroj obrázku: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Zdroj obrázku: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Obrázek ukazuje další oblasti a příklady aplikace technik datové vědy. Chcete prozkoumat další aplikace? Podívejte se na sekci [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) níže.
@ -49,20 +49,20 @@ Obrázek ukazuje další oblasti a příklady aplikace technik datové vědy. Ch
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Datová věda& Výzkum - _Sketchnote od [@nitya](https://twitter.com/nitya)_ |
| Data Science& Výzkum - _Sketchnote od [@nitya](https://twitter.com/nitya)_ |
Zatímco aplikace v reálném světě se často zaměřují na průmyslové případy použití ve velkém měřítku, _výzkumné_ aplikace a projekty mohou být užitečné ze dvou perspektiv:
* _příležitosti k inovacím_ - zkoumání rychlého prototypování pokročilých konceptů a testování uživatelských zkušeností pro aplikace nové generace.
* _výzvy při nasazení_ - zkoumání potenciálních škod nebo nechtěných důsledků technologií datové vědy v reálném světě.
* _výzvy při nasazení_ - zkoumání potenciálních škod nebo nechtěných důsledků technologií datové vědy v reálných kontextech.
Pro studenty mohou tyto výzkumné projekty poskytnout jak příležitosti k učení, tak ke spolupráci, což může zlepšit jejich porozumění tématu a rozšířit jejich povědomí a zapojení s relevantními lidmi nebo týmy pracujícími v oblastech zájmu. Jak tedy výzkumné projekty vypadají a jak mohou mít dopad?
Podívejme se na jeden příklad - [MIT Gender Shades Study](http://gendershades.org/overview.html) od Joy Buolamwini (MIT Media Labs) s [významným výzkumným článkem](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) spoluautorky Timnit Gebru (tehdy v Microsoft Research), který se zaměřil na:
* **Co:** Cílem výzkumného projektu bylo _hodnotit přítomnost zaujatosti v algoritmech a datových sadách pro automatizovanou analýzu obličeje_ na základě pohlaví a typu pokožky.
* **Proč:** Analýza obličeje se používá v oblastech jako vymáhání práva, bezpečnost na letištích, systémy náboru a další - kontexty, kde nepřesné klasifikace (např. kvůli zaujatosti) mohou způsobit potenciální ekonomické a sociální škody postiženým jednotlivcům nebo skupinám. Porozumění (a eliminace nebo zmírnění) zaujatostí je klíčem k férovosti při používání.
* **Jak:** Výzkumníci si uvědomili, že stávající benchmarky používaly převážně subjekty se světlejší pokožkou, a vytvořili novou datovou sadu (1000+ obrázků), která byla _vyváženější_ podle pohlaví a typu pokožky. Tato datová sada byla použita k hodnocení přesnosti tří produktů pro klasifikaci pohlaví (od Microsoftu, IBM a Face++).
* **Co:** Cílem výzkumného projektu bylo _vyhodnotit přítomnost zaujatosti v algoritmech a datových sadách pro automatizovanou analýzu obličeje_ na základě pohlaví a typu pokožky.
* **Proč:** Analýza obličeje se používá v oblastech jako vymáhání práva, bezpečnost na letištích, systémy náboru a další - kontexty, kde nepřesné klasifikace (např. kvůli zaujatosti) mohou způsobit potenciální ekonomické a sociální škody postiženým jednotlivcům nebo skupinám. Porozumění (a eliminace nebo zmírnění) zaujatosti je klíčem k férovosti při používání.
* **Jak:** Výzkumníci zjistili, že stávající benchmarky používaly převážně subjekty se světlejší pokožkou, a vytvořili novou datovou sadu (1000+ obrázků), která byla _vyváženější_ podle pohlaví a typu pokožky. Datová sada byla použita k vyhodnocení přesnosti tří produktů pro klasifikaci pohlaví (od Microsoftu, IBM a Face++).
Výsledky ukázaly, že přestože celková přesnost klasifikace byla dobrá, existoval znatelný rozdíl v míře chyb mezi různými podskupinami - s **nesprávným určením pohlaví** častějším u žen nebo osob s tmavší pokožkou, což naznačuje zaujatost.
@ -78,31 +78,31 @@ Výsledky ukázaly, že přestože celková přesnost klasifikace byla dobrá, e
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Data Science& Digitální humanitní vědy - _Sketchnote od [@nitya](https://twitter.com/nitya)_ |
Digitální humanitní vědy [byly definovány](https://digitalhumanities.stanford.edu/about-dh-stanford) jako "soubor praktik a přístupů kombinujících výpočetní metody s humanistickým zkoumáním". [Projekty Stanfordu](https://digitalhumanities.stanford.edu/projects) jako _"rebooting history"_ a _"poetic thinking"_ ilustrují propojení mezi [digitálními humanitními vědami a datovou vědou](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - zdůrazňují techniky jako analýza sítí, vizualizace informací, prostorová a textová analýza, které nám mohou pomoci znovu prozkoumat historické a literární datové sady a získat nové poznatky a perspektivy.
*Chcete prozkoumat a rozšířit projekt v této oblasti?*
Podívejte se na ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - skvělý příklad od [Jen Looper](https://twitter.com/jenlooper), který se ptá, jak můžeme využít datovou vědu k opětovnému prozkoumání známé poezie a přehodnocení jejího významu a přínosu jejího autora v nových kontextech. Například, _můžeme předpovědět roční období, ve kterém byla báseň napsána, analýzou jejího tónu nebo sentimentu_ - a co nám to říká o duševním stavu autora během daného období?
Podívejte se na ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - skvělý příklad od [Jen Looper](https://twitter.com/jenlooper), který se ptá, jak můžeme využít datovou vědu k opětovnému prozkoumání známé poezie a přehodnocení jejího významu a přínosů jejího autora v nových kontextech. Například, _můžeme předpovědět roční období, ve kterém byla báseň napsána, analýzou jejího tónu nebo sentimentu_ - a co nám to říká o stavu mysli autora během daného období?
K zodpovězení této otázky následujeme kroky životního cyklu datové vědy:
* [`Získávání dat`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - sběr relevantní datové sady pro analýzu. Možnosti zahrnují použití API (např. [Poetry DB API](https://poetrydb.org/index.html)) nebo scraping webových stránek (např. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) pomocí nástrojů jako [Scrapy](https://scrapy.org/).
* [`Čištění dat`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - vysvětluje, jak lze text formátovat, čistit a zjednodušovat pomocí základních nástrojů jako Visual Studio Code a Microsoft Excel.
* [`Čištění dat`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - vysvětluje, jak může být text formátován, očištěn a zjednodušen pomocí základních nástrojů jako Visual Studio Code a Microsoft Excel.
* [`Analýza dat`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - vysvětluje, jak můžeme nyní importovat datovou sadu do "Notebooks" pro analýzu pomocí Python balíčků (jako pandas, numpy a matplotlib) k organizaci a vizualizaci dat.
* [`Analýza sentimentu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - vysvětluje, jak můžeme integrovat cloudové služby jako Text Analytics, pomocí nástrojů s nízkým kódem jako [Power Automate](https://flow.microsoft.com/en-us/) pro automatizované pracovní postupy zpracování dat.
Pomocí tohoto pracovního postupu můžeme prozkoumat sezónní vlivy na sentiment básní a pomoci nám vytvořit vlastní pohledy na autora. Vyzkoušejte si to sami - poté rozšiřte notebook, abyste položili další otázky nebo vizualizovali data novými způsoby!
Pomocí tohoto pracovního postupu můžeme prozkoumat sezónní vlivy na sentiment básní a pomoci nám vytvořit vlastní perspektivy na autora. Vyzkoušejte to sami - poté rozšiřte notebook, abyste položili další otázky nebo vizualizovali data novými způsoby!
> Některé nástroje z [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) můžete použít k prozkoumání těchto otázek.
> Můžete použít některé nástroje z [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) k prozkoumání těchto možností.
## Data Science + Udržitelnost
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Datová věda& Udržitelnost - _Sketchnote od [@nitya](https://twitter.com/nitya)_ |
| Data Science& Udržitelnost - _Sketchnote od [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 pro udržitelný rozvoj](https://sdgs.un.org/2030agenda) - přijatá všemi členy OSN v roce 2015 - identifikuje 17 cílů, včetně těch, které se zaměřují na **ochranu planety** před degradací a dopady změny klimatu. Iniciativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) podporuje tyto cíle tím, že zkoumá způsoby, jak technologická řešení mohou podporovat a budovat udržitelnější budoucnost se [zaměřením na 4 cíle](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - být uhlíkově negativní, vodně pozitivní, bez odpadu a biodiverzní do roku 2030.
[Agenda 2030 pro udržitelný rozvoj](https://sdgs.un.org/2030agenda) - přijatá všemi členy OSN v roce 2015 - identifikuje 17 cílů, včetně těch, které se zaměřují na **ochranu planety** před degradací a dopady změny klimatu. Iniciativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) podporuje tyto cíle zkoumáním způsobů, jak technologická řešení mohou podporovat a budovat udržitelnější budoucnost se [zaměřením na 4 cíle](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - být uhlíkově negativní, vodně pozitivní, bez odpadu a biodiverzní do roku 2030.
Řešení těchto výzev ve škálovatelném a včasném měřítku vyžaduje cloudové myšlení - a velké množství dat. Iniciativa [Planetary Computer](https://planetarycomputer.microsoft.com/) poskytuje 4 komponenty, které pomáhají datovým vědcům a vývojářům v tomto úsilí:
@ -114,17 +114,17 @@ Pomocí tohoto pracovního postupu můžeme prozkoumat sezónní vlivy na sentim
* [Požádejte o přístup](https://planetarycomputer.microsoft.com/account/request) a začněte s průzkumem a propojením s kolegy.
* [Prozkoumejte dokumentaci](https://planetarycomputer.microsoft.com/docs/overview/about), abyste porozuměli podporovaným datovým sadám a API.
* Prozkoumejte aplikace jako [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) pro inspiraci na nápady pro aplikace.
* Prozkoumejte aplikace jako [Monitoring ekosystémů](https://analytics-lab.org/ecosystemmonitoring/) pro inspiraci na nápady aplikací.
Přemýšlejte o tom, jak můžete využít vizualizaci dat k odhalení nebo zesílení relevantních poznatků v oblastech, jako je změna klimatu a odlesňování. Nebo přemýšlejte o tom, jak lze poznatky využít k vytvoření nových uživatelských zkušeností, které motivují ke změně chování pro udržitelnější život.
## Datová věda + studenti
Hovořili jsme o aplikacích v průmyslu a výzkumu a prozkoumali příklady aplikací datové vědy v digitálních humanitních vědách a udržitelnosti. Jak si tedy můžete rozvíjet své dovednosti a sdílet své znalosti jako začátečníci v datové vědě?
Hovořili jsme o aplikacích v reálném světě v průmyslu a výzkumu a prozkoumali příklady aplikací datové vědy v digitálních humanitních vědách a udržitelnosti. Jak si tedy můžete rozvíjet své dovednosti a sdílet své znalosti jako začátečníci v datové vědě?
Zde jsou některé příklady studentských projektů v oblasti datové vědy, které vás mohou inspirovat.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) s GitHub [projekty](https://github.com/msr-ds3), které zkoumají témata jako:
* [Letní škola datové vědy MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) s GitHub [projekty](https://github.com/msr-ds3), které zkoumají témata jako:
- [Rasová zaujatost při použití síly policií](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Spolehlivost systému metra v NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalizace materiální kultury: Zkoumání socio-ekonomických rozložení v Sirkapu](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - od [Ornella Altunyan](https://twitter.com/ornelladotcom) a týmu z Claremontu, využívající [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
@ -143,7 +143,8 @@ Chcete prozkoumat více případů použití? Zde je několik relevantních čl
* [17 aplikací a příkladů datové vědy](https://builtin.com/data-science/data-science-applications-examples) - červenec 2021
@ -152,4 +153,4 @@ Chcete prozkoumat více případů použití? Zde je několik relevantních čl
---
**Prohlášení**:
Tento dokument byl přeložen pomocí služby pro automatický překlad [Co-op Translator](https://github.com/Azure/co-op-translator). I když se snažíme o přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho původním jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Neodpovídáme za žádné nedorozumění nebo nesprávné interpretace vyplývající z použití tohoto překladu.
Tento dokument byl přeložen pomocí služby pro automatický překlad [Co-op Translator](https://github.com/Azure/co-op-translator). I když se snažíme o co největší přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Za autoritativní zdroj by měl být považován původní dokument v jeho původním jazyce. Pro důležité informace doporučujeme profesionální lidský překlad. Neodpovídáme za žádná nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu.
| Data Science i den Virkelige Verden - _Sketchnote af [@nitya](https://twitter.com/nitya)_|
| Data Science i den Virkelige Verden - _Sketchnote af [@nitya](https://twitter.com/nitya)_ |
Vi er næsten ved vejs ende i denne læringsrejse!
Vi startede med definitioner af data science og etik, udforskede forskellige værktøjer og teknikker til dataanalyse og visualisering, gennemgik data science-livscyklussen og kiggede på skalering og automatisering af data science-arbejdsgange med cloud computing-tjenester. Så du tænker sikkert: _"Hvordan kan jeg præcist anvende alt dette i virkelige kontekster?"_
Vi startede med definitioner af data science og etik, udforskede forskellige værktøjer og teknikker til dataanalyse og visualisering, gennemgik data science-livscyklussen og kiggede på skalering og automatisering af data science-arbejdsgange med cloud computing-tjenester. Så du tænker sikkert: _"Hvordan kan jeg præcist anvende alt dette i virkelige sammenhænge?"_
I denne lektion vil vi undersøge virkelige anvendelser af data science på tværs af industrier og dykke ned i specifikke eksempler inden for forskning, digitale humaniora og bæredygtighed. Vi vil se på muligheder for studenterprojekter og afslutte med nyttige ressourcer, der kan hjælpe dig med at fortsætte din læringsrejse!
I denne lektion vil vi udforske virkelige anvendelser af data science på tværs af industrier og dykke ned i specifikke eksempler inden for forskning, digitale humaniora og bæredygtighed. Vi vil også se på muligheder for studenterprojekter og afslutte med nyttige ressourcer, der kan hjælpe dig med at fortsætte din læringsrejse!
## Quiz før lektionen
## Quiz før forelæsning
## [Quiz før lektionen](https://ff-quizzes.netlify.app/en/ds/quiz/38)
## [Quiz før forelæsning](https://ff-quizzes.netlify.app/en/ds/quiz/38)
## Data Science + Industri
Takket være demokratiseringen af AI finder udviklere det nu lettere at designe og integrere AI-drevne beslutningsprocesser og data-drevne indsigter i brugeroplevelser og udviklingsarbejdsgange. Her er nogle eksempler på, hvordan data science "anvendes" i virkelige applikationer på tværs af industrier:
Takket være demokratiseringen af AI finder udviklere det nu lettere at designe og integrere AI-drevne beslutningsprocesser og datadrevne indsigter i brugeroplevelser og udviklingsarbejdsgange. Her er nogle eksempler på, hvordan data science anvendes i virkelige applikationer på tværs af industrien:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) brugte data science til at korrelere søgetermer med influenzatrends. Selvom tilgangen havde fejl, skabte den opmærksomhed omkring mulighederne (og udfordringerne) ved data-drevne sundhedsprognoser.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) brugte data science til at korrelere søgetermer med influenzatendenser. Selvom tilgangen havde fejl, skabte den opmærksomhed om mulighederne (og udfordringerne) ved datadrevne sundhedsprognoser.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - forklarer, hvordan UPS bruger data science og maskinlæring til at forudsige optimale leveringsruter, med hensyntagen til vejrforhold, trafikmønstre, leveringsfrister og mere.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - forklarer, hvordan UPS bruger data science og maskinlæring til at forudsige optimale leveringsruter, der tager højde for vejrforhold, trafikmønstre, leveringsfrister og mere.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data indsamlet via [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hjalp med at visualisere en dag i livet for NYC-taxier, hvilket gav indsigt i, hvordan de navigerer i den travle by, hvor meget de tjener, og varigheden af ture over en 24-timers periode.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data indsamlet via [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hjalp med at visualisere en dag i livet for NYC-taxier, hvilket gav indsigt i, hvordan de navigerer i byen, hvor meget de tjener, og hvor længe ture varer over en 24-timers periode.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - bruger data (om afhentnings- og afleveringssteder, turvarighed, foretrukne ruter osv.) indsamlet fra millioner af Uber-ture *dagligt* til at bygge et dataanalysværktøj, der hjælper med prissætning, sikkerhed, svindelopdagelse og navigationsbeslutninger.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - bruger data (om afhentnings- og afleveringssteder, turens varighed, foretrukne ruter osv.) indsamlet fra millioner af Uber-ture *dagligt* til at bygge et dataanalysværktøj, der hjælper med prissætning, sikkerhed, bedrageridetektion og navigationsbeslutninger.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokuserer på _forudsigende analyse_ (hold- og spilleranalyse - tænk [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - og fanhåndtering) og _datavisualisering_ (hold- og fandashboards, spil osv.) med applikationer som talentspejderarbejde, sportsvæddemål og lager-/venuehåndtering.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokuserer på _forudsigende analyser_ (hold- og spilleranalyse - tænk [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - og fanhåndtering) og _datavisualisering_ (hold- og fandashboards, spil osv.) med anvendelser som talentspejderarbejde, sportsvæddemål og lager-/venuehåndtering.
* [Data Science i Banking](https://data-flair.training/blogs/data-science-in-banking/) - fremhæver værdien af data science i finanssektoren med applikationer, der spænder fra risikomodellering og svindelopdagelse til kundesegmentering, realtidsprognoser og anbefalingssystemer. Forudsigende analyse driver også kritiske målinger som [kreditvurderinger](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science i Banking](https://data-flair.training/blogs/data-science-in-banking/) - fremhæver værdien af data science i finanssektoren med anvendelser, der spænder fra risikomodellering og bedrageridetektion til kundesegmentering, realtidsprognoser og anbefalingssystemer. Forudsigende analyser driver også kritiske målinger som [kreditvurderinger](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science i Sundhedssektoren](https://data-flair.training/blogs/data-science-in-healthcare/) - fremhæver applikationer som medicinsk billedbehandling (f.eks. MRI, røntgen, CT-scanning), genomik (DNA-sekventering), lægemiddeludvikling (risikovurdering, succesprognose), forudsigende analyse (patientpleje og forsyningslogistik), sygdomssporing og -forebyggelse osv.
* [Data Science i Sundhedssektoren](https://data-flair.training/blogs/data-science-in-healthcare/) - fremhæver anvendelser som medicinsk billeddannelse (f.eks. MR, røntgen, CT-scanning), genomik (DNA-sekventering), lægemiddeludvikling (risikovurdering, succesprognoser), forudsigende analyser (patientpleje og logistik), sygdomssporing og -forebyggelse osv.
 Billedkredit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Billedkredit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Figuren viser andre domæner og eksempler på anvendelse af data science-teknikker. Vil du udforske andre applikationer? Se afsnittet [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) nedenfor.
Figuren viser andre domæner og eksempler på anvendelse af data science-teknikker. Vil du udforske andre anvendelser? Tjek afsnittet [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) nedenfor.
## Data Science + Forskning
@ -51,28 +51,28 @@ Figuren viser andre domæner og eksempler på anvendelse af data science-teknikk
| Data Science & Forskning - _Sketchnote af [@nitya](https://twitter.com/nitya)_ |
Mens virkelige applikationer ofte fokuserer på industrielle anvendelser i stor skala, kan _forsknings_ applikationer og projekter være nyttige fra to perspektiver:
Mens virkelige anvendelser ofte fokuserer på industrielle brugsscenarier i stor skala, kan _forskningsprojekter_ være nyttige fra to perspektiver:
* _innovationsmuligheder_ - udforsk hurtig prototyping af avancerede koncepter og test af brugeroplevelser for næste generations applikationer.
* _implementeringsudfordringer_ - undersøg potentielle skader eller utilsigtede konsekvenser af data science-teknologier i virkelige kontekster.
* _innovationsmuligheder_ - udforsk hurtig prototyping af avancerede koncepter og test af brugeroplevelser til næste generations applikationer.
* _implementeringsudfordringer_ - undersøg potentielle skader eller utilsigtede konsekvenser af data science-teknologier i virkelige sammenhænge.
For studerende kan disse forskningsprojekter give både lærings- og samarbejdsmuligheder, der kan forbedre din forståelse af emnet og udvide din bevidsthed og engagement med relevante personer eller teams, der arbejder inden for interesseområder. Så hvordan ser forskningsprojekter ud, og hvordan kan de gøre en forskel?
For studerende kan disse forskningsprojekter give både lærings- og samarbejdsmuligheder, der kan forbedre din forståelse af emnet og udvide din bevidsthed og engagement med relevante personer eller teams, der arbejder inden for interesseområder. Hvordan ser forskningsprojekter ud, og hvordan kan de gøre en forskel?
Lad os se på et eksempel - [MIT Gender Shades Study](http://gendershades.org/overview.html) af Joy Buolamwini (MIT Media Labs) med en [signaturforskningsartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) medforfattet af Timnit Gebru (dengang hos Microsoft Research), der fokuserede på:
Lad os se på et eksempel - [MIT Gender Shades Study](http://gendershades.org/overview.html) af Joy Buolamwini (MIT Media Labs) med en [signaturforskningsartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) medforfattet af Timnit Gebru (dengang hos Microsoft Research), der fokuserede på:
* **Hvad:** Målet med forskningsprojektet var at _evaluere bias i automatiserede ansigtsanalysealgoritmer og datasæt_ baseret på køn og hudtype.
* **Hvorfor:** Ansigtsanalyse bruges i områder som retshåndhævelse, lufthavnssikkerhed, ansættelsessystemer og mere - kontekster, hvor unøjagtige klassifikationer (f.eks. på grund af bias) kan forårsage potentielle økonomiske og sociale skader for berørte individer eller grupper. Forståelse (og eliminering eller afbødning) af bias er nøglen til retfærdighed i brugen.
* **Hvordan:** Forskerne erkendte, at eksisterende benchmarks primært brugte lysere hudtoner og kuraterede et nyt datasæt (1000+ billeder), der var _mere balanceret_ efter køn og hudtype. Datasættet blev brugt til at evaluere nøjagtigheden af tre kønsklassifikationsprodukter (fra Microsoft, IBM & Face++).
* **Hvorfor:** Ansigtsanalyse bruges i områder som retshåndhævelse, lufthavnssikkerhed, ansættelsessystemer og mere - sammenhænge, hvor unøjagtige klassifikationer (f.eks. på grund af bias) kan forårsage økonomiske og sociale skader for berørte individer eller grupper. At forstå (og eliminere eller afbøde) bias er nøglen til retfærdighed i brugen.
* **Hvordan:** Forskerne erkendte, at eksisterende benchmarks overvejende brugte personer med lysere hud, og de kuraterede et nyt datasæt (1000+ billeder), der var _mere balanceret_ med hensyn til køn og hudtype. Datasættet blev brugt til at evaluere nøjagtigheden af tre kønsklassifikationsprodukter (fra Microsoft, IBM & Face++).
Resultaterne viste, at selvom den samlede klassifikationsnøjagtighed var god, var der en mærkbar forskel i fejlprocenter mellem forskellige undergrupper - med **fejlklassifikation** værende højere for kvinder eller personer med mørkere hudtoner, hvilket indikerer bias.
Resultaterne viste, at selvom den samlede klassifikationsnøjagtighed var god, var der en mærkbar forskel i fejlprocenter mellem forskellige undergrupper - med **forkert kønsbestemmelse** hyppigere for kvinder eller personer med mørkere hudtyper, hvilket indikerer bias.
**Vigtige Resultater:** Skabte opmærksomhed omkring, at data science har brug for mere _repræsentative datasæt_ (balancerede undergrupper) og mere _inkluderende teams_ (diverse baggrunde) for at genkende og eliminere eller afbøde sådanne bias tidligere i AI-løsninger. Forskningsindsatser som denne er også afgørende for, at mange organisationer definerer principper og praksis for _ansvarlig AI_ for at forbedre retfærdighed i deres AI-produkter og -processer.
**Vigtige Resultater:** Skabte opmærksomhed om, at data science har brug for mere _repræsentative datasæt_ (balancerede undergrupper) og mere _inkluderende teams_ (mangfoldige baggrunde) for at kunne identificere og eliminere eller afbøde sådanne bias tidligere i AI-løsninger. Forskningsindsatser som denne er også afgørende for, at mange organisationer kan definere principper og praksis for _ansvarlig AI_ for at forbedre retfærdighed i deres AI-produkter og -processer.
**Vil du lære om relevante forskningsindsatser hos Microsoft?**
* Se [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) inden for kunstig intelligens.
* Tjek [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) inden for kunstig intelligens.
* Udforsk studenterprojekter fra [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Se på [Fairlearn](https://fairlearn.org/) projektet og [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiativerne.
* Tjek [Fairlearn](https://fairlearn.org/) projektet og [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiativerne.
## Data Science + Humaniora
@ -80,19 +80,19 @@ Resultaterne viste, at selvom den samlede klassifikationsnøjagtighed var god, v
| Data Science & Digitale Humaniora - _Sketchnote af [@nitya](https://twitter.com/nitya)_ |
Digitale Humaniora [er blevet defineret](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling af praksisser og tilgange, der kombinerer computermetoder med humanistisk forskning". [Stanford-projekter](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ og _"poetic thinking"_ illustrerer forbindelsen mellem [Digitale Humaniora og Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med fokus på teknikker som netværksanalyse, informationsvisualisering, rumlig og tekstanalyse, der kan hjælpe os med at genbesøge historiske og litterære datasæt for at udlede nye indsigter og perspektiver.
Digitale Humaniora [er blevet defineret](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling af praksisser og tilgange, der kombinerer beregningsmetoder med humanistisk undersøgelse". [Stanford-projekter](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ og _"poetic thinking"_ illustrerer forbindelsen mellem [Digitale Humaniora og Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med vægt på teknikker som netværksanalyse, informationsvisualisering, rumlig og tekstanalyse, der kan hjælpe os med at genbesøge historiske og litterære datasæt for at udlede nye indsigter og perspektiver.
*Vil du udforske og udvide et projekt inden for dette område?*
Se ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - et godt eksempel fra [Jen Looper](https://twitter.com/jenlooper), der spørger, hvordan vi kan bruge data science til at genbesøge velkendt poesi og genvurdere dens betydning og bidrag fra dens forfatter i nye kontekster. For eksempel, _kan vi forudsige sæsonen, hvor et digt blev skrevet, ved at analysere dets tone eller sentiment_ - og hvad fortæller dette os om forfatterens sindstilstand i den relevante periode?
Tjek ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - et fantastisk eksempel fra [Jen Looper](https://twitter.com/jenlooper), der spørger, hvordan vi kan bruge data science til at genbesøge velkendt poesi og genoverveje dens betydning og bidrag fra dens forfatter i nye sammenhænge. For eksempel, _kan vi forudsige årstiden, hvor et digt blev skrevet, ved at analysere dets tone eller stemning_ - og hvad fortæller det os om forfatterens sindstilstand i den relevante periode?
For at besvare det spørgsmål følger vi trinnene i vores data science-livscyklus:
* [`Dataindsamling`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - for at indsamle et relevant datasæt til analyse. Muligheder inkluderer brug af en API (f.eks. [Poetry DB API](https://poetrydb.org/index.html)) eller scraping af websider (f.eks. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) ved hjælp af værktøjer som [Scrapy](https://scrapy.org/).
* [`Dataindsamling`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - for at samle et relevant datasæt til analyse. Muligheder inkluderer brug af en API (f.eks. [Poetry DB API](https://poetrydb.org/index.html)) eller scraping af websider (f.eks. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) ved hjælp af værktøjer som [Scrapy](https://scrapy.org/).
* [`Databehandling`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - forklarer, hvordan tekst kan formateres, renses og forenkles ved hjælp af grundlæggende værktøjer som Visual Studio Code og Microsoft Excel.
* [`Dataanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - forklarer, hvordan vi nu kan importere datasættet til "Notebooks" til analyse ved hjælp af Python-pakker (som pandas, numpy og matplotlib) til at organisere og visualisere dataene.
* [`Sentimentanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - forklarer, hvordan vi kan integrere cloud-tjenester som Text Analytics ved hjælp af low-code værktøjer som [Power Automate](https://flow.microsoft.com/en-us/) til automatiserede databehandlingsarbejdsgange.
* [`Dataanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - forklarer, hvordan vi nu kan importere datasættet i "Notebooks" til analyse ved hjælp af Python-pakker (som pandas, numpy og matplotlib) til at organisere og visualisere dataene.
* [`Sentimentanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - forklarer, hvordan vi kan integrere cloud-tjenester som Text Analytics ved hjælp af lavkodeværktøjer som [Power Automate](https://flow.microsoft.com/en-us/) til automatiserede databehandlingsarbejdsgange.
Ved at bruge denne arbejdsgang kan vi udforske sæsonmæssige påvirkninger på digtenes sentiment og hjælpe os med at forme vores egne perspektiver på forfatteren. Prøv det selv - og udvid derefter notebooken til at stille andre spørgsmål eller visualisere dataene på nye måder!
Ved at bruge denne arbejdsgang kan vi udforske årstidernes påvirkning på digtenes stemning og hjælpe os med at forme vores egne perspektiver på forfatteren. Prøv det selv - og udvid derefter notebooken til at stille andre spørgsmål eller visualisere dataene på nye måder!
> Du kan bruge nogle af værktøjerne i [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) til at forfølge disse undersøgelsesveje.
@ -102,36 +102,36 @@ Ved at bruge denne arbejdsgang kan vi udforske sæsonmæssige påvirkninger på
| Data Science & Bæredygtighed - _Sketchnote af [@nitya](https://twitter.com/nitya)_ |
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - vedtaget af alle FN-medlemmer i 2015 - identificerer 17 mål, herunder dem, der fokuserer på **beskyttelse af planeten** mod nedbrydning og virkningerne af klimaforandringer. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) initiativet støtter disse mål ved at undersøge måder, hvorpå teknologiløsninger kan støtte og bygge mere bæredygtige fremtider med et [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - at være kulstofnegative, vandpositive, nul affald og biodiversitet inden 2030.
[2030-dagsordenen for bæredygtig udvikling](https://sdgs.un.org/2030agenda) - vedtaget af alle FN-medlemslande i 2015 - identificerer 17 mål, herunder nogle, der fokuserer på **at beskytte planeten** mod nedbrydning og virkningerne af klimaforandringer. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability)-initiativet støtter disse mål ved at udforske måder, hvorpå teknologiløsninger kan understøtte og skabe mere bæredygtige fremtider med et [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - at være kulstofnegative, vandpositive, affaldsfrie og biodiversitetsfremmende inden 2030.
At tackle disse udfordringer på en skalerbar og rettidig måde kræver cloud-skala tænkning - og store mængder data. [Planetary Computer](https://planetarycomputer.microsoft.com/)initiativet tilbyder 4 komponenter til at hjælpe dataforskere og udviklere i denne indsats:
At tackle disse udfordringer på en skalerbar og rettidig måde kræver cloud-tænkning i stor skala - og store mængder data. [Planetary Computer](https://planetarycomputer.microsoft.com/)-initiativet tilbyder 4 komponenter til at hjælpe dataforskere og udviklere i denne indsats:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - med petabytes af Earth Systems data (gratis og Azure-hostet).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - for at hjælpe brugere med at søge efter relevante data på tværs af rum og tid.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - administreret miljø for forskere til at behandle massive geospatiale datasæt.
* [Applications](https://planetarycomputer.microsoft.com/applications) - viser anvendelsessager og værktøjer til bæredygtighedsindsigter.
**Planetary Computer-projektet er i øjeblikket i preview (pr. sep. 2021)** - her er, hvordan du kan komme i gang med at bidrage til bæredygtige løsninger ved hjælp af datavidenskab.
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - med petabytes af data om jordens systemer (gratis og Azure-hostet).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - for at hjælpe brugere med at søge efter relevante data på tværs af tid og rum.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - et administreret miljø for forskere til at behandle massive geospatiale datasæt.
* [Applications](https://planetarycomputer.microsoft.com/applications) - viser brugsscenarier og værktøjer til bæredygtighedsindsigter.
**Planetary Computer-projektet er i øjeblikket i preview (fra september 2021)** - her er, hvordan du kan komme i gang med at bidrage til bæredygtighedsløsninger ved hjælp af data science.
* [Anmod om adgang](https://planetarycomputer.microsoft.com/account/request) for at starte din udforskning og forbinde med andre.
* [Udforsk dokumentation](https://planetarycomputer.microsoft.com/docs/overview/about) for at forstå understøttede datasæt og API'er.
* Udforsk applikationer som [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) for inspiration til applikationsidéer.
Overvej, hvordan du kan bruge datavisualisering til at fremhæve eller forstærke relevante indsigter inden for områder som klimaforandringer og skovrydning. Eller tænk over, hvordan indsigter kan bruges til at skabe nye brugeroplevelser, der motiverer til adfærdsændringer for en mere bæredygtig livsstil.
Tænk over, hvordan du kan bruge datavisualisering til at fremhæve eller forstærke relevante indsigter inden for områder som klimaforandringer og skovrydning. Eller overvej, hvordan indsigter kan bruges til at skabe nye brugeroplevelser, der motiverer adfærdsændringer for en mere bæredygtig livsstil.
## Datavidenskab + Studerende
## Data Science + Studerende
Vi har talt om virkelige anvendelser i industrien og forskningen og udforsket eksempler på datavidenskabsapplikationer inden for digitale humaniora og bæredygtighed. Så hvordan kan du opbygge dine færdigheder og dele din ekspertise som nybegynder inden for datavidenskab?
Vi har talt om virkelige anvendelser i industrien og forskningen og udforsket eksempler på data science-applikationer inden for digitale humaniora og bæredygtighed. Så hvordan kan du opbygge dine færdigheder og dele din ekspertise som nybegynder inden for data science?
Her er nogle eksempler på datavidenskabsprojekter for studerende, der kan inspirere dig.
Her er nogle eksempler på data science-studerende projekter til inspiration.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) med GitHub [projekter](https://github.com/msr-ds3), der udforsker emner som:
- [Racial Bias in Police Use of Force](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Reliability of NYC Subway System](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - fra [Ornella Altunyan](https://twitter.com/ornelladotcom) og teamet på Claremont, der bruger [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - fra [Ornella Altunyan](https://twitter.com/ornelladotcom) og teamet på Claremont, ved brug af [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Udfordring
Søg efter artikler, der anbefaler datavidenskabsprojekter, som er begyndervenlige - som [disse 50 emneområder](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [disse 21 projektidéer](https://www.intellspot.com/data-science-project-ideas) eller [disse 16 projekter med kildekode](https://data-flair.training/blogs/data-science-project-ideas/), som du kan dekonstruere og genbruge. Og glem ikke at blogge om dine læringsrejser og dele dine indsigter med os alle.
Søg efter artikler, der anbefaler data science-projekter, som er begyndervenlige - som [disse 50 emneområder](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [disse 21 projektidéer](https://www.intellspot.com/data-science-project-ideas) eller [disse 16 projekter med kildekode](https://data-flair.training/blogs/data-science-project-ideas/), som du kan dekonstruere og genbruge. Og glem ikke at blogge om dine læringsrejser og dele dine indsigter med os alle.
## Quiz efter forelæsning
@ -140,10 +140,11 @@ Søg efter artikler, der anbefaler datavidenskabsprojekter, som er begyndervenli
## Gennemgang & Selvstudie
Vil du udforske flere anvendelsesmuligheder? Her er nogle relevante artikler:
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - jul. 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - Maj 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) - Artikelkollektion
* Datavidenskab inden for: [Uddannelse](https://data-flair.training/blogs/data-science-in-education/), [Landbrug](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/) og mere.
* [12 Real-World Data Science Applications with Examples](https://www.scaler.com/blog/data-science-applications/) - Maj 2024
* Data Science inden for: [Uddannelse](https://data-flair.training/blogs/data-science-in-education/), [Landbrug](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/), [Sundhedspleje](https://onlinedegrees.sandiego.edu/data-science-health-care/) og mere.
## Opgave
@ -152,4 +153,4 @@ Vil du udforske flere anvendelsesmuligheder? Her er nogle relevante artikler:
---
**Ansvarsfraskrivelse**:
Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på at opnå nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os ikke ansvar for eventuelle misforståelser eller fejltolkninger, der måtte opstå som følge af brugen af denne oversættelse.
Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der måtte opstå som følge af brugen af denne oversættelse.
@ -29,19 +29,19 @@ Dank der Demokratisierung von KI finden Entwickler es jetzt einfacher, KI-gesteu
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) nutzte Datenwissenschaft, um Suchbegriffe mit Grippe-Trends zu korrelieren. Obwohl der Ansatz Schwächen hatte, machte er auf die Möglichkeiten (und Herausforderungen) datengestützter Gesundheitsvorhersagen aufmerksam.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - zeigt, wie UPS Datenwissenschaft und maschinelles Lernen nutzt, um optimale Lieferwege vorherzusagen, unter Berücksichtigung von Wetterbedingungen, Verkehrsaufkommen, Lieferfristen und mehr.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - erklärt, wie UPS Datenwissenschaft und maschinelles Lernen nutzt, um optimale Lieferwege vorherzusagen, unter Berücksichtigung von Wetterbedingungen, Verkehrsaufkommen, Lieferfristen und mehr.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - Daten, die mithilfe von [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) gesammelt wurden, halfen dabei, einen Tag im Leben von NYC-Taxis zu visualisieren. Dies ermöglicht ein besseres Verständnis dafür, wie sie sich durch die geschäftige Stadt bewegen, wie viel Geld sie verdienen und wie lange Fahrten über einen Zeitraum von 24 Stunden dauern.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - nutzt Daten (zu Abhol- und Absetzorten, Fahrtdauer, bevorzugten Routen usw.), die täglich aus Millionen von Uber-Fahrten gesammelt werden, um ein Datenanalysetool zu entwickeln, das bei Preisgestaltung, Sicherheit, Betrugserkennung und Navigationsentscheidungen hilft.
* [Sportanalytik](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - konzentriert sich auf _prädiktive Analytik_ (Team- und Spieleranalyse - denken Sie an [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - und Fanmanagement) und _Datenvisualisierung_ (Team- und Fan-Dashboards, Spiele usw.) mit Anwendungen wie Talentsuche, Sportwetten und Inventar-/Verwaltungsmanagement.
* [Sportanalytik](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - konzentriert sich auf _prädiktive Analytik_ (Team- und Spieleranalyse - denken Sie an [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - und Fanmanagement) und _Datenvisualisierung_ (Team- und Fan-Dashboards, Spiele usw.) mit Anwendungen wie Talentsuche, Sportwetten und Inventar-/Verwaltungsmanagement von Veranstaltungsorten.
* [Datenwissenschaft im Bankwesen](https://data-flair.training/blogs/data-science-in-banking/) - hebt den Wert der Datenwissenschaft in der Finanzbranche hervor, mit Anwendungen von Risikomodellierung und Betrugserkennung bis hin zu Kundensegmentierung, Echtzeitvorhersagen und Empfehlungssystemen. Prädiktive Analytik treibt auch wichtige Maßnahmen wie [Kreditbewertungen](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) voran.
* [Datenwissenschaft im Gesundheitswesen](https://data-flair.training/blogs/data-science-in-healthcare/) - hebt Anwendungen wie medizinische Bildgebung (z. B. MRT, Röntgen, CT-Scan), Genomik (DNA-Sequenzierung), Arzneimittelentwicklung (Risikobewertung, Erfolgsvorhersage), prädiktive Analytik (Patientenversorgung & Logistik), Krankheitsüberwachung und -prävention hervor.
 Bildnachweis: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Bildnachweis: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Die Abbildung zeigt weitere Bereiche und Beispiele für die Anwendung von Datenwissenschaftstechniken. Möchten Sie weitere Anwendungen erkunden? Schauen Sie sich den Abschnitt [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) unten an.
@ -51,26 +51,26 @@ Die Abbildung zeigt weitere Bereiche und Beispiele für die Anwendung von Datenw
| Datenwissenschaft & Forschung - _Sketchnote von [@nitya](https://twitter.com/nitya)_ |
Während reale Anwendungen oft auf groß angelegte Anwendungsfälle in der Industrie abzielen, können _Forschungsanwendungen_ und -projekte aus zwei Perspektiven nützlich sein:
Während reale Anwendungen oft auf groß angelegte industrielle Anwendungsfälle abzielen, können _Forschungsprojekte_ aus zwei Perspektiven nützlich sein:
* _Innovationsmöglichkeiten_ - schnelle Prototypenentwicklung fortschrittlicher Konzepte und Tests von Benutzererfahrungen für Anwendungen der nächsten Generation.
* _Herausforderungen bei der Implementierung_ - Untersuchung potenzieller Schäden oder unbeabsichtigter Konsequenzen von Datenwissenschaftstechnologien in realen Kontexten.
Für Studenten können diese Forschungsprojekte sowohl Lern- als auch Kooperationsmöglichkeiten bieten, die Ihr Verständnis des Themas verbessern und Ihr Bewusstsein und Engagement mit relevanten Personen oder Teams in Interessensgebieten erweitern. Wie sehen Forschungsprojekte aus und wie können sie einen Einfluss haben?
Für Studenten können diese Forschungsprojekte sowohl Lern- als auch Kooperationsmöglichkeiten bieten, die Ihr Verständnis des Themas verbessern und Ihr Bewusstsein sowie Ihre Interaktion mit relevanten Personen oder Teams in Interessensgebieten erweitern. Wie sehen Forschungsprojekte aus und welchen Einfluss können sie haben?
Schauen wir uns ein Beispiel an - die [MIT Gender Shades Studie](http://gendershades.org/overview.html) von Joy Buolamwini (MIT Media Labs) mit einem [signifikanten Forschungspapier](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), das zusammen mit Timnit Gebru (damals bei Microsoft Research) verfasst wurde und sich auf Folgendes konzentrierte:
Schauen wir uns ein Beispiel an - die [MIT Gender Shades Studie](http://gendershades.org/overview.html) von Joy Buolamwini (MIT Media Labs) mit einem [signifikanten Forschungsartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), der zusammen mit Timnit Gebru (damals bei Microsoft Research) verfasst wurde und sich auf Folgendes konzentrierte:
* **Was:** Ziel des Forschungsprojekts war es, _Bias in automatisierten Gesichtsanalysealgorithmen und Datensätzen_ basierend auf Geschlecht und Hauttyp zu bewerten.
* **Warum:** Gesichtsanalyse wird in Bereichen wie Strafverfolgung, Flughafensicherheit, Einstellungssystemen und mehr eingesetzt - Kontexte, in denen ungenaue Klassifikationen (z. B. aufgrund von Bias) potenzielle wirtschaftliche und soziale Schäden für betroffene Einzelpersonen oder Gruppen verursachen können. Das Verständnis (und die Beseitigung oder Minderung) von Bias ist entscheidend für Fairness in der Nutzung.
* **Wie:** Forscher erkannten, dass bestehende Benchmarks überwiegend hellhäutige Probanden verwendeten, und kuratierten einen neuen Datensatz (1000+ Bilder), der _ausgewogener_ nach Geschlecht und Hauttyp war. Der Datensatz wurde verwendet, um die Genauigkeit von drei Geschlechtsklassifikationsprodukten (von Microsoft, IBM & Face++) zu bewerten.
* **Wie:** Die Forscher erkannten, dass bestehende Benchmarks überwiegend hellhäutige Probanden verwendeten, und kuratierten einen neuen Datensatz (1000+ Bilder), der _ausgewogener_ nach Geschlecht und Hauttyp war. Der Datensatz wurde verwendet, um die Genauigkeit von drei Geschlechtsklassifikationsprodukten (von Microsoft, IBM & Face++) zu bewerten.
Die Ergebnisse zeigten, dass die Gesamtklassifikationsgenauigkeit zwar gut war, es jedoch einen bemerkenswerten Unterschied in den Fehlerraten zwischen verschiedenen Untergruppen gab - mit **Fehlklassifikationen**, die bei Frauen oder Personen mit dunklerer Hautfarbe höher waren, was auf Bias hinweist.
Die Ergebnisse zeigten, dass die Gesamtklassifikationsgenauigkeit zwar gut war, es jedoch deutliche Unterschiede in den Fehlerraten zwischen verschiedenen Untergruppen gab - mit **Fehlklassifikationen** häufiger bei Frauen oder Personen mit dunklerer Hautfarbe, was auf Bias hinweist.
**Wichtige Ergebnisse:** Es wurde deutlich, dass die Datenwissenschaft _repräsentativere Datensätze_ (ausgewogene Untergruppen) und _inklusive Teams_ (vielfältige Hintergründe) benötigt, um solche Biases früher in KI-Lösungen zu erkennen und zu beseitigen oder zu mindern. Forschungsbemühungen wie diese sind auch entscheidend dafür, dass viele Organisationen Prinzipien und Praktiken für _verantwortungsvolle KI_ definieren, um Fairness in ihren KI-Produkten und -Prozessen zu verbessern.
**Wichtige Ergebnisse:** Es wurde deutlich, dass die Datenwissenschaft mehr _repräsentative Datensätze_ (ausgewogene Untergruppen) und mehr _inklusive Teams_ (diverse Hintergründe) benötigt, um solche Biases früher in KI-Lösungen zu erkennen und zu beseitigen oder zu mindern. Forschungsbemühungen wie diese sind auch entscheidend dafür, dass viele Organisationen Prinzipien und Praktiken für _verantwortungsvolle KI_ definieren, um Fairness in ihren KI-Produkten und -Prozessen zu verbessern.
**Möchten Sie mehr über relevante Forschungsbemühungen bei Microsoft erfahren?**
* Schauen Sie sich [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) zu künstlicher Intelligenz an.
* Schauen Sie sich [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) zu Künstlicher Intelligenz an.
* Erkunden Sie Studentenprojekte von der [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Schauen Sie sich das [Fairlearn](https://fairlearn.org/) Projekt und die [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) Initiativen an.
@ -80,7 +80,7 @@ Die Ergebnisse zeigten, dass die Gesamtklassifikationsgenauigkeit zwar gut war,
| Datenwissenschaft & Digitale Geisteswissenschaften - _Sketchnote von [@nitya](https://twitter.com/nitya)_ |
Digitale Geisteswissenschaften [werden definiert](https://digitalhumanities.stanford.edu/about-dh-stanford) als "eine Sammlung von Praktiken und Ansätzen, die rechnergestützte Methoden mit geisteswissenschaftlicher Forschung kombinieren". [Stanford-Projekte](https://digitalhumanities.stanford.edu/projects) wie _"Rebooting History"_ und _"Poetic Thinking"_veranschaulichen die Verbindung zwischen [Digital Humanities und Datenwissenschaft](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - mit Schwerpunkt auf Techniken wie Netzwerkanalyse, Informationsvisualisierung, räumliche und Textanalyse, die uns helfen können, historische und literarische Datensätze neu zu betrachten, um neue Erkenntnisse und Perspektiven zu gewinnen.
Digitale Geisteswissenschaften [wurden definiert](https://digitalhumanities.stanford.edu/about-dh-stanford) als "eine Sammlung von Praktiken und Ansätzen, die computergestützte Methoden mit geisteswissenschaftlicher Forschung kombinieren". [Stanford-Projekte](https://digitalhumanities.stanford.edu/projects) wie _"Rebooting History"_ und _"Poetic Thinking"_illustrieren die Verbindung zwischen [Digital Humanities und Datenwissenschaft](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - mit Schwerpunkt auf Techniken wie Netzwerkanalyse, Informationsvisualisierung, räumliche und Textanalyse, die uns helfen können, historische und literarische Datensätze neu zu betrachten, um neue Erkenntnisse und Perspektiven zu gewinnen.
*Möchten Sie ein Projekt in diesem Bereich erkunden und erweitern?*
@ -89,10 +89,10 @@ Schauen Sie sich ["Emily Dickinson and the Meter of Mood"](https://gist.github.c
Um diese Frage zu beantworten, folgen wir den Schritten des Lebenszyklus der Datenwissenschaft:
* [`Datenerfassung`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - um einen relevanten Datensatz für die Analyse zu sammeln. Optionen umfassen die Nutzung einer API (z. B. [Poetry DB API](https://poetrydb.org/index.html)) oder das Scrapen von Webseiten (z. B. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) mit Tools wie [Scrapy](https://scrapy.org/).
* [`Datenbereinigung`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - erklärt, wie Text formatiert, bereinigt und vereinfacht werden kann, mithilfe grundlegender Tools wie Visual Studio Code und Microsoft Excel.
* [`Datenanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - erklärt, wie wir den Datensatz jetzt in "Notebooks" importieren können, um ihn mithilfe von Python-Paketen (wie pandas, numpy und matplotlib) zu organisieren und zu visualisieren.
* [`Datenanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - erklärt, wie wir den Datensatz jetzt in "Notebooks" für die Analyse importieren können, mithilfe von Python-Paketen (wie pandas, numpy und matplotlib), um die Daten zu organisieren und zu visualisieren.
* [`Stimmungsanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - erklärt, wie wir Cloud-Dienste wie Text Analytics integrieren können, mithilfe von Low-Code-Tools wie [Power Automate](https://flow.microsoft.com/en-us/) für automatisierte Datenverarbeitungs-Workflows.
Mit diesem Workflow können wir die saisonalen Auswirkungen auf die Stimmung der Gedichte untersuchen und uns eigene Perspektiven auf die Autorin schaffen. Probieren Sie es selbst aus - und erweitern Sie das Notebook, um andere Fragen zu stellen oder die Daten auf neue Weise zu visualisieren!
Mit diesem Workflow können wir die saisonalen Auswirkungen auf die Stimmung der Gedichte untersuchen und uns eigene Perspektiven auf die Autorin schaffen. Probieren Sie es selbst aus - erweitern Sie dann das Notebook, um andere Fragen zu stellen oder die Daten auf neue Weise zu visualisieren!
> Sie können einige der Tools im [Digital Humanities Toolkit](https://github.com/Digital-Humanities-Toolkit) nutzen, um diese Forschungsansätze weiterzuverfolgen.
@ -102,7 +102,7 @@ Mit diesem Workflow können wir die saisonalen Auswirkungen auf die Stimmung der
| Datenwissenschaft & Nachhaltigkeit - _Sketchnote von [@nitya](https://twitter.com/nitya)_ |
Die [Agenda 2030 für nachhaltige Entwicklung](https://sdgs.un.org/2030agenda) - 2015 von allen Mitgliedern der Vereinten Nationen verabschiedet - identifiziert 17 Ziele, darunter solche, die sich auf den **Schutz des Planeten** vor Degradierung und den Auswirkungen des Klimawandels konzentrieren. Die [Microsoft Nachhaltigkeitsinitiative](https://www.microsoft.com/en-us/sustainability) unterstützt diese Ziele, indem sie Wege erforscht, wie technologische Lösungen nachhaltigere Zukünfte fördern können, mit einem [Fokus auf 4 Ziele](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - bis 2030 kohlenstoffnegativ, wasserpositiv, abfallfrei und biodivers zu sein.
Die [Agenda 2030 für nachhaltige Entwicklung](https://sdgs.un.org/2030agenda) - 2015 von allen Mitgliedern der Vereinten Nationen verabschiedet - identifiziert 17 Ziele, darunter solche, die sich auf den **Schutz des Planeten** vor Degradierung und den Auswirkungen des Klimawandels konzentrieren. Die [Microsoft Nachhaltigkeitsinitiative](https://www.microsoft.com/en-us/sustainability) unterstützt diese Ziele, indem sie untersucht, wie technologische Lösungen nachhaltigere Zukünfte fördern können, mit einem [Fokus auf 4 Ziele](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - bis 2030 kohlenstoffnegativ, wasserpositiv, abfallfrei und biodivers zu sein.
Die Bewältigung dieser Herausforderungen auf skalierbare und zeitnahe Weise erfordert Cloud-Denken und groß angelegte Daten. Die [Planetary Computer](https://planetarycomputer.microsoft.com/) Initiative bietet 4 Komponenten, die Datenwissenschaftler und Entwickler bei dieser Aufgabe unterstützen:
@ -116,22 +116,22 @@ Die Bewältigung dieser Herausforderungen auf skalierbare und zeitnahe Weise erf
* [Dokumentation erkunden](https://planetarycomputer.microsoft.com/docs/overview/about), um unterstützte Datensätze und APIs zu verstehen.
* Anwendungen wie [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) erkunden, um Inspiration für Anwendungsideen zu erhalten.
Denken Sie darüber nach, wie Sie Datenvisualisierung nutzen können, um relevante Erkenntnisse in Bereichen wie Klimawandel und Abholzung sichtbar zu machen oder zu verstärken. Oder überlegen Sie, wie Erkenntnisse genutzt werden können, um neue Benutzererfahrungen zu schaffen, die Verhaltensänderungen für ein nachhaltigeres Leben motivieren.
Denken Sie darüber nach, wie Sie Datenvisualisierung nutzen können, um relevante Erkenntnisse in Bereichen wie Klimawandel und Abholzung sichtbar zu machen oder zu verstärken. Oder überlegen Sie, wie Erkenntnisse genutzt werden können, um neue Benutzererlebnisse zu schaffen, die Verhaltensänderungen für ein nachhaltigeres Leben motivieren.
## Datenwissenschaft + Studierende
Wir haben über reale Anwendungen in Industrie und Forschung gesprochen und Beispiele für Datenwissenschaftsanwendungen in den digitalen Geisteswissenschaften und der Nachhaltigkeit untersucht. Wie können Sie also Ihre Fähigkeiten entwickeln und Ihr Wissen als Anfänger in der Datenwissenschaft teilen?
Wir haben über reale Anwendungen in Industrie und Forschung gesprochen und Beispiele für Datenwissenschaftsanwendungen in den digitalen Geisteswissenschaften und der Nachhaltigkeit untersucht. Wie können Sie also Ihre Fähigkeiten entwickeln und Ihr Wissen als Anfänger*innen in der Datenwissenschaft teilen?
Hier sind einige Beispiele für Datenwissenschaftsprojekte von Studierenden, die Sie inspirieren können.
Hier sind einige Beispiele für Datenwissenschaftsprojekte von Studierenden, die Sie inspirieren können:
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) mit GitHub [Projekten](https://github.com/msr-ds3), die Themen wie folgende erforschen:
- [Rassistische Vorurteile bei Polizeigewalt](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Zuverlässigkeit des U-Bahn-Systems in NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
- [Rassistische Vorurteile bei Polizeigewalt](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Zuverlässigkeit des U-Bahn-Systems in NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisierung materieller Kultur: Untersuchung sozioökonomischer Verteilungen in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - von [Ornella Altunyan](https://twitter.com/ornelladotcom) und ihrem Team in Claremont, unter Verwendung von [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Herausforderung
Suchen Sie nach Artikeln, die Datenwissenschaftsprojekte empfehlen, die für Anfänger geeignet sind - wie [diese 50 Themenbereiche](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) oder [diese 21 Projektideen](https://www.intellspot.com/data-science-project-ideas) oder [diese 16 Projekte mit Quellcode](https://data-flair.training/blogs/data-science-project-ideas/), die Sie analysieren und neu kombinieren können. Und vergessen Sie nicht, über Ihre Lernreisen zu bloggen und Ihre Erkenntnisse mit uns allen zu teilen.
Suchen Sie nach Artikeln, die Datenwissenschaftsprojekte empfehlen, die für Anfänger*innen geeignet sind - wie [diese 50 Themenbereiche](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) oder [diese 21 Projektideen](https://www.intellspot.com/data-science-project-ideas) oder [diese 16 Projekte mit Quellcode](https://data-flair.training/blogs/data-science-project-ideas/), die Sie analysieren und neu kombinieren können. Und vergessen Sie nicht, über Ihre Lernreisen zu bloggen und Ihre Erkenntnisse mit uns allen zu teilen.
## Quiz nach der Vorlesung
@ -141,15 +141,16 @@ Suchen Sie nach Artikeln, die Datenwissenschaftsprojekte empfehlen, die für Anf
Möchten Sie weitere Anwendungsfälle erkunden? Hier sind einige relevante Artikel:
* [17 Anwendungen und Beispiele für Datenwissenschaft](https://builtin.com/data-science/data-science-applications-examples) - Juli 2021
* [11 atemberaubende Anwendungen der Datenwissenschaft in der realen Welt](https://myblindbird.com/data-science-applications-real-world/) - Mai 2021
* [11 beeindruckende Anwendungen der Datenwissenschaft in der realen Welt](https://myblindbird.com/data-science-applications-real-world/) - Mai 2021
* [Datenwissenschaft in der realen Welt](https://towardsdatascience.com/data-science-in-the-real-world/home) - Artikelsammlung
* Datenwissenschaft in: [Bildung](https://data-flair.training/blogs/data-science-in-education/), [Landwirtschaft](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanzen](https://data-flair.training/blogs/data-science-in-finance/), [Filmen](https://data-flair.training/blogs/data-science-at-movies/) und mehr.
* [12 reale Anwendungen der Datenwissenschaft mit Beispielen](https://www.scaler.com/blog/data-science-applications/) - Mai 2024
* Datenwissenschaft in: [Bildung](https://data-flair.training/blogs/data-science-in-education/), [Landwirtschaft](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanzen](https://data-flair.training/blogs/data-science-in-finance/), [Filme](https://data-flair.training/blogs/data-science-at-movies/), [Gesundheitswesen](https://onlinedegrees.sandiego.edu/data-science-health-care/) und mehr.
## Aufgabe
[Erkunden Sie einen Datensatz des Planetary Computer](assignment.md)
[Erkunden Sie einen Planetary Computer-Datensatz](assignment.md)
---
**Haftungsausschluss**:
Dieses Dokument wurde mithilfe des KI-Übersetzungsdienstes [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, weisen wir darauf hin, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Nutzung dieser Übersetzung entstehen.
Dieses Dokument wurde mithilfe des KI-Übersetzungsdienstes [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, weisen wir darauf hin, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - χρησιμοποιεί δεδομένα (για τοποθεσίες παραλαβής και αποβίβασης, διάρκεια ταξιδιού, προτιμώμενες διαδρομές κ.λπ.) που συλλέγονται από εκατομμύρια ταξίδια Uber *καθημερινά* γιανα δημιουργήσει ένα εργαλείο ανάλυσης δεδομένων που βοηθά στη διαμόρφωση τιμών, την ασφάλεια, την ανίχνευση απάτης και τις αποφάσεις πλοήγησης.
* [Αναλυτική Αθλητισμού](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - επικεντρώνεται στην _προβλεπτική ανάλυση_ (ανάλυση ομάδας και παικτών - σκεφτείτε [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - και διαχείριση φιλάθλων) και στην _οπτικοποίηση δεδομένων_ (πίνακες ελέγχου ομάδας και φιλάθλων, παιχνίδια κ.λπ.) με εφαρμογές όπως η ανίχνευση ταλέντων, ο τζόγος αθλημάτων και η διαχείριση αποθεμάτων/χώρων.
* [Ανάλυση Δεδομένων στον Αθλητισμό](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - επικεντρώνεται στην _προβλεπτική ανάλυση_ (ανάλυση ομάδας και παικτών - σκεφτείτε [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - και διαχείριση οπαδών) και στην _οπτικοποίηση δεδομένων_ (πίνακες ελέγχου ομάδας και οπαδών, παιχνίδια κ.λπ.) με εφαρμογές όπως η ανίχνευση ταλέντων, ο τζόγος στον αθλητισμό και η διαχείριση αποθεμάτων/χώρων.
* [Επιστήμη Δεδομένων στις Τράπεζες](https://data-flair.training/blogs/data-science-in-banking/) - υπογραμμίζει την αξία της επιστήμης δεδομένων στον χρηματοοικονομικό κλάδο με εφαρμογές που κυμαίνονται από μοντελοποίηση κινδύνου και ανίχνευση απάτης, έως τμηματοποίηση πελατών, πρόβλεψη σε πραγματικό χρόνο και συστήματα συστάσεων. Η προβλεπτική ανάλυση οδηγεί επίσης κρίσιμα μέτρα όπως [πιστωτικές βαθμολογίες](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Επιστήμη Δεδομένων στις Τράπεζες](https://data-flair.training/blogs/data-science-in-banking/) - αναδεικνύει την αξία της επιστήμης δεδομένων στον χρηματοοικονομικό κλάδο με εφαρμογές που κυμαίνονται από μοντελοποίηση κινδύνου και ανίχνευση απάτης, έως τμηματοποίηση πελατών, πρόβλεψη σε πραγματικό χρόνο και συστήματα συστάσεων. Η προβλεπτική ανάλυση οδηγεί επίσης κρίσιμα μέτρα όπως [πιστωτικές βαθμολογίες](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Επιστήμη Δεδομένων στην Υγειονομική Περίθαλψη](https://data-flair.training/blogs/data-science-in-healthcare/) - υπογραμμίζει εφαρμογές όπως η ιατρική απεικόνιση (π.χ., MRI, ακτινογραφία, CT-Scan), η γονιδιωματική (αλληλούχιση DNA), η ανάπτυξη φαρμάκων (αξιολόγηση κινδύνου, πρόβλεψη επιτυχίας), η προβλεπτική ανάλυση (φροντίδα ασθενών και εφοδιαστική), η παρακολούθηση και πρόληψη ασθενειών κ.λπ.
* [Επιστήμη Δεδομένων στην Υγειονομική Περίθαλψη](https://data-flair.training/blogs/data-science-in-healthcare/) - αναδεικνύει εφαρμογές όπως η ιατρική απεικόνιση (π.χ., MRI, ακτινογραφία, CT-Scan), η γονιδιωματική (αλληλούχιση DNA), η ανάπτυξη φαρμάκων (αξιολόγηση κινδύνου, πρόβλεψη επιτυχίας), η προβλεπτική ανάλυση (φροντίδα ασθενών και εφοδιαστική), η παρακολούθηση και πρόληψη ασθενειών κ.λπ.
 Πηγή Εικόνας: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Πηγή Εικόνας: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Η εικόνα δείχνει άλλους τομείς και παραδείγματα για την εφαρμογή τεχνικών επιστήμης δεδομένων. Θέλετε να εξερευνήσετε άλλες εφαρμογές; Δείτε την ενότητα [Ανασκόπηση & Αυτομελέτη](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) παρακάτω.
@ -58,7 +58,7 @@ CO_OP_TRANSLATOR_METADATA:
Για τους φοιτητές, αυτά τα ερευνητικά έργα μπορούν να προσφέρουν τόσο ευκαιρίες μάθησης όσο και συνεργασίας που μπορούν να βελτιώσουν την κατανόησή σας για το θέμα και να διευρύνουν την επίγνωσή σας και τη δέσμευσή σας με σχετικούς ανθρώπους ή ομάδες που εργάζονται σε τομείς ενδιαφέροντος. Πώς μοιάζουν λοιπόν τα ερευνητικά έργα και πώς μπορούν να έχουν αντίκτυπο;
Ας δούμε ένα παράδειγμα - τη [Μελέτη Gender Shades του MIT](http://gendershades.org/overview.html) από την Joy Buolamwini (MIT Media Labs) με μια [υποδειγματική ερευνητική εργασία](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) που συνυπογράφεται από την Timnit Gebru (τότε στη Microsoft Research) που επικεντρώθηκε σε:
Ας δούμε ένα παράδειγμα - τη [Μελέτη Gender Shades του MIT](http://gendershades.org/overview.html) από την Joy Buolamwini (MIT Media Labs) με ένα [εμβληματικό ερευνητικό άρθρο](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) που συνυπογράφεται με την Timnit Gebru (τότε στη Microsoft Research) που επικεντρώθηκε σε:
* **Τι:** Ο στόχος του ερευνητικού έργου ήταν να_αξιολογήσει την προκατάληψη που υπάρχει στους αυτοματοποιημένους αλγόριθμους ανάλυσης προσώπου και στα σύνολα δεδομένων_ με βάση το φύλο και τον τύπο δέρματος.
* **Γιατί:** Η ανάλυση προσώπου χρησιμοποιείται σε τομείς όπως η επιβολή του νόμου, η ασφάλεια αεροδρομίων, τα συστήματα πρόσληψης και άλλα - πλαίσια όπου οι ανακριβείς ταξινομήσεις (π.χ., λόγω προκατάληψης) μπορούν να προκαλέσουν πιθανές οικονομικές και κοινωνικές βλάβες στα επηρεαζόμενα άτομα ή ομάδες. Η κατανόηση (και η εξάλειψη ή ο μετριασμός) των προκαταλήψεων είναι το κλειδί για τη δικαιοσύνη στη χρήση.
Οι Ψηφιακές Ανθρωπιστικές Επιστήμες [έχουν οριστεί](https://digitalhumanities.stanford.edu/about-dh-stanford) ως "μια συλλογή πρακτικών και προσεγγίσεων που συνδυάζουν υπολογιστικές μεθόδους με ανθρωπιστική έρευνα". [Έργα του Stanford](https://digitalhumanities.stanford.edu/projects) όπως _"αναβίωση της ιστορίας"_ και _"ποιητική σκέψη"_ δείχνουν τη σύνδεση μεταξύ [Ψηφιακών Ανθρωπιστικών Επιστημών και Επιστήμης Δεδομένων](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - τονίζοντας τεχνικές όπως η ανάλυση δικτύων, η οπτικοποίηση πληροφοριών, η χωρική και η ανάλυση κειμένου που μπορούν να μας βοηθήσουν να επανεξετάσουμε ιστορικά και λογοτεχνικά σύνολα δεδομένων γιανα αντλήσουμε νέες γνώσεις και προοπτικές.
Οι Ψηφιακές Ανθρωπιστικές Επιστήμες [έχουν οριστεί](https://digitalhumanities.stanford.edu/about-dh-stanford) ως "μια συλλογή πρακτικών και προσεγγίσεων που συνδυάζουν υπολογιστικές μεθόδους με ανθρωπιστική έρευνα". [Έργα του Stanford](https://digitalhumanities.stanford.edu/projects) όπως _"rebooting history"_ και _"poetic thinking"_ αναδεικνύουν τη σύνδεση μεταξύ [Ψηφιακών Ανθρωπιστικών Επιστημών και Επιστήμης Δεδομένων](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - τονίζοντας τεχνικές όπως η ανάλυση δικτύων, η οπτικοποίηση πληροφοριών, η χωρική και η ανάλυση κειμένου που μπορούν να μας βοηθήσουν να επανεξετάσουμε ιστορικά και λογοτεχνικά σύνολα δεδομένων γιανα αντλήσουμε νέες γνώσεις και προοπτικές.
*Θέλετε να εξερευνήσετε και να επεκτείνετε ένα έργο σε αυτόν τον τομέα;*
@ -90,8 +90,8 @@ CO_OP_TRANSLATOR_METADATA:
* [`Απόκτηση Δεδομένων`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - για τη συλλογή ενός σχετικού συνόλου δεδομένων για ανάλυση. Οι επιλογές περιλαμβάνουν τη χρήση ενός API (π.χ., [Poetry DB API](https://poetrydb.org/index.html)) ή την εξαγωγή δεδομένων από ιστοσελίδες (π.χ., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) χρησιμοποιώντας εργαλεία όπως το [Scrapy](https://scrapy.org/).
* [`Καθαρισμός Δεδομένων`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - εξηγεί πώς το κείμενο μπορεί να μορφοποιηθεί, να καθαριστεί και να απλοποιηθεί χρησιμοποιώντας βασικά εργαλεία όπως το Visual Studio Code και το Microsoft Excel.
* [`Ανάλυση Δεδομένων`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - εξηγεί πώς μπορούμε τώρα να εισάγουμε το σύνολο δεδομένων σε "Notebooks" για ανάλυση χρησιμοποιώντας πακέτα Python (όπως pandas, numpy και matplotlib) για την οργάνωση και την οπτικοποίηση των δεδομένων.
* [`Ανάλυση Συναισθημάτων`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - εξηγεί πώς μπορούμε να ενσωματώσουμε υπηρεσίες υπολογιστικού νέφους όπως το Text Analytics, χρησιμοποιώντας εργαλεία χαμηλού κώ
**Τοέργο Planetary Computer βρίσκεται επί του παρόντος σε προεπισκόπηση (από τον Σεπτέμβριο του 2021)** - δείτε πώς μπορείτε να ξεκινήσετε να συμβάλλετε σε λύσεις βιωσιμότητας χρησιμοποιώντας την επιστήμη δεδομένων.
* [`Ανάλυση Συναισθημάτων`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - εξηγεί πώς μπορούμε να ενσωματώσουμε υπηρεσίες υπολογιστικού νέφους όπως το Text Analytics, χρησιμοποιώντας εργα
**ΤοProject Planetary Computer βρίσκεται αυτή τη στιγμή σε προεπισκόπηση (από τον Σεπτέμβριο του 2021)** - δείτε πώς μπορείτε να ξεκινήσετε να συμβάλλετε σε λύσεις βιωσιμότητας χρησιμοποιώντας την επιστήμη δεδομένων.
* [Αιτηθείτε πρόσβαση](https://planetarycomputer.microsoft.com/account/request) γιανα ξεκινήσετε την εξερεύνηση και να συνδεθείτε με άλλους.
* [Εξερευνήστε την τεκμηρίωση](https://planetarycomputer.microsoft.com/docs/overview/about) γιανα κατανοήσετε τα υποστηριζόμενα σύνολα δεδομένων και APIs.
@ -101,18 +101,18 @@ CO_OP_TRANSLATOR_METADATA:
## Επιστήμη Δεδομένων + Φοιτητές
Έχουμε συζητήσει για εφαρμογές στον πραγματικό κόσμο στη βιομηχανία και την έρευνα, και έχουμε εξερευνήσει παραδείγματα εφαρμογών επιστήμης δεδομένων στις ψηφιακές ανθρωπιστικές επιστήμες και τη βιωσιμότητα. Πώς λοιπόν μπορείτε να αναπτύξετε τις δεξιότητές σας και να μοιραστείτε την εμπειρία σας ως αρχάριοι στην επιστήμη δεδομένων;
Έχουμε μιλήσει για εφαρμογές στον πραγματικό κόσμο στη βιομηχανία και την έρευνα, και έχουμε εξερευνήσει παραδείγματα εφαρμογών επιστήμης δεδομένων στις ψηφιακές ανθρωπιστικές επιστήμες και τη βιωσιμότητα. Πώς λοιπόν μπορείτε να αναπτύξετε τις δεξιότητές σας και να μοιραστείτε την εξειδίκευσή σας ως αρχάριοι στην επιστήμη δεδομένων;
Ακολουθούν μερικά παραδείγματα φοιτητικών έργων επιστήμης δεδομένων για έμπνευση.
Ακολουθούν μερικά παραδείγματα φοιτητικών projects επιστήμης δεδομένων για έμπνευση.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) με [έργα](https://github.com/msr-ds3) στο GitHub που εξερευνούν θέματα όπως:
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) με GitHub [projects](https://github.com/msr-ds3) που εξερευνούν θέματα όπως:
- [Ρατσιστική προκατάληψη στη χρήση βίας από την αστυνομία](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Αξιοπιστία του συστήματος μετρό της Νέας Υόρκης](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Ψηφιοποίηση Υλικού Πολιτισμού: Εξερεύνηση κοινωνικοοικονομικών κατανομών στο Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - από την [Ornella Altunyan](https://twitter.com/ornelladotcom) και την ομάδα της στο Claremont, χρησιμοποιώντας [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Πρόκληση
Αναζητήστε άρθρα που προτείνουν έργα επιστήμης δεδομένων φιλικά προς αρχάριους - όπως [αυτές οι 50 θεματικές περιοχές](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ή [αυτές οι 21 ιδέες έργων](https://www.intellspot.com/data-science-project-ideas) ή [αυτά τα 16 έργα με πηγαίο κώδικα](https://data-flair.training/blogs/data-science-project-ideas/) που μπορείτε να αναλύσετε και να ανασυνθέσετε. Και μην ξεχάσετε να γράψετε στο blog για τα ταξίδια μάθησής σας και να μοιραστείτε τις γνώσεις σας με όλους μας.
Αναζητήστε άρθρα που προτείνουν projects επιστήμης δεδομένων φιλικά προς αρχάριους - όπως [αυτές οι 50 θεματικές περιοχές](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ή [αυτές οι 21 ιδέες projects](https://www.intellspot.com/data-science-project-ideas) ή [αυτά τα 16 projects με πηγαίο κώδικα](https://data-flair.training/blogs/data-science-project-ideas/) που μπορείτε να αναλύσετε και ναεπανασυνθέσετε. Και μην ξεχάσετε να γράψετε στο blog σας για τις μαθησιακές σας διαδρομές και να μοιραστείτε τις γνώσεις σας με όλους μας.
## Κουίζ μετά τη διάλεξη
@ -123,14 +123,15 @@ CO_OP_TRANSLATOR_METADATA:
Θέλετε να εξερευνήσετε περισσότερες περιπτώσεις χρήσης; Ακολουθούν μερικά σχετικά άρθρα:
* [17 Εφαρμογές και Παραδείγματα Επιστήμης Δεδομένων](https://builtin.com/data-science/data-science-applications-examples) - Ιούλιος 2021
[Εξερευνήστε ένα σύνολο δεδομένων του Planetary Computer](assignment.md)
[Εξερευνήστε Ένα Σύνολο Δεδομένων του Planetary Computer](assignment.md)
---
**Αποποίηση ευθύνης**:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που καταβάλλουμε κάθε προσπάθειαγια ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν σφάλματα ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που καταβάλλουμε προσπάθειεςγια ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν σφάλματα ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.
@ -37,13 +37,13 @@ The democratization of AI has made it easier for developers to design and integr
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - focuses on _predictive analytics_ (team and player analysis, like [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/), and fan management) and _data visualization_ (team dashboards, fan engagement, etc.) with applications in talent scouting, sports betting, and venue management.
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - showcases the role of data science in finance, including risk modeling, fraud detection, customer segmentation, real-time predictions, and recommender systems. Predictive analytics also drive critical metrics like [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - demonstrates the value of data science in finance, with applications like risk modeling, fraud detection, customer segmentation, real-time predictions, and recommender systems. Predictive analytics also play a key role in measures like [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - highlights applications such as medical imaging (MRI, X-Ray, CT-Scan), genomics (DNA sequencing), drug development (risk assessment, success prediction), predictive analytics (patient care and logistics), disease tracking, and prevention.
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - showcases applications such as medical imaging (e.g., MRI, X-Ray, CT-Scan), genomics (DNA sequencing), drug development (risk assessment, success prediction), predictive analytics (patient care and logistics), disease tracking, and prevention.
 Image Credit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
The figure illustrates other domains and examples of applying data science techniques. Interested in exploring more applications? Check out the [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) section below.
The figure highlights other domains and examples of data science applications. Interested in exploring more? Check out the [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) section below.
## Data Science + Research
@ -51,27 +51,27 @@ The figure illustrates other domains and examples of applying data science techn
| Data Science & Research - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
While industry applications often focus on large-scale use cases, research projects can be valuable for two reasons:
While industry applications often focus on large-scale use cases, research projects can offer two key benefits:
* _Innovation opportunities_ - enable rapid prototyping of advanced concepts and testing of user experiences for next-generation applications.
* _Deployment challenges_ - investigate potential harms or unintended consequences of data science technologies in real-world scenarios.
* _Innovation opportunities_ - enabling rapid prototyping of advanced concepts and testing user experiences for next-generation applications.
* _Deployment challenges_ - investigating potential harms or unintended consequences of data science technologies in real-world contexts.
For students, research projects offer learning and collaboration opportunities that deepen understanding and foster connections with experts or teams working in areas of interest. So, what do research projects look like, and how can they make an impact?
For students, research projects provide learning and collaboration opportunities that deepen understanding and foster connections with experts in areas of interest. So, what do research projects look like, and how can they make an impact?
Consider the [MIT Gender Shades Study](http://gendershades.org/overview.html) by Joy Buolamwini (MIT Media Labs) and Timnit Gebru (then at Microsoft Research), which produced a [signature research paper](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf):
Consider the [MIT Gender Shades Study](http://gendershades.org/overview.html) by Joy Buolamwini (MIT Media Labs), co-authored with Timnit Gebru (then at Microsoft Research). This study focused on:
* **What:** The study aimed to _evaluate bias in automated facial analysis algorithms and datasets_ based on gender and skin type.
* **Why:** Facial analysis is used in contexts like law enforcement, airport security, and hiring systems, where inaccurate classifications (e.g., due to bias) can lead to economic and social harm. Addressing bias is crucial for fairness.
* **How:** Researchers noted that existing benchmarks predominantly featured lighter-skinned subjects. They curated a new dataset (1000+ images) balanced by gender and skin type, which was used to assess the accuracy of three gender classification products (Microsoft, IBM, Face++).
* **What:** Evaluating bias in automated facial analysis algorithms and datasets based on gender and skin type.
* **Why:** Facial analysis is used in critical areas like law enforcement, airport security, and hiring systems, where inaccuracies (e.g., due to bias) can lead to economic and social harm. Addressing bias is essential for fairness.
* **How:** Researchers identified that existing benchmarks predominantly featured lighter-skinned subjects. They curated a new dataset (1000+ images) balanced by gender and skin type to evaluate the accuracy of three gender classification products (Microsoft, IBM, Face++).
Results revealed that while overall accuracy was good, error rates varied significantly across subgroups, with **misgendering** being higher for females and individuals with darker skin tones, indicating bias.
**Key Outcomes:** The study underscored the need for more _representative datasets_ (balanced subgroups) and _inclusive teams_ (diverse backgrounds) to identify and address biases early in AI solutions. Such research also informs principles and practices for _responsible AI_ to enhance fairness in AI products and processes.
**Key Outcomes:** The study emphasized the need for more _representative datasets_ (balanced subgroups) and _inclusive teams_ (diverse backgrounds) to identify and address biases early in AI solutions. Such research has influenced organizations to adopt principles and practices for _responsible AI_ to enhance fairness in their AI products and processes.
**Want to learn about relevant research efforts at Microsoft?**
**Interested in relevant research at Microsoft?**
* Explore [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) on Artificial Intelligence.
* Check out student projects from [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Check out student projects from the [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Learn about the [Fairlearn](https://fairlearn.org/) project and [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiatives.
## Data Science + Humanities
@ -80,21 +80,21 @@ Results revealed that while overall accuracy was good, error rates varied signif
| Data Science & Digital Humanities - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Digital Humanities [is defined](https://digitalhumanities.stanford.edu/about-dh-stanford) as "a collection of practices and approaches combining computational methods with humanistic inquiry." [Stanford projects](https://digitalhumanities.stanford.edu/projects) like _"rebooting history"_ and _"poetic thinking"_demonstrate the connection between [Digital Humanities and Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science), emphasizing techniques like network analysis, information visualization, spatial analysis, and text analysis to revisit historical and literary datasets for new insights.
Digital Humanities [is defined](https://digitalhumanities.stanford.edu/about-dh-stanford) as "a collection of practices and approaches combining computational methods with humanistic inquiry." [Stanford projects](https://digitalhumanities.stanford.edu/projects) like _"rebooting history"_ and _"poetic thinking"_illustrate the connection between [Digital Humanities and Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science), emphasizing techniques like network analysis, information visualization, spatial analysis, and text analysis to uncover new insights from historical and literary datasets.
*Want to explore and extend a project in this field?*
*Want to explore a project in this space?*
Check out ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) by [Jen Looper](https://twitter.com/jenlooper), which uses data science to reinterpret familiar poetry and examine its meaning in new contexts. For example, _can we predict the season in which a poem was written by analyzing its tone or sentiment?_ What does this reveal about the author's mindset during that time?
Check out ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) by [Jen Looper](https://twitter.com/jenlooper). This project uses data science to revisit familiar poetry and explore its meaning in new contexts. For example, _can we predict the season in which a poem was written by analyzing its tone or sentiment?_ What might this reveal about the author's state of mind during that time?
To answer this, follow the steps of the data science lifecycle:
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - collect a relevant dataset for analysis using APIs (e.g., [Poetry DB API](https://poetrydb.org/index.html)) or web scraping tools (e.g., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - format, sanitize, and simplify text using tools like Visual Studio Code and Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - import the dataset into "Notebooks" for analysis using Python packages (e.g., pandas, numpy, matplotlib) to organize and visualize the data.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - integrate cloud services like Text Analytics and use low-code tools like [Power Automate](https://flow.microsoft.com/en-us/) for automated workflows.
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - Collect a relevant dataset using APIs (e.g., [Poetry DB API](https://poetrydb.org/index.html)) or web scraping tools (e.g., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - Format and sanitize text using tools like Visual Studio Code and Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - Import the dataset into "Notebooks" for analysis using Python packages like pandas, numpy, and matplotlib.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - Use cloud services like Text Analytics and low-code tools like [Power Automate](https://flow.microsoft.com/en-us/) for automated workflows.
This workflow allows you to explore seasonal impacts on poem sentiment and develop your own interpretations of the author. Try it yourself, then extend the notebook to ask new questions or visualize the data differently!
This workflow allows you to explore seasonal impacts on poem sentiment and develop your own perspectives on the author. Try it out, then extend the notebook to ask new questions or visualize the data differently!
> Use tools from the [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) to pursue these inquiries.
> Use tools from the [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) to pursue similar inquiries.
## Data Science + Sustainability
@ -102,36 +102,36 @@ This workflow allows you to explore seasonal impacts on poem sentiment and devel
| Data Science & Sustainability - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
The [2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda), adopted by all United Nations members in 2015, outlines 17 goals, including those aimed at **Protecting the Planet** from degradation and climate change. The [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) initiative supports these goals by exploring technology solutions to build a more sustainable future, focusing on [four key objectives](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh): being carbon negative, water positive, zero waste, and bio-diverse by 2030.
The [2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda), adopted by all United Nations members in 2015, outlines 17 goals, including those aimed at **Protecting the Planet** from degradation and climate change. The [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) initiative supports these goals by leveraging technology to build a more sustainable future, focusing on four key objectives: being carbon negative, water positive, zero waste, and bio-diverse by 2030.
Addressing these challenges at scale requires cloud-scale thinking and large datasets. The [Planetary Computer](https://planetarycomputer.microsoft.com/) initiative offers four components to assist data scientists and developers:
Addressing these challenges requires large-scale data and cloud-based solutions. The [Planetary Computer](https://planetarycomputer.microsoft.com/) initiative provides four components to assist data scientists and developers:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - provides petabytes of Earth Systems data (free and Azure-hosted).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - enables users to search for relevant data across space and time.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - a managed environment for processing massive geospatial datasets.
* [Applications](https://planetarycomputer.microsoft.com/applications) - showcases use cases and tools for sustainability insights.
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - Offers petabytes of Earth Systems data, free and hosted on Azure.
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - Enables users to search for relevant data across space and time.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - A managed environment for processing massive geospatial datasets.
* [Applications](https://planetarycomputer.microsoft.com/applications) - Showcases tools and use cases for sustainability insights.
**The Planetary Computer Project is currently in preview (as of Sep 2021)** - here's how you can start contributing to sustainability solutions using data science.
* [Request access](https://planetarycomputer.microsoft.com/account/request) to begin exploring and connect with others.
* [Explore documentation](https://planetarycomputer.microsoft.com/docs/overview/about) to learn about supported datasets and APIs.
* Check out applications like [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) for inspiration on project ideas.
* [Request access](https://planetarycomputer.microsoft.com/account/request) to begin exploring and connect with others in the community.
* [Explore documentation](https://planetarycomputer.microsoft.com/docs/overview/about) to learn about the available datasets and APIs.
* Check out applications like [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) for ideas and inspiration.
Consider how you can use data visualization to highlight or amplify insights related to issues like climate change and deforestation. Or think about how these insights can be leveraged to design new user experiences that encourage behavioral changes for more sustainable living.
Consider how you can use data visualization to highlight or enhance insights into issues like climate change and deforestation. Or think about how these insights can be leveraged to design new user experiences that encourage behavioral changes for more sustainable living.
## Data Science + Students
We've discussed real-world applications in industry and research, and looked at examples of data science applications in digital humanities and sustainability. So how can you develop your skills and share your knowledge as beginners in data science?
We've discussed real-world applications in industry and research, and looked at examples of data science applications in digital humanities and sustainability. So how can you develop your skills and share your knowledge as data science beginners?
Here are some examples of student data science projects to inspire you:
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) with GitHub [projects](https://github.com/msr-ds3) exploring topics such as:
- [Racial Bias in Police Use of Force](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Reliability of NYC Subway System](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - by [Ornella Altunyan](https://twitter.com/ornelladotcom) and her team at Claremont, using [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - a project by [Ornella Altunyan](https://twitter.com/ornelladotcom) and her team at Claremont, using [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Challenge
Look for articles that suggest beginner-friendly data science projects - like [these 50 topic areas](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [these 21 project ideas](https://www.intellspot.com/data-science-project-ideas), or [these 16 projects with source code](https://data-flair.training/blogs/data-science-project-ideas/) that you can analyze and adapt. And don't forget to blog about your learning experiences and share your insights with the community.
Look for articles that suggest beginner-friendly data science projects, such as [these 50 topic areas](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [these 21 project ideas](https://www.intellspot.com/data-science-project-ideas), or [these 16 projects with source code](https://data-flair.training/blogs/data-science-project-ideas/) that you can analyze and adapt. Don't forget to blog about your learning experiences and share your insights with the community.
## Post-Lecture Quiz
@ -143,7 +143,8 @@ Want to dive deeper into use cases? Here are some relevant articles:
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - May 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) - Article Collection
* Data Science In: [Education](https://data-flair.training/blogs/data-science-in-education/), [Agriculture](https://data-flair.training/blogs/data-science-in-agriculture/), [Finance](https://data-flair.training/blogs/data-science-in-finance/), [Movies](https://data-flair.training/blogs/data-science-at-movies/) & more.
* [12 Real-World Data Science Applications with Examples](https://www.scaler.com/blog/data-science-applications/) - May 2024
* Data Science In: [Education](https://data-flair.training/blogs/data-science-in-education/), [Agriculture](https://data-flair.training/blogs/data-science-in-agriculture/), [Finance](https://data-flair.training/blogs/data-science-in-finance/), [Movies](https://data-flair.training/blogs/data-science-at-movies/), [Health Care](https://onlinedegrees.sandiego.edu/data-science-health-care/) & more.
@ -39,9 +39,9 @@ Gracias a la democratización de la IA, los desarrolladores ahora encuentran má
* [Ciencia de Datos en la Banca](https://data-flair.training/blogs/data-science-in-banking/) - destaca el valor de la ciencia de datos en la industria financiera con aplicaciones que van desde modelado de riesgos y detección de fraudes, hasta segmentación de clientes, predicción en tiempo real y sistemas de recomendación. La analítica predictiva también impulsa medidas críticas como [puntuaciones de crédito](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Ciencia de Datos en la Salud](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicaciones como imágenes médicas (por ejemplo, MRI, Rayos X, Tomografía), genómica (secuenciación de ADN), desarrollo de medicamentos (evaluación de riesgos, predicción de éxito), analítica predictiva (cuidado de pacientes y logística de suministros), seguimiento y prevención de enfermedades, etc.
* [Ciencia de Datos en la Salud](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicaciones como imágenes médicas (por ejemplo, MRI, Rayos X, Tomografía), genómica (secuenciación de ADN), desarrollo de medicamentos (evaluación de riesgos, predicción de éxito), analítica predictiva (cuidado de pacientes y logística de suministros), seguimiento y prevención de enfermedades, entre otros.
 Crédito de la Imagen: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crédito de la Imagen: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
La figura muestra otros dominios y ejemplos para aplicar técnicas de ciencia de datos. ¿Quieres explorar otras aplicaciones? Consulta la sección [Revisión y Autoestudio](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) a continuación.
@ -51,24 +51,24 @@ La figura muestra otros dominios y ejemplos para aplicar técnicas de ciencia de
| Ciencia de Datos e Investigación - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Aunque las aplicaciones del mundo real a menudo se centran en casos de uso industrial a gran escala, las aplicaciones y proyectos de _investigación_ pueden ser útiles desde dos perspectivas:
Aunque las aplicaciones del mundo real suelen centrarse en casos de uso industrial a gran escala, las aplicaciones y proyectos de _investigación_ pueden ser útiles desde dos perspectivas:
* _oportunidades de innovación_ - explorar prototipos rápidos de conceptos avanzados y probar experiencias de usuario para aplicaciones de próxima generación.
* _desafíos de implementación_ - investigar posibles daños o consecuencias no deseadas de las tecnologías de ciencia de datos en contextos reales.
Para los estudiantes, estos proyectos de investigación pueden proporcionar oportunidades de aprendizaje y colaboración que mejoren tu comprensión del tema y amplíen tu conciencia e interacción con personas o equipos relevantes que trabajan en áreas de interés. Entonces, ¿cómo son los proyectos de investigación y cómo pueden tener impacto?
Para los estudiantes, estos proyectos de investigación pueden proporcionar oportunidades de aprendizaje y colaboración que mejoren su comprensión del tema y amplíen su conciencia e interacción con personas o equipos relevantes que trabajan en áreas de interés. Entonces, ¿cómo son los proyectos de investigación y cómo pueden tener impacto?
Veamos un ejemplo: el [Estudio Gender Shades del MIT](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) con un [artículo de investigación destacado](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) coautorado con Timnit Gebru (entonces en Microsoft Research) que se centró en:
* **Qué:** El objetivo del proyecto de investigación era _evaluar el sesgo presente en algoritmos y conjuntos de datos de análisis facial automatizado_ basado en género y tipo de piel.
* **Qué:** El objetivo del proyecto de investigación era _evaluar el sesgo presente en algoritmos y conjuntos de datos de análisis facial automatizado_ basado en género y tipo de piel.
* **Por qué:** El análisis facial se utiliza en áreas como la aplicación de la ley, seguridad en aeropuertos, sistemas de contratación y más - contextos donde clasificaciones inexactas (por ejemplo, debido al sesgo) pueden causar daños económicos y sociales a individuos o grupos afectados. Comprender (y eliminar o mitigar) los sesgos es clave para la equidad en el uso.
* **Cómo:** Los investigadores reconocieron que los puntos de referencia existentes utilizaban predominantemente sujetos de piel más clara y crearon un nuevo conjunto de datos (más de 1000 imágenes) que estaba _más equilibrado_ por género y tipo de piel. El conjunto de datos se utilizó para evaluar la precisión de tres productos de clasificación de género (de Microsoft, IBM y Face++).
* **Cómo:** Los investigadores reconocieron que los puntos de referencia existentes utilizaban predominantemente sujetos de piel más clara y crearon un nuevo conjunto de datos (más de 1000 imágenes) que estaba _más equilibrado_ por género y tipo de piel. El conjunto de datos se utilizó para evaluar la precisión de tres productos de clasificación de género (de Microsoft, IBM y Face++).
Los resultados mostraron que, aunque la precisión general de la clasificación era buena, había una diferencia notable en las tasas de error entre varios subgrupos, con **errores de clasificación de género** más altos para mujeres o personas con piel más oscura, lo que indicaba sesgo.
**Resultados Clave:** Generó conciencia de que la ciencia de datos necesita más _conjuntos de datos representativos_ (subgrupos equilibrados) y más _equipos inclusivos_ (antecedentes diversos) para reconocer y eliminar o mitigar dichos sesgos en las soluciones de IA desde el principio. Esfuerzos de investigación como este también son fundamentales para que muchas organizaciones definan principios y prácticas para una _IA responsable_ que mejore la equidad en sus productos y procesos de IA.
**Resultados Clave:** Generó conciencia de que la ciencia de datos necesita más _conjuntos de datos representativos_ (subgrupos equilibrados) y más _equipos inclusivos_ (antecedentes diversos) para reconocer y eliminar o mitigar dichos sesgos en las soluciones de IA desde etapas tempranas. Esfuerzos de investigación como este también son fundamentales para que muchas organizaciones definan principios y prácticas para una _IA responsable_ que mejore la equidad en sus productos y procesos de IA.
**¿Quieres aprender sobre esfuerzos de investigación relevantes en Microsoft?**
**¿Quieres aprender sobre esfuerzos de investigación relevantes en Microsoft?**
* Consulta [Proyectos de Investigación de Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) en Inteligencia Artificial.
* Explora proyectos estudiantiles de la [Escuela de Verano de Ciencia de Datos de Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -80,11 +80,11 @@ Los resultados mostraron que, aunque la precisión general de la clasificación
| Ciencia de Datos y Humanidades Digitales - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Las Humanidades Digitales [se han definido](https://digitalhumanities.stanford.edu/about-dh-stanford) como "una colección de prácticas y enfoques que combinan métodos computacionales con investigación humanística". Los [proyectos de Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ y _"poetic thinking"_ ilustran el vínculo entre [Humanidades Digitales y Ciencia de Datos](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science), enfatizando técnicas como análisis de redes, visualización de información, análisis espacial y de texto que pueden ayudarnos a revisar conjuntos de datos históricos y literarios para derivar nuevas perspectivas e ideas.
Las Humanidades Digitales [se han definido](https://digitalhumanities.stanford.edu/about-dh-stanford) como "una colección de prácticas y enfoques que combinan métodos computacionales con investigación humanística". Los proyectos de [Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ y _"poetic thinking"_ ilustran la conexión entre [Humanidades Digitales y Ciencia de Datos](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science), enfatizando técnicas como análisis de redes, visualización de información, análisis espacial y de texto que pueden ayudarnos a revisar conjuntos de datos históricos y literarios para derivar nuevas perspectivas e ideas.
*¿Quieres explorar y ampliar un proyecto en este espacio?*
Consulta ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un gran ejemplo de [Jen Looper](https://twitter.com/jenlooper) que pregunta cómo podemos usar la ciencia de datos para revisar poesía familiar y reevaluar su significado y las contribuciones de su autora en nuevos contextos. Por ejemplo, _¿podemos predecir la estación en la que se escribió un poema analizando su tono o sentimiento_ - y qué nos dice esto sobre el estado de ánimo de la autora durante el período relevante?
Consulta ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un excelente ejemplo de [Jen Looper](https://twitter.com/jenlooper) que pregunta cómo podemos usar la ciencia de datos para revisar poesía familiar y reevaluar su significado y las contribuciones de su autora en nuevos contextos. Por ejemplo, _¿podemos predecir la estación en la que se escribió un poema analizando su tono o sentimiento_ - y qué nos dice esto sobre el estado de ánimo de la autora durante el período relevante?
Para responder a esa pregunta, seguimos los pasos del ciclo de vida de la ciencia de datos:
* [`Adquisición de Datos`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - para recopilar un conjunto de datos relevante para el análisis. Las opciones incluyen usar una API (por ejemplo, [Poetry DB API](https://poetrydb.org/index.html)) o extraer páginas web (por ejemplo, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) utilizando herramientas como [Scrapy](https://scrapy.org/).
@ -110,9 +110,9 @@ Abordar estos desafíos de manera escalable y oportuna requiere pensamiento a es
* [API Planetaria](https://planetarycomputer.microsoft.com/docs/reference/stac/) - para ayudar a los usuarios a buscar datos relevantes en espacio y tiempo.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - entorno gestionado para que los científicos procesen conjuntos de datos geoespaciales masivos.
* [Aplicaciones](https://planetarycomputer.microsoft.com/applications) - muestran casos de uso y herramientas para obtener conocimientos sobre sostenibilidad.
**El Proyecto Planetary Computer está actualmente en vista previa (a partir de septiembre de 2021)** - aquí tienes cómo puedes empezar a contribuir a soluciones sostenibles utilizando ciencia de datos.
**El Proyecto Planetary Computer está actualmente en vista previa (a partir de septiembre de 2021)** - aquí tienes cómo puedes comenzar a contribuir a soluciones de sostenibilidad utilizando ciencia de datos.
* [Solicita acceso](https://planetarycomputer.microsoft.com/account/request) para comenzar la exploración y conectarte con otros.
* [Solicita acceso](https://planetarycomputer.microsoft.com/account/request) para empezar a explorar y conectarte con otros.
* [Explora la documentación](https://planetarycomputer.microsoft.com/docs/overview/about) para entender los conjuntos de datos y APIs compatibles.
* Explora aplicaciones como [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) para inspirarte en ideas de aplicaciones.
@ -127,7 +127,7 @@ Aquí tienes algunos ejemplos de proyectos estudiantiles de ciencia de datos par
* [Escuela de Verano de Ciencia de Datos de MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) con [proyectos](https://github.com/msr-ds3) en GitHub que exploran temas como:
- [Sesgo racial en el uso de la fuerza policial](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilidad del sistema de metro de Nueva York](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalización de la cultura material: Explorando distribuciones socioeconómicas en Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de [Ornella Altunyan](https://twitter.com/ornelladotcom) y su equipo en Claremont, utilizando [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitalizando la cultura material: Explorando distribuciones socioeconómicas en Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de [Ornella Altunyan](https://twitter.com/ornelladotcom) y su equipo en Claremont, utilizando [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Desafío
@ -143,7 +143,8 @@ Busca artículos que recomienden proyectos de ciencia de datos para principiante
* [17 Aplicaciones y Ejemplos de Ciencia de Datos](https://builtin.com/data-science/data-science-applications-examples) - julio 2021
* [11 Impresionantes Aplicaciones de Ciencia de Datos en el Mundo Real](https://myblindbird.com/data-science-applications-real-world/) - mayo 2021
* [Ciencia de Datos en el Mundo Real](https://towardsdatascience.com/data-science-in-the-real-world/home) - Colección de artículos
* Ciencia de Datos en: [Educación](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanzas](https://data-flair.training/blogs/data-science-in-finance/), [Películas](https://data-flair.training/blogs/data-science-at-movies/) y más.
* [12 Aplicaciones de Ciencia de Datos en el Mundo Real con Ejemplos](https://www.scaler.com/blog/data-science-applications/) - mayo 2024
* Ciencia de Datos en: [Educación](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanzas](https://data-flair.training/blogs/data-science-in-finance/), [Cine](https://data-flair.training/blogs/data-science-at-movies/), [Salud](https://onlinedegrees.sandiego.edu/data-science-health-care/) y más.
## Tarea
@ -152,4 +153,4 @@ Busca artículos que recomienden proyectos de ciencia de datos para principiante
---
**Descargo de responsabilidad**:
Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse como la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas que puedan surgir del uso de esta traducción.
Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por garantizar la precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse como la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas que puedan surgir del uso de esta traducción.
| علم داده در دنیای واقعی - _تصویر طراحی شده توسط [@nitya](https://twitter.com/nitya)_ |
| علم داده در دنیای واقعی - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
ما تقریباً به پایان این مسیر یادگیری رسیدهایم!
ما تقریباً به پایان این سفر آموزشی رسیدهایم!
ما با تعریفهای علم داده و اخلاق شروع کردیم، ابزارها و تکنیکهای مختلف برای تحلیل و بصریسازی دادهها را بررسی کردیم، چرخه عمر علم داده را مرور کردیم و به مقیاسپذیری و خودکارسازی جریانهای کاری علم داده با خدمات رایانش ابری پرداختیم. بنابراین، احتمالاً از خود میپرسید: _"چطور میتوانم همه این یادگیریها را به زمینههای دنیای واقعی مرتبط کنم؟"_
ما با تعریفهای علم داده و اخلاق شروع کردیم، ابزارها و تکنیکهای مختلف برای تحلیل و مصورسازی دادهها را بررسی کردیم، چرخه عمر علم داده را مرور کردیم و به مقیاسپذیری و خودکارسازی جریانهای کاری علم داده با خدمات رایانش ابری پرداختیم. بنابراین احتمالاً از خود میپرسید: _"چطور میتوانم همه این آموختهها را به زمینههای واقعی مرتبط کنم؟"_
در این درس، کاربردهای واقعی علم داده در صنعت را بررسی میکنیم و به مثالهای خاص در زمینههای تحقیق، علوم انسانی دیجیتال و پایداری میپردازیم. همچنین فرصتهای پروژههای دانشجویی را مرور کرده و با منابع مفیدی برای ادامه مسیر یادگیری شما به پایان میرسیم!
@ -25,48 +25,48 @@ CO_OP_TRANSLATOR_METADATA:
## علم داده + صنعت
به لطف دموکراتیزه شدن هوش مصنوعی، توسعهدهندگان اکنون راحتتر میتوانند تصمیمگیریهای مبتنی بر هوش مصنوعی و بینشهای مبتنی بر داده را در تجربههای کاربری و جریانهای کاری توسعه ادغام کنند. در اینجا چند مثال از نحوه "کاربرد" علم داده در دنیای واقعی در صنعت آورده شده است:
به لطف دموکراتیزه شدن هوش مصنوعی، توسعهدهندگان اکنون راحتتر میتوانند تصمیمگیریهای مبتنی بر هوش مصنوعی و بینشهای مبتنی بر داده را در تجربههای کاربری و جریانهای کاری توسعه ادغام کنند. در اینجا چند مثال از نحوه "کاربرد" علم داده در زمینههای واقعی صنعت آورده شده است:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) از علم داده برای ارتباط دادن اصطلاحات جستجو با روندهای آنفولانزا استفاده کرد. اگرچه این روش دارای نقصهایی بود، اما آگاهی از امکانات (و چالشهای) پیشبینیهای بهداشتی مبتنی بر داده را افزایش داد.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) از علم داده برای ارتباط دادن اصطلاحات جستجو با روندهای آنفولانزا استفاده کرد. اگرچه این روش دارای نقصهایی بود، اما آگاهی از امکانات (و چالشهای) پیشبینیهای بهداشتی مبتنی بر داده را افزایش داد.
* [پیشبینی مسیرهای UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - توضیح میدهد که چگونه UPS از علم داده و یادگیری ماشین برای پیشبینی مسیرهای بهینه برای تحویل استفاده میکند، با در نظر گرفتن شرایط آب و هوایی، الگوهای ترافیکی، مهلتهای تحویل و موارد دیگر.
* [پیشبینی مسیرهای UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - توضیح میدهد که چگونه UPS از علم داده و یادگیری ماشین برای پیشبینی مسیرهای بهینه برای تحویل استفاده میکند، با در نظر گرفتن شرایط آب و هوایی، الگوهای ترافیکی، مهلتهای تحویل و موارد دیگر.
* [بصریسازی مسیر تاکسیهای نیویورک](http://chriswhong.github.io/nyctaxi/) - دادههای جمعآوری شده با استفاده از [قوانین آزادی اطلاعات](https://chriswhong.com/open-data/foil_nyc_taxi/) به ما کمک کرد تا یک روز از زندگی تاکسیهای نیویورک را بصریسازی کنیم، و بفهمیم چگونه در شهر شلوغ حرکت میکنند، چقدر درآمد دارند و مدت زمان سفرهایشان در هر دوره ۲۴ ساعته چقدر است.
* [مصورسازی مسیر تاکسیهای NYC](http://chriswhong.github.io/nyctaxi/) - دادههای جمعآوری شده با استفاده از [قوانین آزادی اطلاعات](https://chriswhong.com/open-data/foil_nyc_taxi/) به مصورسازی یک روز از زندگی تاکسیهای NYC کمک کرد، و به ما نشان داد که چگونه در شهر شلوغ حرکت میکنند، چقدر درآمد دارند و مدت زمان سفرها در هر دوره ۲۴ ساعته چقدر است.
* [محیط کاری علم داده Uber](https://eng.uber.com/dsw/) - از دادههای جمعآوری شده از میلیونها سفر روزانه Uber (مانند مکانهای سوار شدن و پیاده شدن، مدت زمان سفر، مسیرهای ترجیحی و غیره) برای ساخت یک ابزار تحلیل داده استفاده میکند که به تصمیمگیریهای مربوط به قیمتگذاری، ایمنی، تشخیص تقلب و مسیریابی کمک میکند.
* [محیط کار علم داده Uber](https://eng.uber.com/dsw/) - از دادههای جمعآوری شده از میلیونها سفر روزانه Uber (مانند مکانهای سوار شدن و پیاده شدن، مدت زمان سفر، مسیرهای ترجیحی و غیره) برای ساخت ابزار تحلیل داده استفاده میکند که به تصمیمگیریهای مربوط به قیمتگذاری، ایمنی، تشخیص تقلب و ناوبری کمک میکند.
* [تحلیلهای ورزشی](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - بر تحلیلهای پیشبینیکننده (تحلیل تیم و بازیکن - مانند [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - و مدیریت طرفداران) و بصریسازی دادهها (داشبوردهای تیم و طرفداران، بازیها و غیره) تمرکز دارد، با کاربردهایی مانند استعدادیابی، شرطبندی ورزشی و مدیریت موجودی/مکان.
* [تحلیلهای ورزشی](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - بر تحلیلهای پیشبینیکننده (تحلیل تیم و بازیکن - مانند [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - و مدیریت طرفداران) و مصورسازی دادهها (داشبوردهای تیم و طرفداران، بازیها و غیره) تمرکز دارد، با کاربردهایی مانند استعدادیابی، شرطبندی ورزشی و مدیریت موجودی/محل برگزاری.
* [علم داده در بانکداری](https://data-flair.training/blogs/data-science-in-banking/) - ارزش علم داده در صنعت مالی را با کاربردهایی از مدلسازی ریسک و تشخیص تقلب گرفته تا تقسیمبندی مشتریان، پیشبینیهای لحظهای و سیستمهای توصیهکننده برجسته میکند. تحلیلهای پیشبینیکننده همچنین اقدامات حیاتی مانند [امتیازات اعتباری](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) را هدایت میکنند.
* [علم داده در بانکداری](https://data-flair.training/blogs/data-science-in-banking/) - ارزش علم داده در صنعت مالی را با کاربردهایی از مدلسازی ریسک و تشخیص تقلب گرفته تا تقسیمبندی مشتریان، پیشبینیهای لحظهای و سیستمهای توصیهکننده برجسته میکند. تحلیلهای پیشبینیکننده همچنین اقدامات حیاتی مانند [امتیازات اعتباری](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) را هدایت میکنند.
* [علم داده در مراقبتهای بهداشتی](https://data-flair.training/blogs/data-science-in-healthcare/) - کاربردهایی مانند تصویربرداری پزشکی (مانند MRI، اشعه ایکس، سیتیاسکن)، ژنومیک (توالییابی DNA)، توسعه دارو (ارزیابی ریسک، پیشبینی موفقیت)، تحلیلهای پیشبینیکننده (مراقبت از بیمار و لجستیک تامین)، ردیابی و پیشگیری از بیماری و غیره را برجسته میکند.
* [علم داده در مراقبتهای بهداشتی](https://data-flair.training/blogs/data-science-in-healthcare/) - کاربردهایی مانند تصویربرداری پزشکی (مانند MRI، اشعه ایکس، سیتیاسکن)، ژنومیک (توالییابی DNA)، توسعه دارو (ارزیابی ریسک، پیشبینی موفقیت)، تحلیلهای پیشبینیکننده (مراقبت از بیمار و لجستیک تامین)، ردیابی و پیشگیری از بیماری و غیره را برجسته میکند.
 اعتبار تصویر: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 اعتبار تصویر: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
این شکل حوزهها و مثالهای دیگری برای کاربرد تکنیکهای علم داده را نشان میدهد. آیا میخواهید کاربردهای دیگری را بررسی کنید؟ بخش [مرور و مطالعه خود](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) را در زیر ببینید.
## علم داده + تحقیق
| ](../../sketchnotes/20-DataScience-Research.png) |
| ](../../sketchnotes/20-DataScience-Research.png) |
| علم داده و تحقیق - _تصویر طراحی شده توسط [@nitya](https://twitter.com/nitya)_ |
| علم داده و تحقیق - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
در حالی که کاربردهای دنیای واقعی اغلب بر موارد استفاده صنعتی در مقیاس بزرگ تمرکز دارند، پروژهها و کاربردهای تحقیقاتی میتوانند از دو منظر مفید باشند:
در حالی که کاربردهای واقعی اغلب بر موارد استفاده صنعتی در مقیاس بزرگ تمرکز دارند، پروژهها و کاربردهای تحقیقاتی میتوانند از دو منظر مفید باشند:
* _فرصتهای نوآوری_ - بررسی نمونهسازی سریع مفاهیم پیشرفته و آزمایش تجربههای کاربری برای کاربردهای نسل بعدی.
* _چالشهای استقرار_ - تحقیق در مورد آسیبهای احتمالی یا پیامدهای ناخواسته فناوریهای علم داده در زمینههای دنیای واقعی.
* _چالشهای استقرار_ - تحقیق در مورد آسیبهای احتمالی یا پیامدهای ناخواسته فناوریهای علم داده در زمینههای واقعی.
برای دانشجویان، این پروژههای تحقیقاتی میتوانند فرصتهای یادگیری و همکاری فراهم کنند که درک شما از موضوع را بهبود بخشیده و آگاهی و تعامل شما با افراد یا تیمهای مرتبط در حوزههای مورد علاقه را گسترش دهند. پس پروژههای تحقیقاتی چگونه به نظر میرسند و چگونه میتوانند تاثیرگذار باشند؟
برای دانشجویان، این پروژههای تحقیقاتی میتوانند فرصتهای یادگیری و همکاری فراهم کنند که درک شما از موضوع را بهبود بخشند و آگاهی و تعامل شما با افراد یا تیمهای مرتبط در حوزههای مورد علاقه را گسترش دهند. پس پروژههای تحقیقاتی چگونه به نظر میرسند و چگونه میتوانند تأثیرگذار باشند؟
بیایید یک مثال را بررسی کنیم - [مطالعه Gender Shades MIT](http://gendershades.org/overview.html) از Joy Buolamwini (آزمایشگاههای رسانهای MIT) با یک [مقاله تحقیقاتی برجسته](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) که با همکاری Timnit Gebru (در آن زمان در Microsoft Research) نوشته شده است و بر موارد زیر تمرکز دارد:
بیایید یک مثال را بررسی کنیم - [مطالعه Gender Shades MIT](http://gendershades.org/overview.html) از Joy Buolamwini (MIT Media Labs) با یک [مقاله تحقیقاتی برجسته](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) که با همکاری Timnit Gebru (در آن زمان در Microsoft Research) نوشته شده است و بر موارد زیر تمرکز دارد:
***چه چیزی:** هدف پروژه تحقیقاتی _ارزیابی تعصب موجود در الگوریتمها و مجموعه دادههای تحلیل خودکار چهره_ بر اساس جنسیت و نوع پوست بود.
***چرا:** تحلیل چهره در زمینههایی مانند اجرای قانون، امنیت فرودگاه، سیستمهای استخدام و موارد دیگر استفاده میشود - زمینههایی که طبقهبندیهای نادرست (مثلاً به دلیل تعصب) میتوانند آسیبهای اقتصادی و اجتماعی بالقوهای به افراد یا گروههای متاثر وارد کنند. درک (و حذف یا کاهش) تعصبها کلید عدالت در استفاده است.
***چگونه:** محققان تشخیص دادند که معیارهای موجود عمدتاً از افراد با پوست روشنتر استفاده میکنند و یک مجموعه داده جدید (بیش از ۱۰۰۰ تصویر) ایجاد کردند که _متعادلتر_ از نظر جنسیت و نوع پوست بود. این مجموعه داده برای ارزیابی دقت سه محصول طبقهبندی جنسیت (از Microsoft، IBM و Face++) استفاده شد.
***چه چیزی:** هدف پروژه تحقیقاتی _ارزیابی تعصب موجود در الگوریتمها و مجموعه دادههای تحلیل خودکار چهره_ بر اساس جنسیت و نوع پوست بود.
***چرا:** تحلیل چهره در زمینههایی مانند اجرای قانون، امنیت فرودگاه، سیستمهای استخدام و موارد دیگر استفاده میشود - زمینههایی که طبقهبندیهای نادرست (مثلاً به دلیل تعصب) میتوانند آسیبهای اقتصادی و اجتماعی بالقوهای به افراد یا گروههای تحت تأثیر وارد کنند. درک (و حذف یا کاهش) تعصبها کلید عدالت در استفاده است.
***چگونه:** محققان تشخیص دادند که معیارهای موجود عمدتاً از افراد با پوست روشنتر استفاده میکنند و یک مجموعه داده جدید (بیش از ۱۰۰۰ تصویر) ایجاد کردند که _متعادلتر_ از نظر جنسیت و نوع پوست بود. این مجموعه داده برای ارزیابی دقت سه محصول طبقهبندی جنسیت (از Microsoft، IBM و Face++) استفاده شد.
نتایج نشان داد که اگرچه دقت کلی طبقهبندی خوب بود، تفاوت قابل توجهی در نرخ خطا بین گروههای مختلف وجود داشت - با **اشتباه در تشخیص جنسیت** بیشتر برای زنان یا افراد با پوست تیرهتر، که نشاندهنده تعصب بود.
نتایج نشان داد که اگرچه دقت کلی طبقهبندی خوب بود، تفاوت قابل توجهی در نرخ خطا بین گروههای مختلف وجود داشت - با **اشتباه در جنسیت** بیشتر برای زنان یا افراد با پوست تیرهتر، که نشاندهنده تعصب بود.
**نتایج کلیدی:** آگاهی را افزایش داد که علم داده به مجموعه دادههای _نمایندهتر_ (گروههای متعادل) و تیمهای _فراگیرتر_ (پیشینههای متنوع) نیاز دارد تا این تعصبها را زودتر در راهحلهای هوش مصنوعی شناسایی و حذف یا کاهش دهد. تلاشهای تحقیقاتی مانند این همچنین در تعریف اصول و شیوههای _هوش مصنوعی مسئولانه_توسط بسیاری از سازمانها برای بهبود عدالت در محصولات و فرآیندهای هوش مصنوعی آنها نقش اساسی دارند.
**نتایج کلیدی:** آگاهی را افزایش داد که علم داده نیاز به مجموعه دادههای _نمایندهتر_ (گروههای متعادل) و تیمهای _فراگیرتر_ (پیشینههای متنوع) دارد تا بتوان چنین تعصبهایی را زودتر در راهحلهای هوش مصنوعی شناسایی و حذف یا کاهش داد. تلاشهای تحقیقاتی مانند این همچنین در تعریف اصول و شیوهها برای _هوش مصنوعی مسئولانه_در بسیاری از سازمانها برای بهبود عدالت در محصولات و فرآیندهای هوش مصنوعی آنها نقش اساسی دارند.
**آیا میخواهید درباره تلاشهای تحقیقاتی مرتبط در Microsoft اطلاعات کسب کنید؟**
@ -76,53 +76,53 @@ CO_OP_TRANSLATOR_METADATA:
## علم داده + علوم انسانی
| ](../../sketchnotes/20-DataScience-Humanities.png) |
| ](../../sketchnotes/20-DataScience-Humanities.png) |
| علم داده و علوم انسانی دیجیتال - _تصویر طراحی شده توسط [@nitya](https://twitter.com/nitya)_ |
| علم داده و علوم انسانی دیجیتال - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
علوم انسانی دیجیتال [تعریف شده است](https://digitalhumanities.stanford.edu/about-dh-stanford) به عنوان "مجموعهای از شیوهها و رویکردها که روشهای محاسباتی را با تحقیق انسانی ترکیب میکنند". پروژههای [Stanford](https://digitalhumanities.stanford.edu/projects) مانند _"بازنگری تاریخ"_ و _"تفکر شاعرانه"_ ارتباط بین [علوم انسانی دیجیتال و علم داده](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) را نشان میدهند - تاکید بر تکنیکهایی مانند تحلیل شبکه، بصریسازی اطلاعات، تحلیل فضایی و متنی که میتوانند به ما کمک کنند مجموعه دادههای تاریخی و ادبی را بازنگری کنیم تا بینشها و دیدگاههای جدیدی به دست آوریم.
علوم انسانی دیجیتال [تعریف شده است](https://digitalhumanities.stanford.edu/about-dh-stanford) به عنوان "مجموعهای از شیوهها و رویکردها که روشهای محاسباتی را با تحقیق انسانی ترکیب میکنند". پروژههای [Stanford](https://digitalhumanities.stanford.edu/projects) مانند _"بازنگری تاریخ"_ و _"تفکر شاعرانه"_ ارتباط بین [علوم انسانی دیجیتال و علم داده](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) را نشان میدهند - تأکید بر تکنیکهایی مانند تحلیل شبکه، مصورسازی اطلاعات، تحلیل فضایی و متنی که میتوانند به ما کمک کنند مجموعه دادههای تاریخی و ادبی را بازنگری کنیم تا بینشها و دیدگاههای جدیدی به دست آوریم.
*آیا میخواهید پروژهای در این زمینه را بررسی و گسترش دهید؟*
پروژه ["امیلی دیکینسون و وزن احساسات"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) را بررسی کنید - یک مثال عالی از [Jen Looper](https://twitter.com/jenlooper) که میپرسد چگونه میتوانیم از علم داده برای بازنگری در شعرهای آشنا و ارزیابی مجدد معنای آنها و مشارکتهای نویسنده در زمینههای جدید استفاده کنیم. برای مثال، _آیا میتوانیم فصل سرودن یک شعر را با تحلیل لحن یا احساسات آن پیشبینی کنیم_ - و این چه چیزی درباره وضعیت ذهنی نویسنده در دوره مربوطه به ما میگوید؟
پروژه ["امیلی دیکینسون و وزن احساسات"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) را بررسی کنید - یک مثال عالی از [Jen Looper](https://twitter.com/jenlooper) که میپرسد چگونه میتوانیم از علم داده برای بازنگری در شعرهای آشنا و ارزیابی مجدد معنای آنها و مشارکتهای نویسنده در زمینههای جدید استفاده کنیم. برای مثال، _آیا میتوانیم فصل سرودن یک شعر را با تحلیل لحن یا احساسات آن پیشبینی کنیم_ - و این چه چیزی درباره حالت ذهن نویسنده در دوره مربوطه به ما میگوید؟
برای پاسخ به این سوال، مراحل چرخه عمر علم داده را دنبال میکنیم:
* [`جمعآوری دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - برای جمعآوری مجموعه داده مرتبط برای تحلیل. گزینهها شامل استفاده از API (مانند [Poetry DB API](https://poetrydb.org/index.html)) یا استخراج صفحات وب (مانند [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) با استفاده از ابزارهایی مانند [Scrapy](https://scrapy.org/).
* [`پاکسازی دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - توضیح میدهد که چگونه متن میتواند با ابزارهای سادهای مانند Visual Studio Code و Microsoft Excel قالببندی، بهینهسازی و ساده شود.
* [`تحلیل دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - توضیح میدهد که چگونه میتوانیم اکنون مجموعه داده را برای تحلیل وارد "دفترچهها" کنیم، با استفاده از بستههای پایتون (مانند pandas، numpy و matplotlib) برای سازماندهی و بصریسازی دادهها.
* [`تحلیل احساسات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - توضیح میدهد که چگونه میتوانیم خدمات ابری مانند Text Analytics را با استفاده از ابزارهای کمکد مانند [Power Automate](https://flow.microsoft.com/en-us/) برای جریانهای کاری پردازش داده خودکار ادغام کنیم.
* [`جمعآوری دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - برای جمعآوری مجموعه دادههای مرتبط برای تحلیل. گزینهها شامل استفاده از API (مانند [Poetry DB API](https://poetrydb.org/index.html)) یا استخراج صفحات وب (مانند [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) با استفاده از ابزارهایی مانند [Scrapy](https://scrapy.org/).
* [`پاکسازی دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - توضیح میدهد که چگونه متن میتواند با ابزارهای سادهای مانند Visual Studio Code و Microsoft Excel قالببندی، بهینهسازی و ساده شود.
* [`تحلیل دادهها`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - توضیح میدهد که چگونه میتوانیم اکنون مجموعه داده را برای تحلیل وارد "دفترچهها" کنیم و با استفاده از بستههای پایتون (مانند pandas، numpy و matplotlib) دادهها را سازماندهی و مصورسازی کنیم.
* [`تحلیل احساسات`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - توضیح میدهد که چگونه میتوانیم خدمات ابری مانند Text Analytics را با استفاده از ابزارهای کمکد مانند [Power Automate](https://flow.microsoft.com/en-us/) برای جریانهای کاری پردازش داده خودکار ادغام کنیم.
با استفاده از این جریان کاری، میتوانیم تاثیرات فصلی بر احساسات شعرها را بررسی کنیم و به ما کمک کنیم دیدگاههای خودمان را درباره نویسنده شکل دهیم. خودتان امتحان کنید - سپس دفترچه را گسترش دهید تا سوالات دیگری بپرسید یا دادهها را به روشهای جدید بصریسازی کنید!
با استفاده از این جریان کاری، میتوانیم تأثیرات فصلی بر احساسات شعرها را بررسی کنیم و به ما کمک کنیم دیدگاههای خود را درباره نویسنده شکل دهیم. خودتان امتحان کنید - سپس دفترچه را گسترش دهید تا سوالات دیگری بپرسید یا دادهها را به روشهای جدید مصورسازی کنید!
> میتوانید از برخی ابزارهای موجود در [جعبه ابزار علوم انسانی دیجیتال](https://github.com/Digital-Humanities-Toolkit) برای دنبال کردن این مسیرهای تحقیقاتی استفاده کنید.
## علم داده + پایداری
| ](../../sketchnotes/20-DataScience-Sustainability.png) |
| ](../../sketchnotes/20-DataScience-Sustainability.png) |
| علم داده و پایداری - _تصویر طراحی شده توسط [@nitya](https://twitter.com/nitya)_ |
| علم داده و پایداری - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[دستور کار ۲۰۳۰ برای توسعه پایدار](https://sdgs.un.org/2030agenda) - که توسط همه اعضای سازمان ملل در سال ۲۰۱۵ تصویب شد - ۱۷ هدف را شناسایی میکند، از جمله اهدافی که بر **حفاظت از سیاره** در برابر تخریب و تاثیر تغییرات اقلیمی تمرکز دارند. ابتکار [پایداری Microsoft](https://www.microsoft.com/en-us/sustainability) از این اهداف حمایت میکند و راههایی را بررسی میکند که راهحلهای فناوری میتوانند آیندههای پایدارتر را پشتیبانی و ایجاد کنند، با [تمرکز بر ۴ هدف](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - کربن منفی، آب مثبت، صفر زباله و تنوع زیستی تا سال ۲۰۳۰.
[دستور کار ۲۰۳۰ برای توسعه پایدار](https://sdgs.un.org/2030agenda) - که توسط همه اعضای سازمان ملل در سال ۲۰۱۵ تصویب شد - ۱۷ هدف را شناسایی میکند، از جمله اهدافی که بر **حفاظت از سیاره** در برابر تخریب و تأثیر تغییرات اقلیمی تمرکز دارند. ابتکار [پایداری Microsoft](https://www.microsoft.com/en-us/sustainability) از این اهداف حمایت میکند و راههایی را بررسی میکند که راهحلهای فناوری میتوانند آیندههای پایدارتر را پشتیبانی و ایجاد کنند، با [تمرکز بر ۴ هدف](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - کربن منفی، آب مثبت، صفر زباله و تنوع زیستی تا سال ۲۰۳۰.
مقابله با این چالشها به صورت مقیاسپذیر و به موقع نیازمند تفکر در مقیاس ابری - و دادههای بزرگ است. ابتکار [Planetary Computer](https://planetarycomputer.microsoft.com/) ۴ مؤلفه را برای کمک به دانشمندان داده و توسعهدهندگان در این تلاش ارائه میدهد:
* [کاتالوگ دادهها](https://planetarycomputer.microsoft.com/catalog) - با پتابایتهای دادههای سیستمهای زمین (رایگان و میزبانی شده در Azure).
* [API سیارهای](https://planetarycomputer.microsoft.com/docs/reference/stac/) - برای کمک به کاربران در جستجوی دادههای مرتبط در فضا و زمان.
* [مرکز](https://planetarycomputer.microsoft.com/docs/overview/environment/) - محیط مدیریت شده برای دانشمندان برای پردازش مجموعه دادههای عظیم جغرافیایی.
* [برنامهها](https://planetarycomputer.microsoft.com/applications) - نمایش موارد استفاده و ابزارهایی برای بینشهای پایداری.
* [کاتالوگ دادهها](https://planetarycomputer.microsoft.com/catalog) - با پتابایتهای دادههای سیستمهای زمین (رایگان و میزبانی شده در Azure).
* [API سیارهای](https://planetarycomputer.microsoft.com/docs/reference/stac/) - برای کمک به کاربران در جستجوی دادههای مرتبط در سراسر فضا و زمان.
* [مرکز](https://planetarycomputer.microsoft.com/docs/overview/environment/) - محیط مدیریت شده برای دانشمندان برای پردازش مجموعه دادههای عظیم جغرافیایی.
* [برنامهها](https://planetarycomputer.microsoft.com/applications) - نمایش موارد استفاده و ابزارهایی برای بینشهای پایداری.
**پروژه کامپیوتر سیارهای در حال حاضر در مرحله پیشنمایش است (از سپتامبر 2021)** - در اینجا نحوه شروع مشارکت در راهحلهای پایداری با استفاده از علم داده توضیح داده شده است.
* [درخواست دسترسی](https://planetarycomputer.microsoft.com/account/request) برای شروع کاوش و ارتباط با همتایان.
* [بررسی مستندات](https://planetarycomputer.microsoft.com/docs/overview/about) برای درک مجموعه دادهها و APIهای پشتیبانیشده.
* [کاوش مستندات](https://planetarycomputer.microsoft.com/docs/overview/about) برای درک مجموعه دادهها و APIهای پشتیبانیشده.
* برنامههایی مانند [پایش اکوسیستم](https://analytics-lab.org/ecosystemmonitoring/) را برای الهام گرفتن از ایدههای کاربردی بررسی کنید.
به این فکر کنید که چگونه میتوانید از تجسم دادهها برای آشکار کردن یا تقویت بینشهای مرتبط در زمینههایی مانند تغییرات اقلیمی و جنگلزدایی استفاده کنید. یا به این فکر کنید که چگونه میتوان از این بینشها برای ایجاد تجربیات کاربری جدید استفاده کرد که تغییرات رفتاری را برای زندگی پایدارتر انگیزه دهد.
به این فکر کنید که چگونه میتوانید از تجسم دادهها برای آشکار کردن یا تقویت بینشهای مرتبط در زمینههایی مانند تغییرات اقلیمی و جنگلزدایی استفاده کنید. یا به این فکر کنید که چگونه میتوان از این بینشها برای ایجاد تجربیات جدید کاربری که تغییرات رفتاری را برای زندگی پایدارتر انگیزه میدهد، استفاده کرد.
## علم داده + دانشجویان
ما درباره کاربردهای واقعی در صنعت و پژوهش صحبت کردهایم و نمونههایی از کاربرد علم داده در علوم انسانی دیجیتال و پایداری را بررسی کردهایم. حالا چگونه میتوانید مهارتهای خود را بسازید و تخصص خود را به عنوان مبتدیان علم داده به اشتراک بگذارید؟
ما درباره کاربردهای واقعی در صنعت و پژوهش صحبت کردهایم و نمونههایی از کاربرد علم داده در علوم انسانی دیجیتال و پایداری را بررسی کردهایم. حالا چگونه میتوانید مهارتهای خود را توسعه دهید و تخصص خود را به عنوان مبتدیان علم داده به اشتراک بگذارید؟
در اینجا چند نمونه از پروژههای دانشجویی علم داده برای الهام گرفتن آورده شده است.
در اینجا چند نمونه از پروژههای دانشجویی علم داده برای الهام گرفتن آورده شده است:
* [مدرسه تابستانی علم داده MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) با [پروژههای GitHub](https://github.com/msr-ds3) که موضوعاتی مانند:
- [تعصب نژادی در استفاده از زور توسط پلیس](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
@ -137,13 +137,14 @@ CO_OP_TRANSLATOR_METADATA:
## [آزمون پس از سخنرانی](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## مرور و مطالعه شخصی
## مرور و مطالعه خودآموز
میخواهید موارد استفاده بیشتری را بررسی کنید؟ در اینجا چند مقاله مرتبط آورده شده است:
* [17 کاربرد و مثال علم داده](https://builtin.com/data-science/data-science-applications-examples) - جولای 2021
* [11 کاربرد شگفتانگیز علم داده در دنیای واقعی](https://myblindbird.com/data-science-applications-real-world/) - مه 2021
* [علم داده در دنیای واقعی](https://towardsdatascience.com/data-science-in-the-real-world/home) - مجموعه مقالات
* علم داده در: [آموزش](https://data-flair.training/blogs/data-science-in-education/)، [کشاورزی](https://data-flair.training/blogs/data-science-in-agriculture/)، [مالی](https://data-flair.training/blogs/data-science-in-finance/)، [فیلمها](https://data-flair.training/blogs/data-science-at-movies/) و موارد دیگر.
* [12 کاربرد واقعی علم داده با مثالها](https://www.scaler.com/blog/data-science-applications/) - مه 2024
* علم داده در: [آموزش](https://data-flair.training/blogs/data-science-in-education/)، [کشاورزی](https://data-flair.training/blogs/data-science-in-agriculture/)، [مالی](https://data-flair.training/blogs/data-science-in-finance/)، [فیلمها](https://data-flair.training/blogs/data-science-at-movies/)، [مراقبتهای بهداشتی](https://onlinedegrees.sandiego.edu/data-science-health-care/) و موارد دیگر.
## تکلیف
@ -152,4 +153,4 @@ CO_OP_TRANSLATOR_METADATA:
---
**سلب مسئولیت**:
این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما برای دقت تلاش میکنیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادقتیهایی باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حساس، ترجمه حرفهای انسانی توصیه میشود. ما هیچ مسئولیتی در قبال سوءتفاهمها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.
این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما تلاش میکنیم دقت را حفظ کنیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادرستیها باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حساس، توصیه میشود از ترجمه حرفهای انسانی استفاده کنید. ما مسئولیتی در قبال سوء تفاهمها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.
| Data Science todellisessa maailmassa - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science tosielämässä - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Olemme melkein tämän oppimismatkan lopussa!
Aloitimme määrittelemällä data-analytiikan ja etiikan, tutkimme erilaisia työkaluja ja tekniikoita data-analyysiin ja visualisointiin, kävimme läpi data-analytiikan elinkaaren ja tarkastelimme, miten pilvipalvelut voivat auttaa skaalaamaan ja automatisoimaan data-analytiikan työnkulkuja. Saatat nyt miettiä: _"Miten voin soveltaa näitä oppeja todellisiin tilanteisiin?"_
Aloitimme määritelmistä, jotka koskivat data sciencea ja etiikkaa, tutkimme erilaisia työkaluja ja tekniikoita data-analyysiin ja visualisointiin, kävimme läpi data sciencen elinkaaren ja tarkastelimme, miten data science -työnkulkuja voidaan laajentaa ja automatisoida pilvipalveluiden avulla. Joten saatat miettiä: _"Miten tarkalleen ottaen voin soveltaa näitä oppeja tosielämän tilanteisiin?"_
Tässä oppitunnissa tutkimme data-analytiikan sovelluksia eri toimialoilla ja sukellamme tarkemmin esimerkkeihin tutkimuksen, digitaalisten humanististen tieteiden ja kestävän kehityksen konteksteissa. Tarkastelemme opiskelijaprojektimahdollisuuksia ja päätämme hyödyllisiin resursseihin, jotka auttavat sinua jatkamaan oppimismatkaasi!
Tässä oppitunnissa tutkimme data sciencen tosielämän sovelluksia eri toimialoilla ja sukellamme erityisiin esimerkkeihin tutkimuksen, digitaalisten humanististen tieteiden ja kestävän kehityksen konteksteissa. Tarkastelemme opiskelijaprojektimahdollisuuksia ja päätämme hyödyllisiin resursseihin, jotka auttavat sinua jatkamaan oppimismatkaasi!
Tekoälyn demokratisoinnin ansiosta kehittäjien on nyt helpompaa suunnitella ja integroida tekoälypohjaista päätöksentekoa ja dataan perustuvia oivalluksia käyttäjäkokemuksiin ja kehitysprosesseihin. Tässä muutamia esimerkkejä siitä, miten data-analytiikkaa sovelletaan todellisiin käyttötapauksiin eri toimialoilla:
AI:n demokratisoinnin ansiosta kehittäjien on nyt helpompi suunnitella ja integroida AI-pohjaista päätöksentekoa ja dataan perustuvia oivalluksia käyttäjäkokemuksiin ja kehitystyönkulkuihin. Tässä muutamia esimerkkejä siitä, miten data sciencea "sovelletaan" tosielämän sovelluksiin eri toimialoilla:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) käytti data-analytiikkaa yhdistääkseen hakutermit influenssatrendeihin. Vaikka lähestymistavassa oli puutteita, se lisäsi tietoisuutta dataan perustuvien terveydenhuollon ennusteiden mahdollisuuksista (ja haasteista).
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) käytti data sciencea korreloimaan hakutermit influenssatrendien kanssa. Vaikka lähestymistavassa oli puutteita, se lisäsi tietoisuutta dataan perustuvien terveydenhuollon ennusteiden mahdollisuuksista (ja haasteista).
* [UPS:n reittien ennustaminen](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - selittää, miten UPS käyttää data-analytiikkaa ja koneoppimista ennustaakseen optimaaliset toimitusreitit ottaen huomioon sääolosuhteet, liikennemallit, toimitusaikataulut ja paljon muuta.
* [UPS Reittiennusteet](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - selittää, miten UPS käyttää data sciencea ja koneoppimista ennustamaan optimaalisia toimitusreittejä huomioiden sääolosuhteet, liikennemallit, toimitusaikataulut ja paljon muuta.
* [NYC:n taksireittien visualisointi](http://chriswhong.github.io/nyctaxi/) - data, joka kerättiin [tietopyyntölakien](https://chriswhong.com/open-data/foil_nyc_taxi/) avulla, auttoi visualisoimaan yhden päivän NYC:n taksien elämästä, mikä auttaa ymmärtämään, miten ne navigoivat kiireisessä kaupungissa, kuinka paljon rahaa ne ansaitsevat ja kuinka kauan matkat kestävät 24 tunnin aikana.
* [NYC Taksireittien visualisointi](http://chriswhong.github.io/nyctaxi/) - data, joka kerättiin [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) avulla, auttoi visualisoimaan yhden päivän NYC:n taksien elämästä, auttaen ymmärtämään, miten ne navigoivat vilkkaassa kaupungissa, kuinka paljon rahaa ne ansaitsevat ja matkojen keston 24 tunnin aikana.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - käyttää dataa (nouto- ja jättöpaikat, matkan kesto, suosikkireitit jne.), joka kerätään miljoonista Uber-matkoista *päivittäin*, rakentaakseen data-analytiikkatyökalun, joka auttaa hinnoittelussa, turvallisuudessa, petosten havaitsemisessa ja navigointipäätöksissä.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - käyttää dataa (nouto- ja jättöpaikat, matkan kesto, suosituimmat reitit jne.), joka kerätään miljoonista Uber-matkoista *päivittäin*, rakentaakseen data-analytiikkatyökalun hinnoittelun, turvallisuuden, petosten havaitsemisen ja navigointipäätösten tueksi.
* [Urheiluanalytiikka](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - keskittyy _ennakoivaan analytiikkaan_ (joukkue- ja pelaaja-analyysi - ajattele [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - ja fanien hallinta) sekä _datavisualisointiin_ (joukkue- ja fanidashboardit, pelit jne.) sovelluksilla, kuten kykyjenetsintä, urheiluvedonlyönti ja varaston/tilojen hallinta.
* [Urheiluanalytiikka](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - keskittyy _ennustavaan analytiikkaan_ (joukkue- ja pelaaja-analyysi - ajattele [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - ja fanien hallinta) ja _datavisualisointiin_ (joukkue- ja fanien hallintapaneelit, pelit jne.) sovelluksilla, kuten kykyjenetsintä, urheilupelaaminen ja varaston/tilojen hallinta.
* [Data-analytiikka pankkialalla](https://data-flair.training/blogs/data-science-in-banking/) - korostaa data-analytiikan arvoa rahoitusalalla sovelluksilla, jotka vaihtelevat riskimallinnuksesta ja petosten havaitsemisesta asiakassegmentointiin, reaaliaikaisiin ennusteisiin ja suosittelujärjestelmiin. Ennakoiva analytiikka ohjaa myös kriittisiä mittareita, kuten [luottoluokituksia](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science pankkialalla](https://data-flair.training/blogs/data-science-in-banking/) - korostaa data sciencen arvoa rahoitusalalla sovelluksilla, jotka vaihtelevat riskimallinnuksesta ja petosten havaitsemisesta asiakassegmentointiin, reaaliaikaisiin ennusteisiin ja suosittelujärjestelmiin. Ennustava analytiikka ohjaa myös kriittisiä mittareita, kuten [luottopisteet](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data-analytiikka terveydenhuollossa](https://data-flair.training/blogs/data-science-in-healthcare/) - korostaa sovelluksia, kuten lääketieteellinen kuvantaminen (esim. MRI, röntgen, CT-skannaus), genomiikka (DNA-sekvensointi), lääkekehitys (riskinarviointi, onnistumisen ennustaminen), ennakoiva analytiikka (potilashoito ja toimituslogistiikka), tautien seuranta ja ehkäisy jne.
* [Data Science terveydenhuollossa](https://data-flair.training/blogs/data-science-in-healthcare/) - korostaa sovelluksia, kuten lääketieteellinen kuvantaminen (esim. MRI, röntgen, CT-skannaus), genomiikka (DNA-sekvensointi), lääkekehitys (riskinarviointi, onnistumisen ennustaminen), ennustava analytiikka (potilashoito ja toimituslogistiikka), tautien seuranta ja ehkäisy jne.
Kuvassa esitetään muita aloja ja esimerkkejä data-analytiikan tekniikoiden soveltamisesta. Haluatko tutkia muita sovelluksia? Katso [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) -osio alta.
Kuvassa näkyy muita aloja ja esimerkkejä data science -tekniikoiden soveltamisesta. Haluatko tutkia muita sovelluksia? Katso [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) -osio alta.
## Data-analytiikka + Tutkimus
## Data Science + Tutkimus
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Data-analytiikka& Tutkimus - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science& Tutkimus - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Vaikka todelliset sovellukset keskittyvät usein teollisuuden käyttötapauksiin laajassa mittakaavassa, _tutkimus_-sovellukset ja -projektit voivat olla hyödyllisiä kahdesta näkökulmasta:
Vaikka tosielämän sovellukset keskittyvät usein teollisuuden käyttötapauksiin laajassa mittakaavassa, _tutkimus_ sovellukset ja projektit voivat olla hyödyllisiä kahdesta näkökulmasta:
* _innovaatiomahdollisuudet_ - tutkia edistyneiden konseptien nopeaa prototyyppausta ja käyttäjäkokemusten testausta seuraavan sukupolven sovelluksille.
* _käyttöönoton haasteet_ - tutkia mahdollisia haittoja tai tahattomia seurauksia data-analytiikan teknologioiden käytöstä todellisissa konteksteissa.
* _innovointimahdollisuudet_ - tutkia edistyneiden konseptien nopeaa prototyyppausta ja käyttäjäkokemusten testausta seuraavan sukupolven sovelluksille.
* _käyttöönoton haasteet_ - tutkia mahdollisia haittoja tai tahattomia seurauksia data science -teknologioiden käytöstä tosielämän konteksteissa.
Opiskelijoille nämä tutkimusprojektit voivat tarjota sekä oppimis- että yhteistyömahdollisuuksia, jotka parantavat ymmärrystä aiheesta ja laajentavat tietoisuutta ja vuorovaikutusta asiaankuuluvien ihmisten tai tiimien kanssa kiinnostuksen kohteena olevilla alueilla. Miltä tutkimusprojektit näyttävät ja miten ne voivat vaikuttaa?
Opiskelijoille nämä tutkimusprojektit voivat tarjota sekä oppimis- että yhteistyömahdollisuuksia, jotka parantavat ymmärrystä aiheesta ja laajentavat tietoisuutta ja vuorovaikutusta asiaankuuluvien ihmisten tai tiimien kanssa, jotka työskentelevät kiinnostuksen kohteena olevilla alueilla. Miltä tutkimusprojektit näyttävät ja miten ne voivat vaikuttaa?
Tarkastellaan yhtä esimerkkiä - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwinilta (MIT Media Labs) ja [tutkimuspaperi](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), jonka hän kirjoitti yhdessä Timnit Gebrun (silloin Microsoft Research) kanssa:
Tarkastellaan yhtä esimerkkiä - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwinilta (MIT Media Labs) ja [merkittävä tutkimuspaperi](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), jonka hän kirjoitti yhdessä Timnit Gebrun (silloin Microsoft Research) kanssa. Tutkimus keskittyi:
* **Mitä:** Tutkimusprojektin tavoitteena oli _arvioida sukupuoleen ja ihonväriin perustuvaa puolueellisuutta automaattisissa kasvoanalyysialgoritmeissa ja -datanäytteissä_.
* **Miksi:** Kasvoanalyysiä käytetään esimerkiksi lainvalvonnassa, lentokenttien turvallisuudessa ja rekrytointijärjestelmissä - konteksteissa, joissa virheelliset luokitukset (esim. puolueellisuuden vuoksi) voivat aiheuttaa taloudellisia ja sosiaalisia haittoja yksilöille tai ryhmille. Puolueellisuuden ymmärtäminen (ja sen poistaminen tai lieventäminen) on avain oikeudenmukaisuuteen käytössä.
* **Miten:** Tutkijat huomasivat, että olemassa olevat vertailuarvot käyttivät pääasiassa vaaleaihoisia henkilöitä, ja he loivat uuden datasarjan (yli 1000 kuvaa), joka oli _tasapainoisempi_ sukupuolen ja ihonvärin suhteen. Datasarjaa käytettiin arvioimaan kolmen sukupuolen luokittelutuotteen (Microsoft, IBM ja Face++) tarkkuutta.
* **Mitä:** Tutkimusprojektin tavoitteena oli _arvioida sukupuoleen ja ihonväriin perustuvaa vinoutta automaattisissa kasvoanalyysialgoritmeissa ja -datalähteissä_.
* **Miksi:** Kasvoanalyysiä käytetään esimerkiksi lainvalvonnassa, lentokenttien turvallisuudessa, rekrytointijärjestelmissä ja muissa konteksteissa, joissa epätarkat luokitukset (esim. vinoutumisen vuoksi) voivat aiheuttaa taloudellisia ja sosiaalisia haittoja asianomaisille yksilöille tai ryhmille. Vinoumien ymmärtäminen (ja niiden poistaminen tai lieventäminen) on avain oikeudenmukaisuuteen käytössä.
* **Miten:** Tutkijat huomasivat, että olemassa olevat vertailuarvot käyttivät pääasiassa vaaleaihoisia henkilöitä, ja he loivat uuden datasarjan (yli 1000 kuvaa), joka oli _tasapainoisempi_ sukupuolen ja ihonvärin suhteen. Datasarjaa käytettiin arvioimaan kolmen sukupuoliluokittelutuotteen (Microsoft, IBM & Face++) tarkkuutta.
Tulokset osoittivat, että vaikka yleinen luokittelutarkkuus oli hyvä, virheprosentit vaihtelivat huomattavasti eri alaryhmien välillä - **väärinsukupuolittaminen** oli yleisempää naisilla tai tummemman ihonvärin omaavilla henkilöillä, mikä viittaa puolueellisuuteen.
Tulokset osoittivat, että vaikka yleinen luokittelutarkkuus oli hyvä, virheprosenttien ero eri alaryhmien välillä oli huomattava - **väärä sukupuoliluokittelu** oli yleisempää naisilla tai tummaihoisilla henkilöillä, mikä viittasi vinoumaan.
**Keskeiset tulokset:** Lisäsi tietoisuutta siitä, että data-analytiikka tarvitsee _edustavampia datasarjoja_ (tasapainoiset alaryhmät) ja _inklusiivisempia tiimejä_ (monimuotoiset taustat) tunnistamaan ja poistamaan tai lieventämään tällaisia puolueellisuuksia AI-ratkaisuissa. Tällaiset tutkimusponnistelut ovat myös keskeisiä monille organisaatioille, kun ne määrittelevät periaatteita ja käytäntöjä _vastuulliselle tekoälylle_ oikeudenmukaisuuden parantamiseksi AI-tuotteissaan ja -prosesseissaan.
**Keskeiset tulokset:** Lisäsi tietoisuutta siitä, että data science tarvitsee enemmän _edustavia datasarjoja_ (tasapainoiset alaryhmät) ja enemmän _inklusiivisia tiimejä_ (monipuoliset taustat) tunnistamaan ja poistamaan tai lieventämään tällaisia vinoumia AI-ratkaisujen kehityksen alkuvaiheessa. Tällaiset tutkimusponnistelut ovat myös keskeisiä monille organisaatioille, jotka määrittelevät periaatteita ja käytäntöjä _vastuulliselle AI:lle_ parantaakseen oikeudenmukaisuutta AI-tuotteissaan ja -prosesseissaan.
**Haluatko oppia lisää Microsoftin tutkimusponnisteluista?**
**Haluatko oppia Microsoftin tutkimusponnisteluista?**
* Tutustu [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) tekoälyn alalla.
* Tutki opiskelijaprojekteja [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Katso [Fairlearn](https://fairlearn.org/) -projekti ja [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) -aloitteet.
* Tutustu [Fairlearn](https://fairlearn.org/) projektiin ja [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) aloitteisiin.
## Data-analytiikka + Humanistiset tieteet
## Data Science + Humanistiset tieteet
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Data-analytiikka& Digitaaliset humanistiset tieteet - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science& Digitaaliset humanistiset tieteet - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Digitaaliset humanistiset tieteet [on määritelty](https://digitalhumanities.stanford.edu/about-dh-stanford) "kokoelmaksi käytäntöjä ja lähestymistapoja, jotka yhdistävät laskennalliset menetelmät humanistiseen tutkimukseen". [Stanfordin projektit](https://digitalhumanities.stanford.edu/projects), kuten _"rebooting history"_ ja _"poetic thinking"_, havainnollistavat yhteyttä [digitaalisten humanististen tieteiden ja data-analytiikan](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) välillä - korostaen tekniikoita, kuten verkkoanalyysi, informaatiovisualisointi, spatiaalinen ja tekstianalyysi, jotka voivat auttaa meitä tarkastelemaan historiallisia ja kirjallisia datasarjoja uusista näkökulmista.
Digitaaliset humanistiset tieteet [on määritelty](https://digitalhumanities.stanford.edu/about-dh-stanford) "kokoelmaksi käytäntöjä ja lähestymistapoja, jotka yhdistävät laskennalliset menetelmät humanistiseen tutkimukseen". [Stanfordin projektit](https://digitalhumanities.stanford.edu/projects), kuten _"rebooting history"_ ja _"poetic thinking"_ havainnollistavat yhteyttä [digitaalisten humanististen tieteiden ja data sciencen välillä](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - korostaen tekniikoita, kuten verkkoanalyysi, informaation visualisointi, spatiaalinen ja tekstianalyysi, jotka voivat auttaa meitä tarkastelemaan historiallisia ja kirjallisia datasarjoja uusien oivallusten ja näkökulmien saamiseksi.
*Haluatko tutkia ja laajentaa projektia tällä alalla?*
*Haluatko tutkia ja laajentaa projektia tällä alueella?*
Tutustu ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) -projektiin, joka on loistava esimerkki [Jen Looperilta](https://twitter.com/jenlooper). Se kysyy, miten voimme käyttää data-analytiikkaa tarkastellaksemme uudelleen tuttua runoutta ja arvioidaksemme sen merkitystä ja tekijän panosta uusissa konteksteissa. Esimerkiksi, _voimmeko ennustaa vuodenajan, jolloin runo on kirjoitettu, analysoimalla sen sävyä tai tunnetta_ - ja mitä tämä kertoo meille tekijän mielentilasta kyseisenä ajanjaksona?
Tutustu ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - loistava esimerkki [Jen Looperilta](https://twitter.com/jenlooper), joka kysyy, miten voimme käyttää data sciencea tarkastelemaan uudelleen tuttua runoutta ja arvioimaan sen merkitystä ja tekijän panosta uusissa konteksteissa. Esimerkiksi, _voimmeko ennustaa vuodenajan, jolloin runo on kirjoitettu, analysoimalla sen sävyä tai tunnetta_ - ja mitä tämä kertoo tekijän mielentilasta kyseisenä ajanjaksona?
Vastataksemme tähän kysymykseen seuraamme data-analytiikan elinkaaren vaiheita:
* [`Datan hankinta`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - kerätäksemme analyysiin sopivan datasarjan. Vaihtoehtoihin kuuluu API:n käyttö (esim. [Poetry DB API](https://poetrydb.org/index.html)) tai verkkosivujen kaavinta (esim. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) työkaluilla, kuten [Scrapy](https://scrapy.org/).
* [`Datan puhdistus`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - selittää, miten teksti voidaan muotoilla, puhdistaa ja yksinkertaistaa perustyökaluilla, kuten Visual Studio Code ja Microsoft Excel.
* [`Datan analyysi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - selittää, miten voimme nyt tuoda datasarjan "Notebooks"-ympäristöön analysointia varten Python-pakettien (kuten pandas, numpy ja matplotlib) avulla datan järjestämiseksi ja visualisoimiseksi.
* [`Tunneanalyysi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - selittää, miten voimme integroida pilvipalveluita, kuten Text Analytics, käyttämällä vähäkoodisia työkaluja, kuten [Power Automate](https://flow.microsoft.com/en-us/) automatisoituihin datankäsittelytyönkulkuihin.
Vastataksemme tähän kysymykseen seuraamme data sciencen elinkaaren vaiheita:
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - kerätäksemme relevantin datasarjan analysointia varten. Vaihtoehtoja ovat esimerkiksi API:n käyttö (esim. [Poetry DB API](https://poetrydb.org/index.html)) tai verkkosivujen kaavinta (esim. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) työkaluilla, kuten [Scrapy](https://scrapy.org/).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - selittää, miten tekstiä voidaan muotoilla, puhdistaa ja yksinkertaistaa perusvälineillä, kuten Visual Studio Code ja Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - selittää, miten voimme tuoda datasarjan "Notebooks"-ympäristöön analysointia varten Python-pakettien (kuten pandas, numpy ja matplotlib) avulla datan järjestämiseksi ja visualisoimiseksi.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - selittää, miten voimme integroida pilvipalvelut, kuten Text Analytics, käyttämällä vähäkoodisia työkaluja, kuten [Power Automate](https://flow.microsoft.com/en-us/) automatisoitujen datankäsittelytyönkulkujen luomiseen.
Tämän työnkulun avulla voimme tutkia vuodenaikojen vaikutuksia runojen tunnesisältöön ja auttaa meitä muodostamaan omia näkemyksiämme tekijästä. Kokeile itse - ja laajenna notebookia kysyäksesi muita kysymyksiä tai visualisoidaksesi dataa uusilla tavoilla!
Tämän työnkulun avulla voimme tutkia vuodenaikojen vaikutuksia runojen sentimenttiin ja auttaa meitä muodostamaan omia näkemyksiämme tekijästä. Kokeile itse - ja laajenna notebookia kysyäksesi muita kysymyksiä tai visualisoidaksesi dataa uusilla tavoilla!
> Voit käyttää joitakin työkaluja [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) -kokoelmasta tutkiaksesi näitä kysymyksiä.
> Voit käyttää joitakin työkaluja [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) -kokoelmasta näiden tutkimuspolkujen edistämiseksi.
## Data-analytiikka + Kestävä kehitys
## Data Science + Kestävä kehitys
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Data-analytiikka& Kestävä kehitys - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science& Kestävä kehitys - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - jonka kaikki YK:n jäsenet hyväksyivät vuonna 2015 - määrittelee 17 tavoitetta, joista osa keskittyy**planeetan suojelemiseen** rappeutumiselta ja ilmastonmuutoksen vaikutuksilta. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) -aloite tukee näitä tavoitteita tutkimalla, miten teknologiaratkaisut voivat tukea ja rakentaa kestävämpiä tulevaisuuksia [keskittyen neljään tavoitteeseen](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - olla hiilinegatiivinen, vesipositiivinen, jätteetön ja biologisesti monimuotoinen vuoteen 2030 mennessä.
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - jonka kaikki Yhdistyneiden Kansakuntien jäsenet hyväksyivät vuonna 2015 - tunnistaa 17 tavoitetta, mukaan lukien tavoitteet, jotka keskittyvät**planeetan suojelemiseen** rappeutumiselta ja ilmastonmuutoksen vaikutuksilta. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) -aloite tukee näitä tavoitteita tutkimalla, miten teknologiaratkaisut voivat tukea ja rakentaa kestävämpiä tulevaisuuksia [keskittyen neljään tavoitteeseen](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - olla hiilinegatiivinen, vesipositiivinen, nollajäte ja biologisesti monimuotoinen vuoteen 2030 mennessä.
Näiden haasteiden ratkaiseminen skaalautuvasti ja ajallaan vaatii pilvipohjaista ajattelua - ja suuria määriä dataa. [Planetary Computer](https://planetarycomputer.microsoft.com/) -aloite tarjoaa neljä komponenttia, jotka auttavat data-analyytikkoja ja kehittäjiä tässä työssä:
Näiden haasteiden ratkaiseminen skaalautuvasti ja ajallaan vaatii pilvipohjaista ajattelua - ja suuria datamääriä. [Planetary Computer](https://planetarycomputer.microsoft.com/) -aloite tarjoaa neljä komponenttia, jotka auttavat data sciencen asiantuntijoita ja kehittäjiä tässä työssä:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - sisältää petatavuja maapallon järjestelmien dataa (ilmainen ja Azure-isännöity).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - auttaa käyttäjiä etsimään relevanttia dataa ajassa ja paikassa.
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - sisältää petatavujen verran Earth Systems -dataa (ilmainen ja Azure-isännöity).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - auttaa käyttäjiä etsimään relevanttia dataa ajan ja paikan mukaan.
* [Applications](https://planetarycomputer.microsoft.com/applications) - esittelee käyttötapauksia ja työkaluja kestävän kehityksen oivallusten saamiseksi.
* [Applications](https://planetarycomputer.microsoft.com/applications) - esittelee käyttötapauksia ja työkaluja kestävän kehityksen oivallusten tueksi.
**Planetary Computer -projekti on tällä hetkellä esikatseluvaiheessa (syyskuu 2021)** - näin pääset alkuun ja voit osallistua kestävän kehityksen ratkaisuihin datatieteen avulla.
* [Pyydä käyttöoikeutta](https://planetarycomputer.microsoft.com/account/request) aloittaaksesi tutkimisen ja verkostoitumisen muiden kanssa.
@ -120,12 +120,12 @@ Pohdi, kuinka voit käyttää datavisualisointia tuomaan esiin tai korostamaan m
## Datatiede + Opiskelijat
Olemme keskustelleet tosielämän sovelluksista teollisuudessa ja tutkimuksessa sekä tutkineet datatieteen sovellusesimerkkejä digitaalisten humanististen tieteiden ja kestävän kehityksen parissa. Kuinka siis voit kehittää taitojasi ja jakaa asiantuntemustasi datatieteen aloittelijana?
Olemme keskustelleet tosielämän sovelluksista teollisuudessa ja tutkimuksessa sekä tutkineet datatieteen sovellusesimerkkejä digitaalisen humanismin ja kestävän kehityksen aloilla. Kuinka siis voit kehittää taitojasi ja jakaa asiantuntemustasi datatieteen aloittelijana?
Tässä muutamia esimerkkejä datatieteen opiskelijaprojekteista inspiraatioksi.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) ja GitHub [projektit](https://github.com/msr-ds3), joissa tutkitaan aiheita kuten:
- [Rotusyrjintä poliisin voimankäytössä](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Rasistinen puolueellisuus poliisin voimankäytössä](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* Datatiede: [Koulutus](https://data-flair.training/blogs/data-science-in-education/), [Maatalous](https://data-flair.training/blogs/data-science-in-agriculture/), [Rahoitus](https://data-flair.training/blogs/data-science-in-finance/), [Elokuvat](https://data-flair.training/blogs/data-science-at-movies/) ja paljon muuta.
* Datatiede: [Koulutuksessa](https://data-flair.training/blogs/data-science-in-education/), [Maataloudessa](https://data-flair.training/blogs/data-science-in-agriculture/), [Rahoituksessa](https://data-flair.training/blogs/data-science-in-finance/), [Elokuvissa](https://data-flair.training/blogs/data-science-at-movies/), [Terveydenhuollossa](https://onlinedegrees.sandiego.edu/data-science-health-care/) ja muualla.
## Tehtävä
@ -152,4 +153,4 @@ Haluatko tutkia lisää käyttötapauksia? Tässä muutamia aiheeseen liittyviä
---
**Vastuuvapauslauseke**:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, huomioithan, että automaattiset käännökset voivat sisältää virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäisellä kielellä tulee pitää ensisijaisena lähteenä. Kriittisen tiedon osalta suositellaan ammattimaista ihmiskääntämistä. Emme ole vastuussa tämän käännöksen käytöstä johtuvista väärinkäsityksistä tai virhetulkinnoista.
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, huomioithan, että automaattiset käännökset voivat sisältää virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäisellä kielellä tulee pitää ensisijaisena lähteenä. Kriittisen tiedon osalta suositellaan ammattimaista ihmiskääntämistä. Emme ole vastuussa väärinkäsityksistä tai virhetulkinnoista, jotka johtuvat tämän käännöksen käytöstä.
@ -29,9 +29,9 @@ Grâce à la démocratisation de l'IA, les développeurs trouvent désormais plu
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) a utilisé la science des données pour corréler les termes de recherche avec les tendances de la grippe. Bien que l'approche ait eu des défauts, elle a sensibilisé aux possibilités (et aux défis) des prédictions de santé basées sur les données.
* [Prédictions de routage UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explique comment UPS utilise la science des données et l'apprentissage automatique pour prédire les itinéraires optimaux de livraison, en tenant compte des conditions météorologiques, des schémas de trafic, des délais de livraison, et plus encore.
* [Prédictions de routage UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explique comment UPS utilise la science des données et l'apprentissage automatique pour prédire les itinéraires optimaux de livraison, en tenant compte des conditions météorologiques, des schémas de trafic, des délais de livraison et plus encore.
* [Visualisation des itinéraires des taxis de NYC](http://chriswhong.github.io/nyctaxi/) - les données recueillies grâce aux [lois sur la liberté d'information](https://chriswhong.com/open-data/foil_nyc_taxi/) ont permis de visualiser une journée dans la vie des taxis de NYC, nous aidant à comprendre comment ils naviguent dans la ville animée, l'argent qu'ils gagnent, et la durée des trajets sur une période de 24 heures.
* [Visualisation des itinéraires des taxis de NYC](http://chriswhong.github.io/nyctaxi/) - les données recueillies grâce aux [lois sur la liberté d'information](https://chriswhong.com/open-data/foil_nyc_taxi/) ont permis de visualiser une journée dans la vie des taxis de NYC, nous aidant à comprendre comment ils naviguent dans la ville animée, l'argent qu'ils gagnent et la durée des trajets sur une période de 24 heures.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - utilise les données (sur les lieux de prise en charge et de dépose, la durée des trajets, les itinéraires préférés, etc.) recueillies à partir de millions de trajets Uber *quotidiennement* pour construire un outil d'analyse des données permettant de prendre des décisions sur les prix, la sécurité, la détection des fraudes et la navigation.
@ -41,7 +41,7 @@ Grâce à la démocratisation de l'IA, les développeurs trouvent désormais plu
* [Science des données dans la santé](https://data-flair.training/blogs/data-science-in-healthcare/) - met en lumière des applications comme l'imagerie médicale (par exemple, IRM, radiographie, scanner), la génomique (séquençage ADN), le développement de médicaments (évaluation des risques, prédiction de succès), l'analyse prédictive (soins aux patients et logistique d'approvisionnement), le suivi et la prévention des maladies, etc.
 Crédit image : [Data Flair : 6 applications étonnantes de la science des données ](https://data-flair.training/blogs/data-science-applications/)
 Crédit image : [Data Flair : 6 applications étonnantes de la science des données ](https://data-flair.training/blogs/data-science-applications/)
La figure montre d'autres domaines et exemples d'application des techniques de science des données. Vous voulez explorer d'autres applications ? Consultez la section [Révision et auto-apprentissage](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) ci-dessous.
@ -56,20 +56,19 @@ Alors que les applications réelles se concentrent souvent sur des cas d'utilisa
* _opportunités d'innovation_ - explorer le prototypage rapide de concepts avancés et tester des expériences utilisateur pour des applications de prochaine génération.
* _défis de déploiement_ - examiner les dommages potentiels ou les conséquences involontaires des technologies de science des données dans des contextes réels.
Pour les étudiants, ces projets de recherche peuvent offrir des opportunités d'apprentissage et de collaboration qui améliorent votre compréhension du sujet, et élargissent votre sensibilisation et votre engagement avec des personnes ou des équipes travaillant dans des domaines d'intérêt. À quoi ressemblent les projets de recherche et comment peuvent-ils avoir un impact ?
Pour les étudiants, ces projets de recherche peuvent offrir des opportunités d'apprentissage et de collaboration qui améliorent leur compréhension du sujet, tout en élargissant leur sensibilisation et leur engagement avec des personnes ou des équipes travaillant dans des domaines d'intérêt. À quoi ressemblent ces projets de recherche et comment peuvent-ils avoir un impact ?
Prenons un exemple - l'[étude MIT Gender Shades](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) avec un [article de recherche phare](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) co-écrit avec Timnit Gebru (alors chez Microsoft Research) qui se concentrait sur :
* **Quoi :** L'objectif du projet de recherche était d'_évaluer les biais présents dans les algorithmes et ensembles de données d'analyse faciale automatisée_ en fonction du genre et du type de peau.
* **Pourquoi :** L'analyse faciale est utilisée dans des domaines comme l'application de la loi, la sécurité des aéroports, les systèmes de recrutement et plus encore - des contextes où des classifications inexactes (par exemple, dues à des biais) peuvent causer des dommages économiques et sociaux potentiels aux individus ou groupes concernés. Comprendre (et éliminer ou atténuer) les biais est essentiel pour une utilisation équitable.
* **Comment :** Les chercheurs ont reconnu que les benchmarks existants utilisaient principalement des sujets à peau claire, et ont créé un nouvel ensemble de données (1000+ images) qui était _plus équilibré_ par genre et type de peau. L'ensemble de données a été utilisé pour évaluer la précision de trois produits de classification de genre (de Microsoft, IBM & Face++).
* **Pourquoi :** L'analyse faciale est utilisée dans des domaines comme l'application de la loi, la sécurité des aéroports, les systèmes de recrutement et plus encore - des contextes où des classifications inexactes (par exemple, dues à des biais) peuvent causer des dommages économiques et sociaux aux individus ou groupes concernés. Comprendre (et éliminer ou atténuer) les biais est essentiel pour une utilisation équitable.
* **Comment :** Les chercheurs ont constaté que les benchmarks existants utilisaient principalement des sujets à peau claire, et ont créé un nouvel ensemble de données (plus de 1000 images) _plus équilibré_ en termes de genre et de type de peau. Cet ensemble de données a été utilisé pour évaluer la précision de trois produits de classification de genre (de Microsoft, IBM et Face++).
Les résultats ont montré que bien que la précision globale de la classification soit bonne, il y avait une différence notable dans les taux d'erreur entre divers sous-groupes - avec un **mauvais genre** plus élevé pour les femmes ou les personnes à peau plus foncée, indicatif de biais.
Les résultats ont montré que bien que la précision globale de la classification soit bonne, il y avait une différence notable dans les taux d'erreur entre les différents sous-groupes - avec un **mauvais genre** plus élevé pour les femmes ou les personnes à peau foncée, ce qui indique un biais.
**Principaux résultats :** Sensibilisation accrue au fait que la science des données nécessite des _ensembles de données représentatifs_ (sous-groupes équilibrés) et des _équipes inclusives_ (origines diverses) pour reconnaître et éliminer ou atténuer ces biais plus tôt dans les solutions d'IA. Les efforts de recherche comme celui-ci sont également essentiels pour que de nombreuses organisations définissent des principes et des pratiques pour une _IA responsable_ afin d'améliorer l'équité dans leurs produits et processus d'IA.
**Résultats clés :** Sensibilisation accrue au fait que la science des données nécessite des _ensembles de données représentatifs_ (sous-groupes équilibrés) et des _équipes inclusives_ (origines diverses) pour reconnaître et éliminer ou atténuer ces biais plus tôt dans les solutions d'IA. Les efforts de recherche comme celui-ci sont également essentiels pour que de nombreuses organisations définissent des principes et des pratiques pour une _IA responsable_ afin d'améliorer l'équité dans leurs produits et processus d'IA.
**Vous voulez en savoir plus sur les efforts de recherche pertinents chez Microsoft ?**
**Vous voulez en savoir plus sur les efforts de recherche pertinents chez Microsoft ?**
* Consultez les [projets de recherche Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) sur l'intelligence artificielle.
* Explorez les projets étudiants de la [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -85,12 +84,12 @@ Les humanités numériques [ont été définies](https://digitalhumanities.stanf
*Vous voulez explorer et étendre un projet dans ce domaine ?*
Consultez ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un excellent exemple de [Jen Looper](https://twitter.com/jenlooper) qui pose la question de savoir comment nous pouvons utiliser la science des données pour revisiter une poésie familière et réévaluer sa signification et les contributions de son auteur dans de nouveaux contextes. Par exemple, _pouvons-nous prédire la saison dans laquelle un poème a été écrit en analysant son ton ou son sentiment_ - et qu'est-ce que cela nous dit sur l'état d'esprit de l'auteur pendant la période concernée ?
Consultez ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un excellent exemple de [Jen Looper](https://twitter.com/jenlooper) qui pose la question de savoir comment nous pouvons utiliser la science des données pour revisiter une poésie familière et réévaluer sa signification et les contributions de son auteur dans de nouveaux contextes. Par exemple, _pouvons-nous prédire la saison dans laquelle un poème a été écrit en analysant son ton ou son sentiment_ - et qu'est-ce que cela nous dit sur l'état d'esprit de l'auteur pendant cette période ?
Pour répondre à cette question, nous suivons les étapes du cycle de vie de la science des données :
* [`Acquisition des données`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - pour collecter un ensemble de données pertinent pour l'analyse. Les options incluent l'utilisation d'une API (par exemple, [Poetry DB API](https://poetrydb.org/index.html)) ou le scraping de pages web (par exemple, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) avec des outils comme [Scrapy](https://scrapy.org/).
* [`Acquisition des données`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - pour collecter un ensemble de données pertinent pour l'analyse. Les options incluent l'utilisation d'une API (par exemple, [Poetry DB API](https://poetrydb.org/index.html)) ou le scraping de pages web (par exemple, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) à l'aide d'outils comme [Scrapy](https://scrapy.org/).
* [`Nettoyage des données`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - explique comment le texte peut être formaté, assaini et simplifié à l'aide d'outils de base comme Visual Studio Code et Microsoft Excel.
* [`Analyse des données`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - explique comment nous pouvons maintenant importer l'ensemble de données dans des "Notebooks" pour l'analyse en utilisant des packages Python (comme pandas, numpy et matplotlib) pour organiser et visualiser les données.
* [`Analyse des données`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - explique comment nous pouvons maintenant importer l'ensemble de données dans des "Notebooks" pour l'analyse à l'aide de packages Python (comme pandas, numpy et matplotlib) pour organiser et visualiser les données.
* [`Analyse de sentiment`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - explique comment nous pouvons intégrer des services cloud comme Text Analytics, en utilisant des outils low-code comme [Power Automate](https://flow.microsoft.com/en-us/) pour des flux de travail automatisés de traitement des données.
En utilisant ce flux de travail, nous pouvons explorer les impacts saisonniers sur le sentiment des poèmes, et nous aider à façonner nos propres perspectives sur l'auteur. Essayez-le vous-même - puis étendez le notebook pour poser d'autres questions ou visualiser les données de nouvelles manières !
@ -103,21 +102,21 @@ En utilisant ce flux de travail, nous pouvons explorer les impacts saisonniers s
| Science des données & Durabilité - _Sketchnote par [@nitya](https://twitter.com/nitya)_ |
L'[Agenda 2030 pour le développement durable](https://sdgs.un.org/2030agenda) - adopté par tous les membres des Nations Unies en 2015 - identifie 17 objectifs, dont certains se concentrent sur **protéger la planète** contre la dégradation et l'impact du changement climatique. L'initiative [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) soutient ces objectifs en explorant les moyens par lesquels les solutions technologiques peuvent favoriser et construire des futurs plus durables avec un [focus sur 4 objectifs](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - être négatif en carbone, positif en eau, zéro déchet, et biodiversifié d'ici 2030.
L'[Agenda 2030 pour le développement durable](https://sdgs.un.org/2030agenda) - adopté par tous les membres des Nations Unies en 2015 - identifie 17 objectifs, dont certains se concentrent sur **protéger la planète** contre la dégradation et l'impact du changement climatique. L'[initiative de durabilité de Microsoft](https://www.microsoft.com/en-us/sustainability) soutient ces objectifs en explorant les moyens par lesquels les solutions technologiques peuvent soutenir et construire des futurs plus durables avec un [focus sur 4 objectifs](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - être négatif en carbone, positif en eau, zéro déchet, et biodiversifié d'ici 2030.
Relever ces défis de manière évolutive et rapide nécessite une réflexion à l'échelle du cloud - et des données à grande échelle. L'initiative [Planetary Computer](https://planetarycomputer.microsoft.com/) fournit 4 composants pour aider les scientifiques des données et les développeurs dans cet effort :
Pour relever ces défis de manière évolutive et rapide, il faut une pensée à l'échelle du cloud - et des données à grande échelle. L'initiative [Planetary Computer](https://planetarycomputer.microsoft.com/) fournit 4 composants pour aider les scientifiques des données et les développeurs dans cet effort :
* [Catalogue de données](https://planetarycomputer.microsoft.com/catalog) - avec des pétaoctets de données sur les systèmes terrestres (gratuites et hébergées sur Azure).
* [API Planetary](https://planetarycomputer.microsoft.com/docs/reference/stac/) - pour aider les utilisateurs à rechercher des données pertinentes dans l'espace et le temps.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - environnement géré pour les scientifiques afin de traiter des ensembles de données géospatiales massifs.
* [Applications](https://planetarycomputer.microsoft.com/applications) - présentent des cas d'utilisation et des outils pour des insights sur la durabilité.
**Le projet Planetary Computer est actuellement en aperçu (à partir de septembre 2021)** - voici comment vous pouvez commencer à contribuer à des solutions durables en utilisant la science des données.
* [Applications](https://planetarycomputer.microsoft.com/applications) - vitrine des cas d'utilisation et des outils pour des insights sur la durabilité.
**Le projet Planetary Computer est actuellement en phase de prévisualisation (à partir de septembre 2021)** - voici comment vous pouvez commencer à contribuer à des solutions durables grâce à la science des données.
* [Demandez un accès](https://planetarycomputer.microsoft.com/account/request) pour commencer à explorer et à vous connecter avec vos pairs.
* [Demandez un accès](https://planetarycomputer.microsoft.com/account/request) pour débuter votre exploration et vous connecter avec d'autres.
* [Explorez la documentation](https://planetarycomputer.microsoft.com/docs/overview/about) pour comprendre les ensembles de données et les API pris en charge.
* Découvrez des applications comme [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) pour vous inspirer d'idées d'applications.
* Découvrez des applications comme [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) pour trouver de l'inspiration pour vos idées d'applications.
Réfléchissez à la manière dont vous pouvez utiliser la visualisation de données pour révéler ou amplifier des informations pertinentes sur des sujets comme le changement climatique et la déforestation. Ou pensez à la manière dont ces informations peuvent être utilisées pour créer de nouvelles expériences utilisateur qui motivent des changements de comportement pour un mode de vie plus durable.
Réfléchissez à la manière dont vous pouvez utiliser la visualisation de données pour révéler ou amplifier des informations pertinentes sur des sujets comme le changement climatique et la déforestation. Ou pensez à la façon dont ces informations peuvent être utilisées pour créer de nouvelles expériences utilisateur qui encouragent des changements de comportement pour un mode de vie plus durable.
## Science des données + Étudiants
@ -126,31 +125,32 @@ Nous avons parlé d'applications concrètes dans l'industrie et la recherche, et
Voici quelques exemples de projets étudiants en science des données pour vous inspirer.
* [École d'été en science des données de MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) avec des [projets](https://github.com/msr-ds3) sur GitHub explorant des sujets comme :
- [Biais racial dans l'utilisation de la force par la police](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilité du système de métro de NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
- [Biais racial dans l'usage de la force par la police](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilité du système de métro de New York](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Numérisation de la culture matérielle : Exploration des distributions socio-économiques à Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - par [Ornella Altunyan](https://twitter.com/ornelladotcom) et son équipe à Claremont, utilisant [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Défi
Recherchez des articles qui recommandent des projets de science des données adaptés aux débutants - comme [ces 50 domaines thématiques](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ou [ces 21 idées de projets](https://www.intellspot.com/data-science-project-ideas) ou [ces 16 projets avec code source](https://data-flair.training/blogs/data-science-project-ideas/) que vous pouvez déconstruire et remixer. Et n'oubliez pas de bloguer sur vos parcours d'apprentissage et de partager vos idées avec nous tous.
Recherchez des articles qui recommandent des projets de science des données adaptés aux débutants - comme [ces 50 domaines thématiques](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [ces 21 idées de projets](https://www.intellspot.com/data-science-project-ideas) ou [ces 16 projets avec code source](https://data-flair.training/blogs/data-science-project-ideas/) que vous pouvez déconstruire et remixer. Et n'oubliez pas de bloguer sur vos parcours d'apprentissage et de partager vos idées avec nous tous.
Vous voulez explorer davantage de cas d'utilisation ? Voici quelques articles pertinents :
* [17 Applications et exemples de science des données](https://builtin.com/data-science/data-science-applications-examples) - juillet 2021
* [11 Applications époustouflantes de la science des données dans le monde réel](https://myblindbird.com/data-science-applications-real-world/) - mai 2021
* [17 applications et exemples de science des données](https://builtin.com/data-science/data-science-applications-examples) - juillet 2021
* [11 applications impressionnantes de la science des données dans le monde réel](https://myblindbird.com/data-science-applications-real-world/) - mai 2021
* [La science des données dans le monde réel](https://towardsdatascience.com/data-science-in-the-real-world/home) - Collection d'articles
* Science des données dans : [Éducation](https://data-flair.training/blogs/data-science-in-education/), [Agriculture](https://data-flair.training/blogs/data-science-in-agriculture/), [Finance](https://data-flair.training/blogs/data-science-in-finance/), [Cinéma](https://data-flair.training/blogs/data-science-at-movies/) et plus encore.
* [12 applications concrètes de la science des données avec exemples](https://www.scaler.com/blog/data-science-applications/) - mai 2024
* La science des données dans : [l'éducation](https://data-flair.training/blogs/data-science-in-education/), [l'agriculture](https://data-flair.training/blogs/data-science-in-agriculture/), [la finance](https://data-flair.training/blogs/data-science-in-finance/), [le cinéma](https://data-flair.training/blogs/data-science-at-movies/), [les soins de santé](https://onlinedegrees.sandiego.edu/data-science-health-care/) et plus encore.
## Devoir
[Explorez un ensemble de données de Planetary Computer](assignment.md)
[Explorez un ensemble de données Planetary Computer](assignment.md)
---
**Avertissement** :
Ce document a été traduit à l'aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, il est recommandé de recourir à une traduction professionnelle réalisée par un humain. Nous déclinons toute responsabilité en cas de malentendus ou d'interprétations erronées résultant de l'utilisation de cette traduction.
Ce document a été traduit à l'aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, il est recommandé de faire appel à une traduction humaine professionnelle. Nous déclinons toute responsabilité en cas de malentendus ou d'interprétations erronées résultant de l'utilisation de cette traduction.
התחלנו עם הגדרות של מדע הנתונים ואתיקה, חקרנו כלים וטכניקות שונות לניתוח ויזואליזציה של נתונים, סקרנו את מחזור החיים של מדע הנתונים, ובחנו כיצד ניתן להרחיב ולייעל תהליכי עבודה של מדע הנתונים באמצעות שירותי מחשוב ענן. אז אתם בטח שואלים: _"איך בדיוק אני ממפה את כל הלמידות הללו להקשרים בעולם האמיתי?"_
בשיעור הזה, נחקור יישומים בעולם האמיתי של מדע הנתונים בתעשייה ונצלול לדוגמאות ספציפיות במחקר, מדעי הרוח הדיגיטליים וקיימות. נבחן הזדמנויות לפרויקטים לסטודנטים ונסיים עם משאבים שימושיים שיעזרו לכם להמשיך את מסע הלמידה שלכם!
בשיעור הזה, נחקור יישומים של מדע הנתונים בתעשייה ונצלול לדוגמאות ספציפיות במחקר, מדעי הרוח הדיגיטליים וקיימות. נבחן הזדמנויות לפרויקטים לסטודנטים ונסיים עם משאבים שימושיים שיעזרו לכם להמשיך את מסע הלמידה שלכם!
## שאלון לפני השיעור
@ -25,23 +25,23 @@ CO_OP_TRANSLATOR_METADATA:
## מדע הנתונים + תעשייה
בזכות הדמוקרטיזציה של AI, מפתחים מוצאים כיום קל יותר לעצב ולשלב תובנות מונעות AI והחלטות מבוססות נתונים בחוויות משתמש ובתהליכי פיתוח. הנה כמה דוגמאות כיצד מדע הנתונים "מיושם" ביישומים בעולם האמיתי בתעשייה:
הודות לדמוקרטיזציה של AI, מפתחים מוצאים כיום קל יותר לעצב ולשלב תובנות מונעות AI והחלטות מבוססות נתונים בחוויות משתמש ובתהליכי פיתוח. הנה כמה דוגמאות כיצד מדע הנתונים "מיושם" ביישומים בעולם האמיתי בתעשייה:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) השתמש במדע הנתונים כדי לקשר בין מונחי חיפוש למגמות שפעת. למרות שהגישה הייתה פגומה, היא העלתה מודעות לאפשרויות (ולאתגרים) של תחזיות בריאות מבוססות נתונים.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - מסביר כיצד UPS משתמשת במדע הנתונים ובלמידת מכונה כדי לחזות מסלולים אופטימליים למשלוח, תוך התחשבות בתנאי מזג האוויר, דפוסי תנועה, מועדי אספקה ועוד.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - מסביר כיצד UPS משתמשת במדע הנתונים ובלמידת מכונה כדי לחזות מסלולים אופטימליים למשלוח, תוך התחשבות בתנאי מזג אוויר, דפוסי תנועה, מועדי מסירה ועוד.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - נתונים שנאספו באמצעות [חוקי חופש המידע](https://chriswhong.com/open-data/foil_nyc_taxi/) סייעו להמחיש יום בחיי המוניות בניו יורק, ועזרו לנו להבין כיצד הן מנווטות בעיר העמוסה, הכסף שהן מרוויחות, ומשך הנסיעות בכל תקופה של 24 שעות.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - נתונים שנאספו באמצעות [חוקי חופש המידע](https://chriswhong.com/open-data/foil_nyc_taxi/) עזרו להמחיש יום בחיי המוניות בניו יורק, ועזרו לנו להבין כיצד הן מנווטות בעיר העמוסה, הכסף שהן מרוויחות, ומשך הנסיעות בכל תקופה של 24 שעות.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - משתמש בנתונים (על מיקומי איסוף והורדה, משך נסיעות, מסלולים מועדפים וכו') שנאספו ממיליוני נסיעות יומיות של Uber כדי לבנות כלי אנליטיקה נתונים המסייע בתמחור, בטיחות, זיהוי הונאות והחלטות ניווט.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - משתמש בנתונים (על מיקומי איסוף והורדה, משך נסיעה, מסלולים מועדפים וכו') שנאספו ממיליוני נסיעות יומיות באובר כדי לבנות כלי אנליטיקה נתונים המסייע בתמחור, בטיחות, זיהוי הונאות והחלטות ניווט.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - מתמקד ב_אנליטיקה חזויה_ (ניתוח קבוצות ושחקנים - כמו [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - וניהול אוהדים) וב_ויזואליזציה של נתונים_ (לוחות מחוונים של קבוצות ואוהדים, משחקים וכו') עם יישומים כמו סקאוטינג כישרונות, הימורים ספורטיביים וניהול מלאי/מקומות.
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - מדגיש את הערך של מדע הנתונים בתעשיית הפיננסים עם יישומים החל ממידול סיכונים וזיהוי הונאות, ועד סגמנטציה של לקוחות, תחזיות בזמן אמת ומערכות המלצה. אנליטיקה חזויה גם מניעה מדדים קריטיים כמו [ציוני אשראי](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [מדע הנתונים בבנקאות](https://data-flair.training/blogs/data-science-in-banking/) - מדגיש את הערך של מדע הנתונים בתעשיית הפיננסים עם יישומים החל ממידול סיכונים וזיהוי הונאות, ועד פילוח לקוחות, תחזיות בזמן אמת ומערכות המלצה. אנליטיקה חזויה גם מניעה מדדים קריטיים כמו [ציוני אשראי](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - מדגיש יישומים כמו הדמיה רפואית (למשל, MRI, רנטגן, CT-Scan), גנומיקה (ריצוף DNA), פיתוח תרופות (הערכת סיכונים, תחזית הצלחה), אנליטיקה חזויה (טיפול בחולים ולוגיסטיקה של אספקה), מעקב ומניעת מחלות ועוד.
* [מדע הנתונים בבריאות](https://data-flair.training/blogs/data-science-in-healthcare/) - מדגיש יישומים כמו הדמיה רפואית (למשל, MRI, רנטגן, CT-Scan), גנומיקה (ריצוף DNA), פיתוח תרופות (הערכת סיכונים, תחזית הצלחה), אנליטיקה חזויה (טיפול בחולים ולוגיסטיקה של אספקה), מעקב ומניעת מחלות וכו'.
 קרדיט תמונה: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 קרדיט תמונה: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
התרשים מציג תחומים ודוגמאות נוספים ליישום טכניקות מדע הנתונים. רוצים לחקור יישומים נוספים? בדקו את [סקירה ולימוד עצמי](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) למטה.
| מדע הנתונים ומחקר - _סקיצה מאת [@nitya](https://twitter.com/nitya)_ |
בעוד שיישומים בעולם האמיתי מתמקדים לעיתים קרובות במקרי שימוש בתעשייה בקנה מידה רחב, יישומי _מחקר_ ופרויקטים יכולים להיות שימושיים משתי פרספקטיבות:
בעוד שיישומים בעולם האמיתי מתמקדים לעיתים קרובות במקרי שימוש בתעשייה בקנה מידה גדול, יישומי _מחקר_ ופרויקטים יכולים להיות שימושיים משתי פרספקטיבות:
* _הזדמנויות חדשנות_ - חקר אב טיפוס מהיר של רעיונות מתקדמים ובדיקת חוויות משתמש ליישומים של הדור הבא.
* _הזדמנויות חדשנות_ - חקר אב טיפוס מהיר של רעיונות מתקדמים ובדיקת חוויות משתמש ליישומים מהדור הבא.
* _אתגרי פריסה_ - חקר נזקים פוטנציאליים או השלכות בלתי צפויות של טכנולוגיות מדע הנתונים בהקשרים בעולם האמיתי.
עבור סטודנטים, פרויקטי מחקר יכולים לספק גם הזדמנויות למידה ושיתוף פעולה שיכולות לשפר את ההבנה שלכם בנושא, ולהרחיב את המודעות והמעורבות שלכם עם אנשים או צוותים רלוונטיים שעובדים בתחומי עניין. אז איך נראים פרויקטי מחקר וכיצד הם יכולים להשפיע?
עבור סטודנטים, פרויקטי מחקר יכולים לספק הזדמנויות למידה ושיתוף פעולה שיכולות לשפר את ההבנה שלכם בנושא, ולהרחיב את המודעות והמעורבות שלכם עם אנשים או צוותים רלוונטיים שעובדים בתחומי עניין. אז איך נראים פרויקטי מחקר וכיצד הם יכולים להשפיע?
בואו נבחן דוגמה אחת - [MIT Gender Shades Study](http://gendershades.org/overview.html) של ג'וי בואולמוויני (MIT Media Labs) עם [מאמר מחקר מוביל](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) שנכתב בשיתוף עם טימניט גברו (אז ב-Microsoft Research) שהתמקד ב:
* **מה:** מטרת פרויקט המחקר הייתה _להעריך הטיה קיימת באלגוריתמים ובמאגרי נתונים של ניתוח פנים אוטומטי_ בהתבסס על מגדר וסוג עור.
* **למה:** ניתוח פנים משמש בתחומים כמו אכיפת חוק, אבטחת שדות תעופה, מערכות גיוס ועוד - הקשרים שבהם סיווגים לא מדויקים (למשל, עקב הטיה) יכולים לגרום לנזקים כלכליים וחברתיים פוטנציאליים לאנשים או קבוצות מושפעות. הבנת הטיות (והסרתן או הפחתתן) היא מפתח להוגנות בשימוש.
* **איך:** החוקרים זיהו שמדדי הביצועים הקיימים השתמשו בעיקר בנבדקים בעלי עור בהיר, ואספו מאגר נתונים חדש (1000+ תמונות) שהיה _מאוזןיותר_ לפי מגדר וסוג עור. מאגר הנתונים שימש להערכת דיוק של שלושה מוצרים לסיווג מגדר (מ-Microsoft, IBM ו-Face++).
* **למה:** ניתוח פנים משמש בתחומים כמו אכיפת חוק, אבטחת שדות תעופה, מערכות גיוס ועוד - הקשרים שבהם סיווגים שגויים (למשל, עקב הטיה) יכולים לגרום לנזקים כלכליים וחברתיים פוטנציאליים לאנשים או קבוצות מושפעות. הבנת הטיות (והסרתן או צמצומן) היא מפתח להוגנות בשימוש.
* **איך:** החוקרים זיהו שמדדי הביצועים הקיימים השתמשו בעיקר בנבדקים בעלי עור בהיר יותר, ואספו מאגר נתונים חדש (1000+ תמונות) שהיה _מאוזןיותר_ לפי מגדר וסוג עור. מאגר הנתונים שימש להערכת דיוק של שלושה מוצרים לסיווג מגדר (מ-Microsoft, IBM ו-Face++).
התוצאות הראו שלמרות שהדיוק הכולל בסיווג היה טוב, הייתה הבחנה ניכרת בשיעורי השגיאות בין קבוצות שונות - עם **שגיאות סיווג מגדרי** גבוהות יותר לנשים או אנשים בעלי עור כהה, מה שמעיד על הטיה.
התוצאות הראו שלמרות שהדיוק הכולל בסיווג היה טוב, הייתה הבחנה ניכרת בשיעורי השגיאות בין תתי קבוצות שונות - עם **סיווג שגוי** גבוה יותר לנשים או אנשים בעלי עור כהה יותר, מה שמעיד על הטיה.
**תוצאות מרכזיות:** העלאת מודעות לכך שמדע הנתונים זקוק ל_מאגרי נתונים מייצגים יותר_ (קבוצות מאוזנות) ול_צוותים כוללים יותר_ (רקע מגוון) כדי לזהות ולהסיר או להפחית הטיות כאלה מוקדם יותר בפתרונות AI. מאמצי מחקר כמו זה גם תורמים להגדרת עקרונות ופרקטיקות ל_בינה מלאכותית אחראית_ בארגונים רבים כדי לשפר את ההוגנות במוצרים ותהליכים של AI.
**תוצאות מרכזיות:** העלאת מודעות לכך שמדע הנתונים זקוק ליותר _מאגרי נתונים מייצגים_ (תתי קבוצות מאוזנות) ויותר _צוותים מגוונים_ (רקע מגוון) כדי לזהות ולהסיר או לצמצם הטיות כאלה מוקדם יותר בפתרונות AI. מאמצי מחקר כמו זה גם תורמים להגדרת עקרונות ופרקטיקות ל_בינה מלאכותית אחראית_ בארגונים רבים, לשיפור ההוגנות במוצרים ותהליכים מבוססי AI.
**רוצים ללמוד על מאמצי מחקר רלוונטיים ב-Microsoft?**
**רוצים ללמוד על מאמצי מחקר רלוונטיים במיקרוסופט?**
* בדקו את [פרויקטי המחקר של Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) בתחום הבינה המלאכותית.
* בדקו את [פרויקטי המחקר של מיקרוסופט](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) בתחום הבינה המלאכותית.
* חקרו פרויקטים לסטודנטים מ[בית הספר לקיץ במדע הנתונים של Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* בדקו את פרויקט [Fairlearn](https://fairlearn.org/) ואת יוזמות [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
| מדע הנתונים ומדעי הרוח הדיגיטליים - _סקיצה מאת [@nitya](https://twitter.com/nitya)_ |
מדעי הרוח הדיגיטליים [הוגדרו](https://digitalhumanities.stanford.edu/about-dh-stanford) כ"אוסף של פרקטיקות וגישות המשלבות שיטות חישוביות עם חקירה הומניסטית". [פרויקטים של סטנפורד](https://digitalhumanities.stanford.edu/projects) כמו _"היסטוריה מחדש"_ו_"חשיבה פואטית"_ מדגימים את הקשר בין [מדעי הרוח הדיגיטליים ומדע הנתונים](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - תוך הדגשת טכניקות כמו ניתוח רשתות, ויזואליזציה של מידע, ניתוח מרחבי וטקסט שיכולים לעזור לנו לבחון מחדש מערכי נתונים היסטוריים וספרותיים כדי להפיק תובנות ופרספקטיבות חדשות.
מדעי הרוח הדיגיטליים [הוגדרו](https://digitalhumanities.stanford.edu/about-dh-stanford) כ"אוסף של פרקטיקות וגישות המשלבות שיטות חישוביות עם חקירה הומניסטית". [פרויקטים של סטנפורד](https://digitalhumanities.stanford.edu/projects) כמו _"היסטוריה מחדש"_ו_"חשיבה פואטית"_ מדגימים את הקשר בין [מדעי הרוח הדיגיטליים ומדע הנתונים](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - תוך הדגשת טכניקות כמו ניתוח רשתות, ויזואליזציה של מידע, ניתוח מרחבי וטקסטואלי שיכולים לעזור לנו לבחון מחדש מאגרי נתונים היסטוריים וספרותיים כדי להפיק תובנות ופרספקטיבות חדשות.
*רוצים לחקור ולהרחיב פרויקט בתחום הזה?*
בדקו את ["אמילי דיקנסון ומטר המצב רוח"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - דוגמה נהדרת מ[ג'ן לופר](https://twitter.com/jenlooper) ששואלת כיצד נוכל להשתמש במדע הנתונים כדי לבחון מחדש שירה מוכרת ולהעריך מחדש את משמעותה ואת תרומתה של המחברת בהקשרים חדשים. לדוגמה, _האם נוכל לחזות את העונה שבה נכתבה שירה על ידי ניתוח הטון או הרגש שלה_ - ומה זה אומר על מצב הרוח של המחברת בתקופה הרלוונטית?
כדי לענות על השאלה הזו, אנו עוקבים אחר שלבי מחזור החיים של מדע הנתונים:
* [`רכישת נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - לאסוף מערך נתונים רלוונטי לניתוח. אפשרויות כוללות שימוש ב-API (למשל, [Poetry DB API](https://poetrydb.org/index.html)) או גרידת דפי אינטרנט (למשל, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) באמצעות כלים כמו [Scrapy](https://scrapy.org/).
* [`ניקוי נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - מסביר כיצד ניתן לעצב, לנקות ולפשט טקסט באמצעות כלים בסיסיים כמו Visual Studio Code ו-Microsoft Excel.
* [`ניתוח נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - מסביר כיצד ניתן לייבא את מערך הנתונים ל"מחברות" לניתוח באמצעות חבילות Python (כמו pandas, numpy ו-matplotlib) כדי לארגן ולחזות את הנתונים.
* [`ניתוח רגשות`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - מסביר כיצד ניתן לשלב שירותי ענן כמו Text Analytics, באמצעות כלים עם קוד נמוך כמו [Power Automate](https://flow.microsoft.com/en-us/) עבור תהליכי עבודה אוטומטיים לעיבוד נתונים.
* [`רכישת נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - כדי לאסוף מאגר נתונים רלוונטי לניתוח. אפשרויות כוללות שימוש ב-API (למשל, [Poetry DB API](https://poetrydb.org/index.html)) או גרידת דפי אינטרנט (למשל, [פרויקט גוטנברג](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) באמצעות כלים כמו [Scrapy](https://scrapy.org/).
* [`ניקוי נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - מסביר כיצד ניתן לעצב, לטהר ולפשט טקסט באמצעות כלים בסיסיים כמו Visual Studio Code ו-Microsoft Excel.
* [`ניתוח נתונים`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - מסביר כיצד ניתן לייבא את מאגר הנתונים ל"מחברות" לניתוח באמצעות חבילות Python (כמו pandas, numpy ו-matplotlib) כדי לארגן ולחזות את הנתונים.
* [`ניתוח רגשות`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - מסביר כיצד ניתן לשלב שירותי ענן כמו Text Analytics, באמצעות כלים עם קוד נמוך כמו [Power Automate](https://flow.microsoft.com/en-us/) לתהליכי עבודה אוטומטיים לעיבוד נתונים.
באמצעות תהליך זה, נוכל לחקור את ההשפעות העונתיות על הרגש של השירים, ולעזור לנו לעצב פרספקטיבות משלנו על המחברת. נסו זאת בעצמכם - ואז הרחיבו את המחברת כדי לשאול שאלות נוספות או להציג את הנתונים בדרכים חדשות!
> תוכלו להשתמש בכמה מהכלים ב[ערכת הכלים של מדעי הרוח הדיגיטליים](https://github.com/Digital-Humanities-Toolkit) כדי להמשיך לחקור תחום זה.
> תוכלו להשתמש בכמה מהכלים ב[ערכת הכלים של מדעי הרוח הדיגיטליים](https://github.com/Digital-Humanities-Toolkit) כדי להמשיך לחקור תחומים אלו.
| מדע הנתונים וקיימות - _סקיצה מאת [@nitya](https://twitter.com/nitya)_ |
[אג'נדה 2030 לפיתוח בר קיימא](https://sdgs.un.org/2030agenda) - שאומצה על ידי כל חברי האומות המאוחדות בשנת 2015 - מזהה 17 יעדים כולל כאלה שמתמקדים ב**הגנה על כדור הארץ** מפני התדרדרות והשפעת שינויי האקלים. יוזמת [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) תומכת ביעדים אלה על ידי חקר דרכים שבהן פתרונות טכנולוגיים יכולים לתמוך ולבנות עתיד בר קיימא יותר עם [מיקוד ב-4 יעדים](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - להיות שליליים בפחמן, חיוביים במים, אפס פסולת, וביודיוורסיים עד 2030.
[אג'נדה 2030 לפיתוח בר קיימא](https://sdgs.un.org/2030agenda) - שאומצה על ידי כל חברי האומות המאוחדות בשנת 2015 - מזהה 17 יעדים כולל כאלה שמתמקדים ב**הגנה על כדור הארץ** מפני התדרדרות והשפעת שינויי האקלים. יוזמת [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) תומכת ביעדים אלו על ידי חקר דרכים שבהן פתרונות טכנולוגיים יכולים לתמוך ולבנות עתיד בר קיימא יותר עם [מיקוד ב-4 יעדים](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - להיות שליליים בפחמן, חיוביים במים, אפס פסולת, וביודיוורסיים עד 2030.
התמודדות עם אתגרים אלה בצורה רחבת היקף ובזמן דורשת חשיבה בקנה מידה ענני - ונתונים רחבי היקף. יוזמת [Planetary Computer](https://planetarycomputer.microsoft.com/) מספקת 4 רכיבים כדי לעזור למדעני נתונים ולמפתחים במאמץ זה:
התמודדות עם אתגרים אלו בצורה רחבת היקף ובזמן דורשת חשיבה בקנה מידה ענני - ונתונים רחבי היקף. יוזמת [Planetary Computer](https://planetarycomputer.microsoft.com/) מספקת 4 רכיבים שיעזרו למדעני נתונים ולמפתחים במאמץ זה:
* [קטלוג נתונים](https://planetarycomputer.microsoft.com/catalog) - עם פטה-בייטים של נתוני מערכות כדור הארץ (חינם ומאוחסן ב-Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - כדי לעזור למשתמשים לחפש נתונים רלוונטיים במרחב ובזמן.
* [יישומים](https://planetarycomputer.microsoft.com/applications) - מציגים מקרי שימוש וכלים לתובנות קיימות.
**פרויקט המחשב הפלנטרי נמצא כרגע בתצוגה מקדימה (נכון לספטמבר 2021)** - כך תוכלו להתחיל לתרום לפתרונות קיימות באמצעות מדע הנתונים.
**פרויקט המחשב הפלנטרי נמצא כרגע בתצוגה מקדימה (נכון לספטמבר 2021)** - הנה איך תוכלו להתחיל לתרום לפתרונות קיימות באמצעות מדעי הנתונים.
* [בקשו גישה](https://planetarycomputer.microsoft.com/account/request) כדי להתחיל לחקור ולהתחבר לעמיתים.
* [חקור את התיעוד](https://planetarycomputer.microsoft.com/docs/overview/about) כדי להבין אילו מערכי נתונים ו-APIs נתמכים.
* [חקור את התיעוד](https://planetarycomputer.microsoft.com/docs/overview/about) כדי להבין את מערכי הנתונים וה-APIs הנתמכים.
* חקור יישומים כמו [מעקב אחר מערכות אקולוגיות](https://analytics-lab.org/ecosystemmonitoring/) לקבלת השראה לרעיונות ליישומים.
חשבו כיצד תוכלו להשתמש בהדמיית נתונים כדי לחשוף או להעצים תובנות רלוונטיות בתחומים כמו שינויי אקלים וכריתת יערות. או חשבו כיצד ניתן להשתמש בתובנות כדי ליצור חוויות משתמש חדשות שמניעות שינויים התנהגותיים לחיים ברי קיימא יותר.
## מדע הנתונים + סטודנטים
## מדעי הנתונים + סטודנטים
דיברנו על יישומים בעולם האמיתי בתעשייה ובמחקר, וחקרנו דוגמאות ליישומי מדע הנתונים במדעי הרוח הדיגיטליים ובקיימות. אז איך תוכלו לפתח את הכישורים שלכם ולשתף את המומחיות שלכם כמתחילים במדע הנתונים?
דיברנו על יישומים בעולם האמיתי בתעשייה ובמחקר, וחקרנו דוגמאות ליישומי מדעי הנתונים במדעי הרוח הדיגיטליים ובקיימות. אז איך תוכלו לבנות את הכישורים שלכם ולשתף את המומחיות שלכם כמתחילים במדעי הנתונים?
הנה כמה דוגמאות לפרויקטים של סטודנטים במדע הנתונים שיתנו לכם השראה.
הנה כמה דוגמאות לפרויקטים של סטודנטים במדעי הנתונים להשראה.
* [בית הספר לקיץ במדע הנתונים של MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) עם [פרויקטים](https://github.com/msr-ds3) ב-GitHub שחוקרים נושאים כמו:
* [בית הספר לקיץ במדעי הנתונים של MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) עם [פרויקטים](https://github.com/msr-ds3) ב-GitHub שחוקרים נושאים כמו:
- [הטיה גזעית בשימוש בכוח על ידי המשטרה](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [אמינות מערכת הרכבת התחתית של ניו יורק](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [דיגיטציה של תרבות חומרית: חקר התפלגויות סוציו-אקונומיות בסירקאפ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - מאת [אורנלה אלטוניאן](https://twitter.com/ornelladotcom) והצוות בקלרמונט, תוך שימוש ב-[ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [דיגיטציה של תרבות חומרית: חקר התפלגויות חברתיות-כלכליות בסירקאפ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - מאת [אורנלה אלטוניאן](https://twitter.com/ornelladotcom) והצוות בקלרמונט, באמצעות [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 אתגר
חפשו מאמרים שממליצים על פרויקטים במדע הנתונים שמתאימים למתחילים - כמו [50 תחומי הנושא האלו](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) או [21 רעיונות לפרויקטים האלו](https://www.intellspot.com/data-science-project-ideas) או [16 הפרויקטים האלו עם קוד מקור](https://data-flair.training/blogs/data-science-project-ideas/) שתוכלו לפרק ולהרכיב מחדש. ואל תשכחו לכתוב בלוג על מסעות הלמידה שלכם ולשתף את התובנות שלכם איתנו.
חפשו מאמרים שממליצים על פרויקטים במדעי הנתונים שמתאימים למתחילים - כמו [50 תחומי נושא אלו](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) או [21 רעיונות לפרויקטים אלו](https://www.intellspot.com/data-science-project-ideas) או [16 פרויקטים עם קוד מקור](https://data-flair.training/blogs/data-science-project-ideas/) שתוכלו לפרק ולהרכיב מחדש. ואל תשכחו לכתוב בלוג על מסעות הלמידה שלכם ולשתף את התובנות שלכם עם כולנו.
## חידון לאחר ההרצאה
## [חידון לאחר ההרצאה](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## סקירה ולמידה עצמית
## סקירה ולימוד עצמי
רוצים לחקור עוד מקרי שימוש? הנה כמה מאמרים רלוונטיים:
* [17 יישומים ודוגמאות של מדע הנתונים](https://builtin.com/data-science/data-science-applications-examples) - יולי 2021
* [11 יישומים עוצרי נשימה של מדע הנתונים בעולם האמיתי](https://myblindbird.com/data-science-applications-real-world/) - מאי 2021
* [מדע הנתונים בעולם האמיתי](https://towardsdatascience.com/data-science-in-the-real-world/home) - אוסף מאמרים
* מדע הנתונים ב: [חינוך](https://data-flair.training/blogs/data-science-in-education/), [חקלאות](https://data-flair.training/blogs/data-science-in-agriculture/), [פיננסים](https://data-flair.training/blogs/data-science-in-finance/), [סרטים](https://data-flair.training/blogs/data-science-at-movies/) ועוד.
* [17 יישומים ודוגמאות במדעי הנתונים](https://builtin.com/data-science/data-science-applications-examples) - יולי 2021
* [11 יישומים מדהימים במדעי הנתונים בעולם האמיתי](https://myblindbird.com/data-science-applications-real-world/) - מאי 2021
* [מדעי הנתונים בעולם האמיתי](https://towardsdatascience.com/data-science-in-the-real-world/home) - אוסף מאמרים
* [12 יישומים בעולם האמיתי במדעי הנתונים עם דוגמאות](https://www.scaler.com/blog/data-science-applications/) - מאי 2024
* מדעי הנתונים ב: [חינוך](https://data-flair.training/blogs/data-science-in-education/), [חקלאות](https://data-flair.training/blogs/data-science-in-agriculture/), [פיננסים](https://data-flair.training/blogs/data-science-in-finance/), [סרטים](https://data-flair.training/blogs/data-science-at-movies/), [בריאות](https://onlinedegrees.sandiego.edu/data-science-health-care/) ועוד.
## משימה
[חקור מערך נתונים של המחשב הפלנטרי](assignment.md)
[חקור מערך נתונים של מחשב פלנטרי](assignment.md)
---
**כתב ויתור**:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית [Co-op Translator](https://github.com/Azure/co-op-translator). בעוד שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפתו המקורית נחשב למקור הסמכותי. למידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי בני אדם. איננו נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית [Co-op Translator](https://github.com/Azure/co-op-translator). למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפתו המקורית נחשב למקור הסמכותי. למידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי בני אדם. איננו נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.
हमने डेटा विज्ञान और नैतिकता की परिभाषाओं से शुरुआत की, डेटा विश्लेषण और विज़ुअलाइज़ेशन के विभिन्न उपकरणों और तकनीकों का पता लगाया, डेटा विज्ञान जीवनचक्र की समीक्षा की, और क्लाउड कंप्यूटिंग सेवाओं के साथ डेटा विज्ञान वर्कफ़्लो को स्केल और स्वचालित करने के तरीकों को देखा। तो, आप शायद सोच रहे हैं: _"मैं इन सभी सीखों को वास्तविक दुनिया के संदर्भों में कैसे लागू करूं?"_
इस पाठ में, हम उद्योग में डेटा विज्ञान के वास्तविक दुनिया के अनुप्रयोगों का पता लगाएंगे और शोध, डिजिटल मानविकी, और स्थिरता के संदर्भों में विशिष्ट उदाहरणों में गहराई से जाएंगे। हम छात्र परियोजना के अवसरों पर चर्चा करेंगे और आपकी सीखने की यात्रा जारी रखने में मदद करने के लिए उपयोगी संसाधनों के साथ निष्कर्ष निकालेंगे!
इस पाठ में, हम उद्योग में डेटा विज्ञान के वास्तविक दुनिया के अनुप्रयोगों का पता लगाएंगे और शोध, डिजिटल मानविकी और स्थिरता के संदर्भों में विशिष्ट उदाहरणों में गहराई से जाएंगे। हम छात्र परियोजना के अवसरों पर चर्चा करेंगे और आपकी सीखने की यात्रा को जारी रखने में मदद करने के लिए उपयोगी संसाधनों के साथ निष्कर्ष निकालेंगे!
## प्री-लेक्चर क्विज
@ -25,25 +25,25 @@ CO_OP_TRANSLATOR_METADATA:
## डेटा विज्ञान + उद्योग
एआई के लोकतंत्रीकरण के कारण, डेवलपर्स अब एआई-संचालित निर्णय लेने और डेटा-संचालित अंतर्दृष्टि को उपयोगकर्ता अनुभव और विकास वर्कफ़्लो में डिज़ाइन और एकीकृत करना आसान पा रहे हैं। यहां कुछ उदाहरण दिए गए हैं कि कैसे डेटा विज्ञान को उद्योग में "लागू" किया जाता है:
AI के लोकतंत्रीकरण के कारण, डेवलपर्स अब AI-संचालित निर्णय लेने और डेटा-संचालित अंतर्दृष्टि को उपयोगकर्ता अनुभवों और विकास वर्कफ़्लो में डिज़ाइन और एकीकृत करना आसान पा रहे हैं। यहां कुछ उदाहरण दिए गए हैं कि कैसे डेटा विज्ञान को उद्योग में "लागू" किया जाता है:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ने खोज शब्दों को फ्लू ट्रेंड्स के साथ सहसंबंधित करने के लिए डेटा विज्ञान का उपयोग किया। हालांकि इस दृष्टिकोण में खामियां थीं, इसने डेटा-संचालित स्वास्थ्य देखभाल भविष्यवाणियों की संभावनाओं (और चुनौतियों) के बारे में जागरूकता बढ़ाई।
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ने खोज शब्दों को फ्लू ट्रेंड्स के साथ सहसंबद्ध करने के लिए डेटा विज्ञान का उपयोग किया। हालांकि इस दृष्टिकोण में खामियां थीं, इसने डेटा-संचालित स्वास्थ्य देखभाल भविष्यवाणियों की संभावनाओं (और चुनौतियों) के बारे में जागरूकता बढ़ाई।
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - यह बताता है कि UPS डेटा विज्ञान और मशीन लर्निंग का उपयोग करके मौसम की स्थिति, ट्रैफिक पैटर्न, डिलीवरी की समय सीमा और अधिक को ध्यान में रखते हुए डिलीवरी के लिए इष्टतम मार्गों की भविष्यवाणी कैसे करता है।
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS डेटा विज्ञान और मशीन लर्निंग का उपयोग करके मौसम की स्थिति, ट्रैफिक पैटर्न, डिलीवरी की समय सीमा और अधिक को ध्यान में रखते हुए डिलीवरी के लिए इष्टतम मार्गों की भविष्यवाणी करता है।
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [सूचना की स्वतंत्रता कानूनों](https://chriswhong.com/open-data/foil_nyc_taxi/) का उपयोग करके एकत्रित डेटा ने NYC टैक्सियों के जीवन के एक दिन को विज़ुअलाइज़ करने में मदद की, जिससे हमें यह समझने में मदद मिली कि वे व्यस्त शहर में कैसे नेविगेट करते हैं, वे कितना पैसा कमाते हैं, और प्रत्येक 24 घंटे की अवधि में यात्राओं की अवधि।
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) का उपयोग करके एकत्रित डेटा ने NYC टैक्सियों के जीवन के एक दिन को विज़ुअलाइज़ करने में मदद की, जिससे यह समझने में मदद मिली कि वे व्यस्त शहर में कैसे नेविगेट करते हैं, वे कितना पैसा कमाते हैं, और प्रत्येक 24 घंटे की अवधि में यात्राओं की अवधि।
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - लाखों दैनिक Uber यात्राओं से एकत्रित डेटा (पिकअप और ड्रॉपऑफ स्थान, यात्रा की अवधि, पसंदीदा मार्ग आदि) का उपयोग करके एक डेटा एनालिटिक्स टूल बनाया गया जो मूल्य निर्धारण, सुरक्षा, धोखाधड़ी का पता लगाने और नेविगेशन निर्णयों में मदद करता है।
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _पूर्वानुमानात्मक विश्लेषण_ (टीम और खिलाड़ी विश्लेषण - जैसे [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - और प्रशंसक प्रबंधन) और _डेटा विज़ुअलाइज़ेशन_ (टीम और प्रशंसक डैशबोर्ड, खेल आदि) पर केंद्रित है, जिसमें प्रतिभा की खोज, खेल सट्टेबाजी और इन्वेंट्री/स्थान प्रबंधन जैसे अनुप्रयोग शामिल हैं।
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - वित्त उद्योग में डेटा विज्ञान के मूल्य को उजागर करता है, जिसमें जोखिम मॉडलिंग और धोखाधड़ी का पता लगाने से लेकर ग्राहक विभाजन, वास्तविक समय की भविष्यवाणी और अनुशंसा प्रणाली तक के अनुप्रयोग शामिल हैं। पूर्वानुमानात्मक विश्लेषण जैसे महत्वपूर्ण उपायों को भी चलाता है [क्रेडिट स्कोर](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit)।
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - वित्त उद्योग में डेटा विज्ञान के मूल्य को उजागर करता है, जिसमें जोखिम मॉडलिंग और धोखाधड़ी का पता लगाने से लेकर ग्राहक विभाजन, वास्तविक समय की भविष्यवाणी और अनुशंसा प्रणाली तक के अनुप्रयोग शामिल हैं। पूर्वानुमानात्मक विश्लेषण [क्रेडिट स्कोर](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) जैसे महत्वपूर्ण उपायों को भी संचालित करता है।
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - चिकित्सा इमेजिंग (जैसे, एमआरआई, एक्स-रे, सीटी-स्कैन), जीनोमिक्स (डीएनए अनुक्रमण), दवा विकास (जोखिम मूल्यांकन, सफलता की भविष्यवाणी), पूर्वानुमानात्मक विश्लेषण (रोगी देखभाल और आपूर्ति रसद), रोग ट्रैकिंग और रोकथाम जैसे अनुप्रयोगों को उजागर करता है।
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - चिकित्सा इमेजिंग (जैसे, MRI, X-Ray, CT-Scan), जीनोमिक्स (DNA अनुक्रमण), दवा विकास (जोखिम मूल्यांकन, सफलता की भविष्यवाणी), पूर्वानुमानात्मक विश्लेषण (रोगी देखभाल और आपूर्ति लॉजिस्टिक्स), रोग ट्रैकिंग और रोकथाम जैसे अनुप्रयोगों को उजागर करता है।
 छवि क्रेडिट: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 छवि क्रेडिट: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
चित्र अन्य डोमेन और डेटा विज्ञान तकनीकों को लागू करने के उदाहरण दिखाता है। क्या आप अन्य अनुप्रयोगों का पता लगाना चाहते हैं? नीचे दिए गए [समीक्षा और स्व-अध्ययन](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) अनुभाग को देखें।
चित्र अन्य डोमेन और डेटा विज्ञान तकनीकों को लागू करने के उदाहरण दिखाता है। क्या आप अन्य अनुप्रयोगों का पता लगाना चाहते हैं? नीचे दिए गए [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) अनुभाग को देखें।
## डेटा विज्ञान + शोध
@ -54,19 +54,19 @@ CO_OP_TRANSLATOR_METADATA:
जबकि वास्तविक दुनिया के अनुप्रयोग अक्सर बड़े पैमाने पर उद्योग उपयोग मामलों पर ध्यान केंद्रित करते हैं, _शोध_ अनुप्रयोग और परियोजनाएं दो दृष्टिकोणों से उपयोगी हो सकती हैं:
* _नवाचार के अवसर_ - उन्नत अवधारणाओं के त्वरित प्रोटोटाइप और अगली पीढ़ी के अनुप्रयोगों के लिए उपयोगकर्ता अनुभवों का परीक्षण करें।
* _तैनाती की चुनौतियां_ - वास्तविक दुनिया के संदर्भों में डेटा विज्ञान प्रौद्योगिकियों के संभावित नुकसान या अनपेक्षित परिणामों की जांच करें।
* _तैनाती चुनौतियां_ - वास्तविक दुनिया के संदर्भों में डेटा विज्ञान प्रौद्योगिकियों के संभावित नुकसान या अनपेक्षित परिणामों की जांच करें।
छात्रों के लिए, ये शोध परियोजनाएं न केवल विषय की समझ को बेहतर बनाने में मदद करती हैं बल्कि संबंधित क्षेत्रों में काम कर रहे लोगों या टीमों के साथ जुड़ने और जागरूकता बढ़ाने का अवसर भी प्रदान करती हैं। तो शोध परियोजनाएं कैसी दिखती हैं और वे कैसे प्रभाव डाल सकती हैं?
छात्रों के लिए, ये शोध परियोजनाएं सीखने और सहयोग के अवसर प्रदान कर सकती हैं जो आपके विषय की समझ में सुधार कर सकती हैं और आपके रुचि के क्षेत्रों में काम कर रहे प्रासंगिक लोगों या टीमों के साथ आपकी जागरूकता और जुड़ाव को व्यापक बना सकती हैं। तो शोध परियोजनाएं कैसी दिखती हैं और वे प्रभाव कैसे डाल सकती हैं?
आइए एक उदाहरण देखें - [MIT Gender Shades Study](http://gendershades.org/overview.html) जॉय बुओलामविनी (MIT Media Labs) द्वारा, जिसमें एक [प्रमुख शोध पत्र](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) टिमनिट गेब्रु (तब Microsoft Research में) के साथ सह-लेखित था। यह केंद्रित था:
आइए एक उदाहरण देखें - [MIT Gender Shades Study](http://gendershades.org/overview.html) जॉय बुओलामविनी (MIT Media Labs) द्वारा एक [प्रमुख शोध पत्र](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) के साथ सह-लेखक टिमनिट गेब्रु (तब Microsoft Research में) द्वारा:
* **क्या:** शोध परियोजना का उद्देश्य _स्वचालित चेहरे विश्लेषण एल्गोरिदम और डेटासेट में मौजूद पूर्वाग्रह का मूल्यांकन करना_ था, जो लिंग और त्वचा प्रकार पर आधारित था।
* **क्यों:** चेहरे का विश्लेषण कानून प्रवर्तन, हवाई अड्डा सुरक्षा, भर्ती प्रणाली और अधिक जैसे क्षेत्रों में उपयोग किया जाता है - ऐसे संदर्भ जहां गलत वर्गीकरण (जैसे, पूर्वाग्रह के कारण) प्रभावित व्यक्तियों या समूहों को संभावित आर्थिक और सामाजिक नुकसान पहुंचा सकता है। उपयोग में निष्पक्षता के लिए पूर्वाग्रहों को समझना (और समाप्त करना या कम करना) महत्वपूर्ण है।
* **कैसे:** शोधकर्ताओं ने पहचाना कि मौजूदा बेंचमार्क मुख्य रूप से हल्की त्वचा वाले विषयों का उपयोग करते थे, और एक नया डेटा सेट (1000+ छवियां) तैयार किया जो लिंग और त्वचा प्रकार द्वारा _अधिक संतुलित_ था। इस डेटा सेट का उपयोग तीन लिंग वर्गीकरण उत्पादों (Microsoft, IBM और Face++) की सटीकता का मूल्यांकन करने के लिए किया गया।
* **क्या:** शोध परियोजना का उद्देश्य _स्वचालित चेहरे विश्लेषण एल्गोरिदम और डेटासेट में लिंग और त्वचा प्रकार के आधार पर मौजूद पूर्वाग्रह का मूल्यांकन करना_ था।
* **क्यों:** चेहरे का विश्लेषण कानून प्रवर्तन, हवाई अड्डे की सुरक्षा, भर्ती प्रणाली और अधिक जैसे क्षेत्रों में उपयोग किया जाता है - ऐसे संदर्भ जहां गलत वर्गीकरण (जैसे, पूर्वाग्रह के कारण) प्रभावित व्यक्तियों या समूहों को संभावित आर्थिक और सामाजिक नुकसान पहुंचा सकता है। उपयोग में निष्पक्षता के लिए पूर्वाग्रहों को समझना (और समाप्त करना या कम करना) महत्वपूर्ण है।
* **कैसे:** शोधकर्ताओं ने पहचाना कि मौजूदा बेंचमार्क मुख्य रूप से हल्की त्वचा वाले विषयों का उपयोग करते हैं, और एक नया डेटा सेट (1000+ छवियां) तैयार किया जो लिंग और त्वचा प्रकार द्वारा _अधिक संतुलित_ था। डेटा सेट का उपयोग तीन लिंग वर्गीकरण उत्पादों (Microsoft, IBM और Face++ से) की सटीकता का मूल्यांकन करने के लिए किया गया।
परिणामों ने दिखाया कि हालांकि समग्र वर्गीकरण सटीकता अच्छी थी, विभिन्न उपसमूहों के बीच त्रुटि दर में ध्यान देने योग्य अंतर था - जिसमें **गलत लिंग निर्धारण** महिलाओं या गहरे रंग की त्वचा वाले व्यक्तियों के लिए अधिक था, जो पूर्वाग्रह का संकेत देता है।
परिणामों से पता चला कि हालांकि समग्र वर्गीकरण सटीकता अच्छी थी, विभिन्न उपसमूहों के बीच त्रुटि दर में ध्यान देने योग्य अंतर था - जिसमें **गलत लिंग निर्धारण** महिलाओं या गहरे रंग की त्वचा वाले व्यक्तियों के लिए अधिक था, जो पूर्वाग्रह का संकेत देता है।
**मुख्य परिणाम:** डेटा विज्ञान को अधिक _प्रतिनिधि डेटासेट_ (संतुलित उपसमूह) और अधिक _समावेशी टीमों_ (विविध पृष्ठभूमि) की आवश्यकता है ताकि एआई समाधानों में ऐसे पूर्वाग्रहों को पहले ही पहचानने और समाप्त करने या कम करने में मदद मिल सके। इस तरह के शोध प्रयास कई संगठनों को _जिम्मेदार एआई_ के लिए सिद्धांत और प्रथाओं को परिभाषित करने में भी सहायक होते हैं ताकि उनके एआई उत्पादों और प्रक्रियाओं में निष्पक्षता में सुधार हो सके।
**मुख्य परिणाम:** डेटा विज्ञान को अधिक _प्रतिनिधि डेटासेट_ (संतुलित उपसमूह) और अधिक _समावेशी टीमों_ (विविध पृष्ठभूमि) की आवश्यकता है ताकि AI समाधानों में ऐसे पूर्वाग्रहों को पहले ही पहचानने और समाप्त करने या कम करने में मदद मिल सके। इस तरह के शोध प्रयास कई संगठनों को _जिम्मेदार AI_ के लिए सिद्धांत और प्रथाओं को परिभाषित करने में भी सहायक होते हैं ताकि उनके AI उत्पादों और प्रक्रियाओं में निष्पक्षता में सुधार हो सके।
**Microsoft में प्रासंगिक शोध प्रयासों के बारे में जानना चाहते हैं?**
| डेटा विज्ञान और डिजिटल मानविकी - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
डिजिटल मानविकी [को परिभाषित किया गया है](https://digitalhumanities.stanford.edu/about-dh-stanford) "एक संग्रह के रूप में जो कम्प्यूटेशनल विधियों को मानवतावादी जांच के साथ जोड़ता है।" [स्टैनफोर्ड परियोजनाएं](https://digitalhumanities.stanford.edu/projects) जैसे _"इतिहास को पुनः आरंभ करना"_ और _"काव्यात्मक सोच"_ [डिजिटल मानविकी और डेटा विज्ञान](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) के बीच संबंध को दर्शाते हैं - नेटवर्क विश्लेषण, सूचना विज़ुअलाइज़ेशन, स्थानिक और पाठ विश्लेषण जैसी तकनीकों पर जोर देते हुए जो हमें ऐतिहासिक और साहित्यिक डेटा सेटों को पुनः देखने और नए दृष्टिकोण प्राप्त करने में मदद कर सकते हैं।
डिजिटल मानविकी [को परिभाषित किया गया है](https://digitalhumanities.stanford.edu/about-dh-stanford) "कंप्यूटेशनल विधियों को मानवीय जांच के साथ जोड़ने वाले प्रथाओं और दृष्टिकोणों का संग्रह" के रूप में। [स्टैनफोर्ड परियोजनाएं](https://digitalhumanities.stanford.edu/projects) जैसे _"इतिहास को पुनः आरंभ करना"_ और _"काव्यात्मक सोच"_ [डिजिटल मानविकी और डेटा विज्ञान](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) के बीच संबंध को दर्शाती हैं - नेटवर्क विश्लेषण, सूचना विज़ुअलाइज़ेशन, स्थानिक और पाठ विश्लेषण जैसी तकनीकों पर जोर देते हुए जो हमें ऐतिहासिक और साहित्यिक डेटा सेटों को फिर से देखने और नई अंतर्दृष्टि और दृष्टिकोण प्राप्त करने में मदद कर सकती हैं।
*क्या आप इस क्षेत्र में एक परियोजना का अन्वेषण और विस्तार करना चाहते हैं?*
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) देखें - [Jen Looper](https://twitter.com/jenlooper) का एक शानदार उदाहरण जो पूछता है कि हम डेटा विज्ञान का उपयोग करके परिचित कविता को कैसे पुनः देख सकते हैं और इसके अर्थ और इसके लेखक के योगदान को नए संदर्भों में पुनः मूल्यांकन कर सकते हैं। उदाहरण के लिए, _क्या हम कविता के स्वर या भावना का विश्लेषण करके यह अनुमान लगा सकते हैं कि कविता किस मौसम में लिखी गई थी_ - और यह हमें संबंधित अवधि में लेखक की मानसिक स्थिति के बारे में क्या बताता है?
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) को देखें - [Jen Looper](https://twitter.com/jenlooper) का एक शानदार उदाहरण जो पूछता है कि हम डेटा विज्ञान का उपयोग करके परिचित कविता को फिर से कैसे देख सकते हैं और इसे नए संदर्भों में इसके अर्थ और इसके लेखक के योगदान का पुनर्मूल्यांकन कर सकते हैं। उदाहरण के लिए, _क्या हम कविता के स्वर या भावना का विश्लेषण करके यह अनुमान लगा सकते हैं कि कविता किस मौसम में लिखी गई थी_ - और यह हमें संबंधित अवधि में लेखक की मानसिक स्थिति के बारे में क्या बताता है?
इस प्रश्न का उत्तर देने के लिए, हम अपने डेटा विज्ञान जीवनचक्र के चरणों का पालन करते हैं:
* [`डेटा अधिग्रहण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषण के लिए एक प्रासंगिक डेटा सेट एकत्र करने के लिए। विकल्पों में एक एपीआई का उपयोग करना (जैसे, [Poetry DB API](https://poetrydb.org/index.html)) या वेब पृष्ठों को स्क्रैप करना (जैसे, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) शामिल हैं।
* [`डेटा सफाई`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - यह बताता है कि पाठ को कैसे स्वरूपित, स्वच्छ और सरल बनाया जा सकता है, जैसे उपकरणों का उपयोग करके [Visual Studio Code](https://code.visualstudio.com/) और Microsoft Excel।
* [`डेटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - यह बताता है कि हम अब डेटा सेट को "नोटबुक्स" में आयात करके विश्लेषण कर सकते हैं, जैसे Python पैकेज (जैसे pandas, numpy और matplotlib) का उपयोग करके डेटा को व्यवस्थित और विज़ुअलाइज़ करना।
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - यह बताता है कि हम क्लाउड सेवाओं जैसे Text Analytics को कैसे एकीकृत कर सकते हैं, जैसे [Power Automate](https://flow.microsoft.com/en-us/) जैसे लो-कोड टूल का उपयोग करके स्वचालित डेटा प्रोसेसिंग वर्कफ़्लो के लिए।
इस प्रश्न का उत्तर देने के लिए, हम अपने डेटा विज्ञान जीवनचक्र के चरणों का अनुसरण करते हैं:
* [`डेटा अधिग्रहण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषण के लिए प्रासंगिक डेटा सेट एकत्र करने के लिए। विकल्पों में API का उपयोग करना (जैसे, [Poetry DB API](https://poetrydb.org/index.html)) या वेब पेजों को स्क्रैप करना (जैसे, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) [Scrapy](https://scrapy.org/) जैसे उपकरणों का उपयोग करके।
* [`डेटा सफाई`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - यह बताता है कि टेक्स्ट को कैसे स्वरूपित, स्वच्छ और सरल बनाया जा सकता है, जैसे उपकरणों का उपयोग करके Visual Studio Code और Microsoft Excel।
* [`डेटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - यह बताता है कि हम अब डेटा सेट को "नोटबुक्स" में आयात करके विश्लेषण कर सकते हैं, जैसे Python पैकेज (pandas, numpy और matplotlib) का उपयोग करके डेटा को व्यवस्थित और विज़ुअलाइज़ करना।
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - यह बताता है कि हम Text Analytics जैसे क्लाउड सेवाओं को कैसे एकीकृत कर सकते हैं, जैसे [Power Automate](https://flow.microsoft.com/en-us/) जैसे लो-कोड टूल का उपयोग करके स्वचालित डेटा प्रोसेसिंग वर्कफ़्लो के लिए।
इस वर्कफ़्लो का उपयोग करके, हम कविताओं की भावना पर मौसमी प्रभावों का पता लगा सकते हैं और हमें लेखक के बारे में अपनी खुद की दृष्टिकोण बनाने में मदद कर सकते हैं। इसे स्वयं आज़माएं - फिर नोटबुक को अन्य प्रश्न पूछने या डेटा को नए तरीकों से विज़ुअलाइज़ करने के लिए विस्तारित करें!
इस वर्कफ़्लो का उपयोग करके, हम कविताओं की भावना पर मौसमी प्रभावों का पता लगा सकते हैं और हमें लेखक पर अपनी खुद की दृष्टिकोण बनाने में मदद कर सकते हैं। इसे स्वयं आज़माएं - फिर नोटबुक को अन्य प्रश्न पूछने या डेटा को नए तरीकों से विज़ुअलाइज़ करने के लिए विस्तारित करें!
> आप [डिजिटल मानविकी टूलकिट](https://github.com/Digital-Humanities-Toolkit) में कुछ उपकरणों का उपयोग करके इन जांच के रास्तों को आगे बढ़ा सकते हैं।
> आप [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) में कुछ उपकरणों का उपयोग करके इन जांच के रास्तों को आगे बढ़ा सकते हैं।
| डेटा विज्ञान और स्थिरता - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 सतत विकास के लिए एजेंडा](https://sdgs.un.org/2030agenda) - जिसे 2015 में सभी संयुक्त राष्ट्र सदस्यों द्वारा अपनाया गया था - 17 लक्ष्यों की पहचान करता है, जिनमें **ग्रह की रक्षा** और जलवायु परिवर्तन के प्रभाव पर ध्यान केंद्रित किया गया है। [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) पहल इन लक्ष्यों का समर्थन करती है और प्रौद्योगिकी समाधानों के माध्यम से अधिक स्थायी भविष्य बनाने के तरीकों का पता लगाती है, जिसमें [4 लक्ष्यों](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) पर ध्यान केंद्रित किया गया है - 2030 तक कार्बन नकारात्मक, जल सकारात्मक, शून्य अपशिष्ट, और जैव-विविध बनना।
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - जिसे 2015 में सभी संयुक्त राष्ट्र सदस्यों द्वारा अपनाया गया था - 17 लक्ष्यों की पहचान करता है, जिनमें **ग्रह की रक्षा** और जलवायु परिवर्तन के प्रभाव पर ध्यान केंद्रित करना शामिल है। [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) पहल इन लक्ष्यों का समर्थन करती है और प्रौद्योगिकी समाधानों के माध्यम से अधिक स्थायी भविष्य बनाने के तरीकों का पता लगाती है, जिसमें [4 लक्ष्यों पर ध्यान केंद्रित](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) किया गया है - 2030 तक कार्बन नकारात्मक, जल सकारात्मक, शून्य अपशिष्ट, और जैव-विविध होना।
इन चुनौतियों को बड़े पैमाने पर और समय पर हल करने के लिए क्लाउड-स्केल सोच और बड़े पैमाने पर डेटा की आवश्यकता होती है। [Planetary Computer](https://planetarycomputer.microsoft.com/) पहल डेटा वैज्ञानिकों और डेवलपर्स को इस प्रयास में मदद करने के लिए 4 घटक प्रदान करती है:
इन चुनौतियों को बड़े पैमाने पर और समय पर तरीके से हल करने के लिए क्लाउड-स्केल सोच और बड़े पैमाने पर डेटा की आवश्यकता होती है। [Planetary Computer](https://planetarycomputer.microsoft.com/) पहल डेटा वैज्ञानिकों और डेवलपर्स को इस प्रयास में मदद करने के लिए 4 घटक प्रदान करती है:
* [डेटा कैटलॉग](https://planetarycomputer.microsoft.com/catalog) - पृथ्वी प्रणाली डेटा के पेटाबाइट्स (मुफ्त और Azure-होस्टेड) के साथ।
* [डेटा कैटलॉग](https://planetarycomputer.microsoft.com/catalog) - पृथ्वी प्रणाली डेटा (मुफ्त और Azure-होस्टेड) के पेटाबाइट्स के साथ।
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - उपयोगकर्ताओं को स्थान और समय के अनुसार प्रासंगिक डेटा खोजने में मदद करने के लिए।
* [हब](https://planetarycomputer.microsoft.com/docs/overview/environment/) - वैज्ञानिकों के लिए विशाल भू-स्थानिक डेटा सेटों को संसाधित करने के लिए प्रबंधित वातावरण।
* [अनुप्रयोग](https://planetarycomputer.microsoft.com/applications) - स्थिरता अंतर्दृष्टि के लिए उपयोग के मामलों और उपकरणों को प्रदर्शित करता है।
**प्लैनेटरी कंप्यूटर प्रोजेक्ट वर्तमान में प्रीव्यू में है (सितंबर 2021 तक)** - यहां बताया गया है कि आप डेटा साइंस का उपयोग करके स्थिरता समाधान में योगदान कैसे शुरू कर सकते हैं।
* [अनुप्रयोग](https://planetarycomputer.microsoft.com/applications) - स्थिरता अंतर्दृष्टि के लिए उपयोग मामलों और उपकरणों को प्रदर्शित करता है।
**प्लैनेटरी कंप्यूटर प्रोजेक्ट वर्तमान में प्रीव्यू में है (सितंबर 2021 तक)** - डेटा साइंस का उपयोग करके स्थिरता समाधान में योगदान देने की शुरुआत कैसे करें, यह जानें।
* [एक्सेस का अनुरोध करें](https://planetarycomputer.microsoft.com/account/request) ताकि आप अन्वेषण शुरू कर सकें और अपने साथियों से जुड़ सकें।
* [डॉक्यूमेंटेशन का अन्वेषण करें](https://planetarycomputer.microsoft.com/docs/overview/about) ताकि आप समर्थित डेटा सेट और APIs को समझ सकें।
* [इकोसिस्टम मॉनिटरिंग](https://analytics-lab.org/ecosystemmonitoring/) जैसे एप्लिकेशन का अन्वेषण करें ताकि एप्लिकेशन आइडियाज के लिए प्रेरणा मिल सके।
* [एक्सेस का अनुरोध करें](https://planetarycomputer.microsoft.com/account/request) ताकि आप अन्वेषण शुरू कर सकें और साथियों से जुड़ सकें।
* [डॉक्यूमेंटेशन का अन्वेषण करें](https://planetarycomputer.microsoft.com/docs/overview/about) ताकि आप समर्थित डेटा सेट्स और APIs को समझ सकें।
* [इकोसिस्टम मॉनिटरिंग](https://analytics-lab.org/ecosystemmonitoring/) जैसे एप्लिकेशन का अन्वेषण करें, जो एप्लिकेशन आइडियाज के लिए प्रेरणा दे सकते हैं।
सोचें कि आप डेटा विज़ुअलाइज़ेशन का उपयोग कैसे कर सकते हैं ताकि जलवायु परिवर्तन और वनों की कटाई जैसे क्षेत्रों में प्रासंगिक अंतर्दृष्टि को उजागर या बढ़ाया जा सके। या सोचें कि इन अंतर्दृष्टियों का उपयोग कैसे किया जा सकता है ताकि नए उपयोगकर्ता अनुभव बनाए जा सकें जो अधिक स्थायी जीवन के लिए व्यवहारिक बदलावों को प्रेरित करें।
सोचें कि आप डेटा विज़ुअलाइज़ेशन का उपयोग करके जलवायु परिवर्तन और वनों की कटाई जैसे क्षेत्रों में प्रासंगिक अंतर्दृष्टि को उजागर या बढ़ावा देने के लिए कैसे उपयोग कर सकते हैं। या सोचें कि इन अंतर्दृष्टियों का उपयोग नए उपयोगकर्ता अनुभव बनाने के लिए कैसे किया जा सकता है, जो अधिक स्थायी जीवन के लिए व्यवहारिक बदलावों को प्रेरित करें।
## डेटा साइंस + छात्र
हमने उद्योग और शोध में वास्तविक दुनिया के अनुप्रयोगों के बारे में बात की है, और डिजिटल ह्यूमैनिटीज और स्थिरता में डेटा साइंस एप्लिकेशन के उदाहरणों का अन्वेषण किया है। तो आप डेटा साइंस के शुरुआती के रूप में अपने कौशल कैसे बना सकते हैं और अपनी विशेषज्ञता कैसे साझा कर सकते हैं?
हमने उद्योग और शोध में वास्तविक दुनिया के अनुप्रयोगों के बारे में बात की है और डिजिटल ह्यूमैनिटीज और स्थिरता में डेटा साइंस एप्लिकेशन के उदाहरणों का अन्वेषण किया है। तो, डेटा साइंस के शुरुआती छात्रों के रूप में आप अपनी स्किल्स कैसे बना सकते हैं और अपनी विशेषज्ञता कैसे साझा कर सकते हैं?
यहां कुछ डेटा साइंस छात्र परियोजनाओं के उदाहरण दिए गए हैं जो आपको प्रेरित कर सकते हैं।
यहां कुछ डेटा साइंस छात्र प्रोजेक्ट्स के उदाहरण दिए गए हैं जो आपको प्रेरित कर सकते हैं:
* [MSR डेटा साइंस समर स्कूल](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) के GitHub [प्रोजेक्ट्स](https://github.com/msr-ds3) जो निम्नलिखित विषयों का अन्वेषण करते हैं:
- [पुलिस द्वारा बल प्रयोग में नस्लीय पक्षपात](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [NYC सबवे सिस्टम की विश्वसनीयता](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [सामग्री संस्कृति का डिजिटलीकरण: सर्कप में सामाजिक-आर्थिक वितरण का अन्वेषण](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [Ornella Altunyan](https://twitter.com/ornelladotcom) और Claremont की टीम द्वारा, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) का उपयोग करते हुए।
* [MSR डेटा साइंस समर स्कूल](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) के GitHub [प्रोजेक्ट्स](https://github.com/msr-ds3), जो इन विषयों का अन्वेषण करते हैं:
- [पुलिस द्वारा बल प्रयोग में नस्लीय पूर्वाग्रह](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [NYC सबवे सिस्टम की विश्वसनीयता](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [सामग्री संस्कृति का डिजिटलीकरण: सिरकप में सामाजिक-आर्थिक वितरण का अन्वेषण](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [ओर्नेला अल्टुन्यान](https://twitter.com/ornelladotcom) और उनकी टीम द्वारा क्लेयरमोंट में, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) का उपयोग करते हुए।
## 🚀 चुनौती
ऐसे लेख खोजें जो शुरुआती के लिए उपयुक्त डेटा साइंस प्रोजेक्ट्स की सिफारिश करते हैं - जैसे [ये 50 विषय क्षेत्र](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) या [ये 21 प्रोजेक्ट आइडियाज](https://www.intellspot.com/data-science-project-ideas) या [ये 16 प्रोजेक्ट्स सोर्स कोड के साथ](https://data-flair.training/blogs/data-science-project-ideas/) जिन्हें आप डीकंस्ट्रक्ट और रीमिक्स कर सकते हैं। और अपनी सीखने की यात्रा के बारे में ब्लॉग लिखना न भूलें और अपनी अंतर्दृष्टि हम सभी के साथ साझा करें।
ऐसे लेख खोजें जो शुरुआती लोगों के लिए उपयुक्त डेटा साइंस प्रोजेक्ट्स की सिफारिश करते हैं - जैसे [ये 50 विषय क्षेत्र](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) या [ये 21 प्रोजेक्ट आइडियाज](https://www.intellspot.com/data-science-project-ideas) या [सोर्स कोड के साथ ये 16 प्रोजेक्ट्स](https://data-flair.training/blogs/data-science-project-ideas/) जिन्हें आप डीकंस्ट्रक्ट और रीमिक्स कर सकते हैं। और अपनी सीखने की यात्रा के बारे में ब्लॉग लिखना न भूलें और अपनी अंतर्दृष्टि हम सभी के साथ साझा करें।
## पोस्ट-लेक्चर क्विज़
@ -139,17 +139,18 @@ CO_OP_TRANSLATOR_METADATA:
## समीक्षा और स्व-अध्ययन
अधिक उपयोग मामलों का अन्वेषण करना चाहते हैं? यहां कुछ प्रासंगिक लेख दिए गए हैं:
* [17 डेटा साइंस एप्लिकेशन और उदाहरण](https://builtin.com/data-science/data-science-applications-examples) - जुलाई 2021
* [वास्तविक दुनिया में 11 अद्भुत डेटा साइंस एप्लिकेशन](https://myblindbird.com/data-science-applications-real-world/) - मई 2021
क्या आप और उपयोग मामलों का अन्वेषण करना चाहते हैं? यहां कुछ प्रासंगिक लेख दिए गए हैं:
* [डेटा साइंस के 17 अनुप्रयोग और उदाहरण](https://builtin.com/data-science/data-science-applications-examples) - जुलाई 2021
* [वास्तविक दुनिया में डेटा साइंस के 11 अद्भुत अनुप्रयोग](https://myblindbird.com/data-science-applications-real-world/) - मई 2021
* [वास्तविक दुनिया में डेटा साइंस](https://towardsdatascience.com/data-science-in-the-real-world/home) - लेख संग्रह
* डेटा साइंस इन: [शिक्षा](https://data-flair.training/blogs/data-science-in-education/), [कृषि](https://data-flair.training/blogs/data-science-in-agriculture/), [वित्त](https://data-flair.training/blogs/data-science-in-finance/), [फिल्में](https://data-flair.training/blogs/data-science-at-movies/) और अधिक।
* [12 वास्तविक दुनिया के डेटा साइंस अनुप्रयोग उदाहरणों के साथ](https://www.scaler.com/blog/data-science-applications/) - मई 2024
[प्लैनेटरी कंप्यूटर डेटा सेट का अन्वेषण करें](assignment.md)
[एक प्लैनेटरी कंप्यूटर डेटा सेट का अन्वेषण करें](assignment.md)
---
**अस्वीकरण**:
यह दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता सुनिश्चित करने का प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में उपलब्ध मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
यह दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में उपलब्ध मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT Media Labs）進行，並與 Timnit Gebru（當時在 Microsoft Research）共同撰寫了一篇[標誌性研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究專注於：
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT Media Labs）主導，並與 Timnit Gebru（當時在 Microsoft Research）共同撰寫了一篇[重要的研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究聚焦於：
查看["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——一個來自[Jen Looper](https://twitter.com/jenlooper)的精彩例子，探討如何利用數據科學重新審視熟悉的詩歌，並在新的背景下重新評估其意義及作者的貢獻。例如，_我們能否通過分析詩歌的語氣或情感來預測其創作季節_——這又能告訴我們作者在相關時期的心境如何？
查看["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——這是一個來自[Jen Looper](https://twitter.com/jenlooper)的精彩例子，探討如何利用數據科學重新審視熟悉的詩歌，並在新的背景下重新評估其意義及作者的貢獻。例如，_我們能否通過分析詩歌的語氣或情感來預測詩歌創作的季節_——這又能告訴我們作者在相關時期的心理狀態？
Počeli smo s definicijama data sciencea i etike, istražili razne alate i tehnike za analizu i vizualizaciju podataka, pregledali životni ciklus data sciencea te razmotrili skaliranje i automatizaciju radnih procesa uz usluge računalstva u oblaku. Dakle, vjerojatno se pitate: _"Kako točno mogu primijeniti sve ove spoznaje u stvarnim kontekstima?"_
Počeli smo s definicijama data sciencea i etike, istražili razne alate i tehnike za analizu i vizualizaciju podataka, pregledali životni ciklus data sciencea te razmotrili skaliranje i automatizaciju radnih procesa uz usluge računalstva u oblaku. Dakle, vjerojatno se pitate: _"Kako točno primijeniti sve ove lekcije u stvarnim kontekstima?"_
U ovoj lekciji istražit ćemo primjene data sciencea u stvarnom svijetu kroz industriju te se detaljnije posvetiti primjerima u istraživanju, digitalnim humanističkim znanostima i održivosti. Razmotrit ćemo studentske projektne prilike i zaključiti s korisnim resursima koji će vam pomoći da nastavite svoje edukativno putovanje!
U ovoj lekciji istražit ćemo primjene data sciencea u industriji i detaljno razmotriti specifične primjere u istraživanju, digitalnim humanističkim znanostima i održivosti. Pogledat ćemo prilike za studentske projekte i zaključiti s korisnim resursima koji će vam pomoći da nastavite svoje edukativno putovanje!
## Kviz prije predavanja
@ -25,7 +25,7 @@ U ovoj lekciji istražit ćemo primjene data sciencea u stvarnom svijetu kroz in
## Data Science + Industrija
Zahvaljujući demokratizaciji umjetne inteligencije, programerima je sada lakše dizajnirati i integrirati odluke vođene umjetnom inteligencijom i uvide temeljene na podacima u korisničke doživljaje i razvojne procese. Evo nekoliko primjera kako se data science "primjenjuje" u stvarnim industrijskim aplikacijama:
Zahvaljujući demokratizaciji AI-a, programerima je sada lakše dizajnirati i integrirati odluke vođene umjetnom inteligencijom i uvide temeljene na podacima u korisničke iskustve i razvojne procese. Evo nekoliko primjera kako se data science "primjenjuje" u stvarnim industrijskim aplikacijama:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) koristio je data science za povezivanje pojmova pretraživanja s trendovima gripe. Iako je pristup imao nedostatke, podigao je svijest o mogućnostima (i izazovima) predviđanja u zdravstvu temeljenog na podacima.
@ -35,13 +35,13 @@ Zahvaljujući demokratizaciji umjetne inteligencije, programerima je sada lakše
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - koristi podatke (o lokacijama preuzimanja i odredišta, trajanju vožnje, preferiranim rutama itd.) prikupljene iz milijuna Uber vožnji *dnevno* za izradu alata za analizu podataka koji pomaže u određivanju cijena, sigurnosti, otkrivanju prijevara i donošenju navigacijskih odluka.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokusira se na _prediktivnu analitiku_ (analiza timova i igrača - poput [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - i upravljanje navijačima) te_vizualizaciju podataka_ (nadzorne ploče za timove i navijače, igre itd.) s primjenama poput skautinga talenata, sportskog klađenja i upravljanja inventarom/objektima.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokusira se na _prediktivnu analitiku_ (analiza timova i igrača - poput [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - i upravljanje navijačima) i_vizualizaciju podataka_ (nadzorne ploče za timove i navijače, igre itd.) s primjenama poput skautinga talenata, sportskog klađenja i upravljanja inventarom/objektima.
* [Data Science u bankarstvu](https://data-flair.training/blogs/data-science-in-banking/) - ističe vrijednost data sciencea u financijskoj industriji s primjenama koje uključuju modeliranje rizika, otkrivanje prijevara, segmentaciju klijenata, predviđanje u stvarnom vremenu i sustave preporuka. Prediktivna analitika također pokreće ključne mjere poput [kreditnih bodova](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science u zdravstvu](https://data-flair.training/blogs/data-science-in-healthcare/) - ističe primjene poput medicinskog snimanja (npr. MRI, X-Ray, CT-Scan), genomike (sekvenciranje DNA), razvoja lijekova (procjena rizika, predviđanje uspjeha), prediktivne analitike (skrb o pacijentima i logistika opskrbe), praćenja i prevencije bolesti itd.
* [Data Science u zdravstvu](https://data-flair.training/blogs/data-science-in-healthcare/) - ističe primjene poput medicinskog snimanja (npr. MRI, X-Ray, CT-Scan), genomike (sekvenciranje DNA), razvoja lijekova (procjena rizika, predviđanje uspjeha), prediktivne analitike (skrb za pacijente i logistika opskrbe), praćenja i prevencije bolesti itd.
 Izvor slike: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Izvor slike: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Slika prikazuje druge domene i primjere primjene tehnika data sciencea. Želite istražiti druge primjene? Pogledajte odjeljak [Pregled i samostalno učenje](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) u nastavku.
@ -51,22 +51,22 @@ Slika prikazuje druge domene i primjere primjene tehnika data sciencea. Želite
| Data Science & Istraživanje - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Dok se primjene u stvarnom svijetu često fokusiraju na industrijske slučajeve korištenja u velikim razmjerima, _istraživačke_ primjene i projekti mogu biti korisni iz dvije perspektive:
Iako se primjene u stvarnom svijetu često fokusiraju na industrijske slučajeve korištenja u velikim razmjerima, _istraživačke_ primjene i projekti mogu biti korisni iz dvije perspektive:
* _prilike za inovaciju_ - istraživanje brzog prototipiranja naprednih koncepata i testiranje korisničkih iskustava za aplikacije sljedeće generacije.
* _izazovi implementacije_ - istraživanje potencijalnih šteta ili nenamjernih posljedica tehnologija data sciencea u stvarnim kontekstima.
Za studente, ovi istraživački projekti mogu pružiti prilike za učenje i suradnju koje poboljšavaju vaše razumijevanje teme te proširuju vašu svijest i angažman s relevantnim ljudima ili timovima koji rade u područjima vašeg interesa. Kako izgledaju istraživački projekti i kako mogu imati utjecaj?
Za studente, ovi istraživački projekti mogu pružiti prilike za učenje i suradnju koje poboljšavaju vaše razumijevanje teme te proširuju vašu svijest i angažman s relevantnim ljudima ili timovima koji rade u područjima interesa. Kako izgledaju istraživački projekti i kako mogu imati utjecaj?
Pogledajmo jedan primjer - [MIT Gender Shades Study](http://gendershades.org/overview.html) od Joy Buolamwini (MIT Media Labs) s [prepoznatljivim istraživačkim radom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) koji je koautorirala s Timnit Gebru (tada u Microsoft Researchu) i koji se fokusirao na:
Pogledajmo jedan primjer - [MIT Gender Shades Study](http://gendershades.org/overview.html) od Joy Buolamwini (MIT Media Labs) s [potpisanim istraživačkim radom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) koji je koautorirala Timnit Gebru (tada u Microsoft Researchu) i koji se fokusirao na:
* **Što:** Cilj istraživačkog projekta bio je _procijeniti pristranost prisutnu u algoritmima i skupovima podataka za automatsku analizu lica_ na temelju spola i tipa kože.
* **Zašto:** Analiza lica koristi se u područjima poput provođenja zakona, sigurnosti u zračnim lukama, sustava zapošljavanja i drugih - konteksti u kojima netočne klasifikacije (npr. zbog pristranosti) mogu uzrokovati potencijalne ekonomske i društvene štete za pogođene pojedince ili skupine. Razumijevanje (i uklanjanje ili ublažavanje) pristranosti ključno je za pravednost u korištenju.
* **Kako:** Istraživači su prepoznali da se postojeći referentni skupovi podataka uglavnom koriste za subjekte svjetlije kože te su kreirali novi skup podataka (1000+ slika) koji je _uravnoteženiji_ prema spolu i tipu kože. Skup podataka korišten je za procjenu točnosti tri proizvoda za klasifikaciju spola (od Microsofta, IBM-a i Face++).
* **Zašto:** Analiza lica koristi se u područjima poput provođenja zakona, sigurnosti u zračnim lukama, sustava zapošljavanja i više - konteksti u kojima netočne klasifikacije (npr. zbog pristranosti) mogu uzrokovati potencijalne ekonomske i društvene štete za pogođene pojedince ili skupine. Razumijevanje (i uklanjanje ili ublažavanje) pristranosti ključno je za pravednost u korištenju.
* **Kako:** Istraživači su prepoznali da se postojeći referentni uzorci uglavnom koriste za subjekte svjetlije kože te su kreirali novi skup podataka (1000+ slika) koji je _uravnoteženiji_ prema spolu i tipu kože. Skup podataka korišten je za procjenu točnosti tri proizvoda za klasifikaciju spola (od Microsofta, IBM-a i Face++).
Rezultati su pokazali da, iako je ukupna točnost klasifikacije bila dobra, postojala je primjetna razlika u stopama pogrešaka između različitih podskupina - s **pogrešnim određivanjem spola** češćim kod žena ili osoba tamnije kože, što ukazuje na pristranost.
Rezultati su pokazali da, iako je ukupna točnost klasifikacije bila dobra, postojala je primjetna razlika u stopama pogrešaka između različitih podskupina - s **pogrešnom klasifikacijom spola** koja je bila veća za žene ili osobe tamnije kože, što ukazuje na pristranost.
**Ključni rezultati:** Podignuta je svijest da data science treba više _reprezentativnih skupova podataka_ (uravnotežene podskupine) i više _inkluzivnih timova_ (raznolike pozadine) kako bi se pristranosti prepoznale i uklonile ili ublažile ranije u AI rješenjima. Istraživački napori poput ovog također su ključni za mnoge organizacije u definiranju principa i praksi za _odgovornu umjetnu inteligenciju_ kako bi se poboljšala pravednost u njihovim AI proizvodima i procesima.
**Ključni rezultati:** Podignuta je svijest da data science treba više _reprezentativnih skupova podataka_ (uravnotežene podskupine) i više _inkluzivnih timova_ (raznolike pozadine) kako bi se pristranosti prepoznale i uklonile ili ublažile ranije u AI rješenjima. Istraživački napori poput ovog također su ključni za mnoge organizacije u definiranju principa i praksi za _odgovorni AI_ kako bi se poboljšala pravednost u njihovim AI proizvodima i procesima.
**Želite saznati više o relevantnim istraživačkim naporima u Microsoftu?**
@ -84,15 +84,15 @@ Digitalne humanističke znanosti [definirane su](https://digitalhumanities.stanf
*Želite istražiti i proširiti projekt u ovom području?*
Pogledajte ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - sjajan primjer od [Jen Looper](https://twitter.com/jenlooper) koji postavlja pitanje kako možemo koristiti data science za ponovno razmatranje poznate poezije i preispitivanje njezina značenja te doprinosa autora u novim kontekstima. Na primjer, _možemo li predvidjeti godišnje doba u kojem je pjesma napisana analizom njezina tona ili sentimenta_ - i što nam to govori o autorovom stanju uma tijekom relevantnog razdoblja?
Pogledajte ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - izvrstan primjer od [Jen Looper](https://twitter.com/jenlooper) koji postavlja pitanje kako možemo koristiti data science za ponovno razmatranje poznate poezije i ponovno vrednovanje njezina značenja i doprinosa autora u novim kontekstima. Na primjer, _možemo li predvidjeti godišnje doba u kojem je pjesma napisana analizom njezina tona ili sentimenta_ - i što nam to govori o autorovu stanju uma tijekom relevantnog razdoblja?
Kako bismo odgovorili na to pitanje, slijedimo korake životnog ciklusa data sciencea:
Da bismo odgovorili na to pitanje, slijedimo korake životnog ciklusa data sciencea:
* [`Prikupljanje podataka`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - za prikupljanje relevantnog skupa podataka za analizu. Opcije uključuju korištenje API-ja (npr. [Poetry DB API](https://poetrydb.org/index.html)) ili struganje web stranica (npr. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) pomoću alata poput [Scrapy](https://scrapy.org/).
* [`Čišćenje podataka`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - objašnjava kako se tekst može formatirati, sanitizirati i pojednostaviti pomoću osnovnih alata poput Visual Studio Codea i Microsoft Excela.
* [`Analiza podataka`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - objašnjava kako sada možemo uvesti skup podataka u "Notebooks" za analizu pomoću Python paketa (poput pandas, numpy i matplotlib) za organizaciju i vizualizaciju podataka.
* [`Analiza sentimenta`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - objašnjava kako možemo integrirati usluge u oblaku poput Text Analyticsa, koristeći alate s malo koda poput [Power Automate](https://flow.microsoft.com/en-us/) za automatizirane radne procese obrade podataka.
Koristeći ovaj radni proces, možemo istražiti sezonske utjecaje na sentiment pjesama i pomoći nam oblikovati vlastite perspektive o autoru. Isprobajte sami - zatim proširite bilježnicu kako biste postavili druga pitanja ili vizualizirali podatke na nove načine!
Koristeći ovaj radni proces, možemo istražiti sezonske utjecaje na sentiment pjesama i pomoći nam oblikovati vlastite perspektive o autoru. Isprobajte sami - zatim proširite notebook kako biste postavili druga pitanja ili vizualizirali podatke na nove načine!
> Možete koristiti neke od alata iz [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) za istraživanje ovih područja.
@ -114,13 +114,13 @@ Rješavanje ovih izazova na skalabilan i pravovremen način zahtijeva razmišlja
* [Zatražite pristup](https://planetarycomputer.microsoft.com/account/request) kako biste započeli istraživanje i povezali se s kolegama.
* [Istražite dokumentaciju](https://planetarycomputer.microsoft.com/docs/overview/about) kako biste razumjeli podržane skupove podataka i API-je.
* Istražite aplikacije poput [Praćenje ekosustava](https://analytics-lab.org/ecosystemmonitoring/) za inspiraciju za ideje aplikacija.
* Istražite aplikacije poput [Praćenje ekosustava](https://analytics-lab.org/ecosystemmonitoring/) za inspiraciju za ideje o primjeni.
Razmislite o tome kako možete koristiti vizualizaciju podataka za otkrivanje ili naglašavanje relevantnih uvida u područjima poput klimatskih promjena i krčenja šuma. Ili razmislite o tome kako se uvidi mogu koristiti za stvaranje novih korisničkih iskustava koja motiviraju promjene ponašanja za održiviji način života.
## Podatkovna znanost + studenti
Razgovarali smo o stvarnim primjenama u industriji i istraživanju te istražili primjere primjene podatkovne znanosti u digitalnim humanističkim znanostima i održivosti. Pa kako možete razviti svoje vještine i podijeliti svoje znanje kao početnici u podatkovnoj znanosti?
Razgovarali smo o primjenama u stvarnom svijetu u industriji i istraživanju te istražili primjere primjene podatkovne znanosti u digitalnim humanističkim znanostima i održivosti. Pa kako možete izgraditi svoje vještine i podijeliti svoje znanje kao početnici u podatkovnoj znanosti?
Evo nekoliko primjera studentskih projekata iz podatkovne znanosti koji vas mogu inspirirati.
@ -131,7 +131,7 @@ Evo nekoliko primjera studentskih projekata iz podatkovne znanosti koji vas mogu
## 🚀 Izazov
Potražite članke koji preporučuju projekte iz podatkovne znanosti prilagođene početnicima - poput [ovih 50 područja](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ili [ovih 21 ideja za projekte](https://www.intellspot.com/data-science-project-ideas) ili [ovih 16 projekata s izvornim kodom](https://data-flair.training/blogs/data-science-project-ideas/) koje možete rastaviti i prilagoditi. I ne zaboravite pisati blogove o svojim putovanjima učenja i dijeliti svoje uvide s nama.
Potražite članke koji preporučuju projekte iz podatkovne znanosti prilagođene početnicima - poput [ovih 50 područja](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ili [ovih 21 ideja za projekte](https://www.intellspot.com/data-science-project-ideas) ili [ovih 16 projekata s izvornim kodom](https://data-flair.training/blogs/data-science-project-ideas/) koje možete rastaviti i ponovno sastaviti. I ne zaboravite pisati blog o svojim iskustvima učenja i podijeliti svoje uvide s nama.
## Kviz nakon predavanja
@ -139,11 +139,12 @@ Potražite članke koji preporučuju projekte iz podatkovne znanosti prilagođen
## Pregled i samostalno učenje
Želite istražiti više primjera upotrebe? Evo nekoliko relevantnih članaka:
Želite istražiti više primjera primjene? Evo nekoliko relevantnih članaka:
* [17 primjena i primjera podatkovne znanosti](https://builtin.com/data-science/data-science-applications-examples) - srpanj 2021.
* [11 zadivljujućih primjena podatkovne znanosti u stvarnom svijetu](https://myblindbird.com/data-science-applications-real-world/) - svibanj 2021.
* [Podatkovna znanost u stvarnom svijetu](https://towardsdatascience.com/data-science-in-the-real-world/home) - zbirka članaka
* Podatkovna znanost u: [Obrazovanju](https://data-flair.training/blogs/data-science-in-education/), [Poljoprivredi](https://data-flair.training/blogs/data-science-in-agriculture/), [Financijama](https://data-flair.training/blogs/data-science-in-finance/), [Filmovima](https://data-flair.training/blogs/data-science-at-movies/) i više.
* [12 primjena podatkovne znanosti u stvarnom svijetu s primjerima](https://www.scaler.com/blog/data-science-applications/) - svibanj 2024.
@ -152,4 +153,4 @@ Potražite članke koji preporučuju projekte iz podatkovne znanosti prilagođen
---
**Odricanje od odgovornosti**:
Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane ljudskog prevoditelja. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije koje proizlaze iz korištenja ovog prijevoda.
Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda.
@ -27,21 +27,21 @@ Ebben a leckében az adattudomány iparági alkalmazásait vizsgáljuk meg, és
Az AI demokratizálásának köszönhetően a fejlesztők számára egyre könnyebb AI-alapú döntéshozatali és adatvezérelt betekintéseket integrálni a felhasználói élményekbe és fejlesztési munkafolyamatokba. Íme néhány példa arra, hogyan alkalmazzák az adattudományt a való világban az ipar különböző területein:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) az adattudományt használta arra, hogy összekapcsolja a keresési kifejezéseket az influenzatrendekkel. Bár a megközelítésnek voltak hibái, felhívta a figyelmet az adatvezérelt egészségügyi előrejelzések lehetőségeire (és kihívásaira).
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) az adattudomány segítségével korrelálta a keresési kifejezéseket az influenzatrendekkel. Bár a megközelítésnek voltak hibái, felhívta a figyelmet az adatvezérelt egészségügyi előrejelzések lehetőségeire (és kihívásaira).
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - bemutatja, hogyan használja a UPS az adattudományt és gépi tanulást az optimális útvonalak előrejelzésére, figyelembe véve az időjárási viszonyokat, forgalmi mintákat, szállítási határidőket és egyebeket.
* [UPS útvonal-előrejelzések](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - bemutatja, hogyan használja az UPS az adattudományt és gépi tanulást az optimális szállítási útvonalak előrejelzésére, figyelembe véve az időjárási viszonyokat, forgalmi mintákat, szállítási határidőket és egyebeket.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - az [Információszabadság törvények](https://chriswhong.com/open-data/foil_nyc_taxi/) alapján gyűjtött adatok segítségével vizualizálták egy napot az NYC taxik életéből, segítve megérteni, hogyan navigálnak a zsúfolt városban, mennyi pénzt keresnek, és mennyi ideig tartanak az utazások egy 24 órás időszak alatt.
* [NYC Taxicab útvonal-vizualizáció](http://chriswhong.github.io/nyctaxi/) - az [Információszabadság törvények](https://chriswhong.com/open-data/foil_nyc_taxi/) alapján gyűjtött adatok segítségével vizualizálták egy napot az NYC taxik életéből, bemutatva, hogyan navigálnak a zsúfolt városban, mennyi pénzt keresnek, és mennyi ideig tartanak az utazások egy-egy 24 órás időszakban.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - napi szinten több millió Uber utazásból gyűjtött adatok (felvételi és leadási helyek, utazási időtartam, preferált útvonalak stb.) segítségével épít adat-elemző eszközt az árképzés, biztonság, csalásfelismerés és navigációs döntések támogatására.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - napi szinten több millió Uber utazásból gyűjtött adatokat (felvételi és leadási helyek, utazási időtartam, preferált útvonalak stb.) használja egy adat-elemző eszköz létrehozására, amely segít az árképzésben, biztonságban, csalásfelismerésben és navigációs döntésekben.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - a _prediktív analitikára_ (csapat- és játékoselemzés - gondolj [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - és rajongói menedzsmentre) és _adatvizualizációra_ (csapat- és rajongói irányítópultok, játékok stb.) összpontosít, olyan alkalmazásokkal, mint tehetségkutatás, sportfogadás és készlet/helyszín menedzsment.
* [Sportanalitika](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - a _prediktív analitikára_ (csapat- és játékoselemzés - gondolj [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - és rajongói menedzsmentre) és _adatvizualizációra_ (csapat- és rajongói irányítópultok, játékok stb.) összpontosít, olyan alkalmazásokkal, mint tehetségkutatás, sportfogadás és készlet/helyszín menedzsment.
* [Adattudomány a banki szektorban](https://data-flair.training/blogs/data-science-in-banking/) - kiemeli az adattudomány értékét a pénzügyi iparban, olyan alkalmazásokkal, mint kockázatmodellezés, csalásfelismerés, ügyfél-szegmentáció, valós idejű előrejelzés és ajánlórendszerek. A prediktív analitika kritikus intézkedéseket is támogat, mint például a [hitelpontszámok](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Adattudomány a banki szektorban](https://data-flair.training/blogs/data-science-in-banking/) - kiemeli az adattudomány értékét a pénzügyi iparban, olyan alkalmazásokkal, mint kockázatmodellezés és csalásfelismerés, ügyfél-szegmentáció, valós idejű előrejelzés és ajánlórendszerek. A prediktív analitika kritikus intézkedéseket is támogat, mint például [hitelpontszámok](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Adattudomány az egészségügyben](https://data-flair.training/blogs/data-science-in-healthcare/) - olyan alkalmazásokat emel ki, mint orvosi képalkotás (pl. MRI, röntgen, CT-vizsgálat), genomika (DNS szekvenálás), gyógyszerfejlesztés (kockázatértékelés, siker előrejelzés), prediktív analitika (betegellátás és ellátási logisztika), betegségek nyomon követése és megelőzése stb.
 Kép forrása: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Kép forrása: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
A fenti ábra további területeket és példákat mutat be az adattudományi technikák alkalmazására. Szeretnél további alkalmazásokat felfedezni? Nézd meg az [Áttekintés és önálló tanulás](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) szekciót alább.
@ -51,22 +51,22 @@ A fenti ábra további területeket és példákat mutat be az adattudományi te
| Adattudomány és Kutatás - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Míg a való világban az alkalmazások gyakran az ipari felhasználási esetekre összpontosítanak, a _kutatási_ alkalmazások és projektek két szempontból is hasznosak lehetnek:
Míg a való világ alkalmazásai gyakran az ipari felhasználási esetekre összpontosítanak nagy léptékben, a _kutatási_ alkalmazások és projektek két szempontból is hasznosak lehetnek:
* _innovációs lehetőségek_ - fejlett koncepciók gyors prototípusának kidolgozása és felhasználói élmények tesztelése a következő generációs alkalmazásokhoz.
* _telepítési kihívások_ - az adattudományi technológiák potenciális káros hatásainak vagy nem szándékos következményeinek vizsgálata a való világban.
A diákok számára ezek a kutatási projektek tanulási és együttműködési lehetőségeket kínálhatnak, amelyek javíthatják a téma megértését, és szélesíthetik a releváns emberekkel vagy csapatokkal való kapcsolatokat az érdeklődési területeken. Hogyan néznek ki ezek a kutatási projektek, és milyen hatással lehetnek?
A diákok számára ezek a kutatási projektek tanulási és együttműködési lehetőségeket kínálhatnak, amelyek javíthatják a téma megértését, és szélesíthetik a releváns emberekkel vagy csapatokkal való kapcsolataikat az érdeklődési területeken. De hogyan néznek ki ezek a kutatási projektek, és milyen hatással lehetnek?
Nézzünk meg egy példát - a [MIT Gender Shades Study](http://gendershades.org/overview.html) projektet Joy Buolamwini (MIT Media Labs) vezetésével, amelyhez egy [jelentős kutatási tanulmány](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) is társult, Timnit Gebru (akkor Microsoft Research) társszerzőként. A projekt célja:
* **Mi:** A kutatási projekt célja az volt, hogy _értékelje az automatikus arcelemző algoritmusok és adathalmazok torzításait_ nem és bőrszín alapján.
* **Miért:** Az arcelemzést olyan területeken használják, mint a bűnüldözés, repülőtéri biztonság, munkaerő-felvételi rendszerek és mások - olyan kontextusokban, ahol a pontatlan osztályozás (pl. torzítás miatt) gazdasági és társadalmi károkat okozhat az érintett egyéneknek vagy csoportoknak. A torzítások megértése (és megszüntetése vagy enyhítése) kulcsfontosságú a használat méltányosságához.
* **Hogyan:** A kutatók felismerték, hogy a meglévő referenciaértékek túlnyomórészt világos bőrű alanyokat használtak, és egy új adathalmazt (1000+ kép) állítottak össze, amely _kiegyensúlyozottabb_ volt nem és bőrszín szerint. Az adathalmazt három nemi osztályozási termék (Microsoft, IBM és Face++) pontosságának értékelésére használták.
* **Mi:** A kutatási projekt célja az volt, hogy _értékelje az automatikus arcfelismerő algoritmusok és adathalmazok torzításait_ nem és bőrtípus alapján.
* **Miért:** Az arcfelismerés olyan területeken használatos, mint a bűnüldözés, repülőtéri biztonság, munkaerő-felvételi rendszerek stb. - olyan kontextusokban, ahol a pontatlan osztályozás (pl. torzítás miatt) gazdasági és társadalmi károkat okozhat az érintett egyéneknek vagy csoportoknak. A torzítások megértése (és megszüntetése vagy enyhítése) kulcsfontosságú a használat méltányosságához.
* **Hogyan:** A kutatók felismerték, hogy a meglévő referenciaértékek túlnyomórészt világos bőrű alanyokat használtak, és egy új adathalmazt (1000+ kép) állítottak össze, amely _kiegyensúlyozottabb_ volt nem és bőrtípus szerint. Az adathalmazt három nemi osztályozási termék (Microsoft, IBM és Face++) pontosságának értékelésére használták.
Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság jó volt, a hibaarányok között észrevehető különbség volt az egyes alcsoportok között - a **rossz nemi besorolás** gyakoribb volt nőknél vagy sötétebb bőrszínű személyeknél, ami torzításra utal.
Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság jó volt, észrevehető különbség volt a hibaarányok között az egyes alcsoportok esetében - a **rossz nemi besorolás** gyakoribb volt nőknél vagy sötétebb bőrtípusú személyeknél, ami torzítást jelez.
**Fő eredmények:** Felhívta a figyelmet arra, hogy az adattudománynak szüksége van _reprezentatívabb adathalmazokra_ (kiegyensúlyozott alcsoportok) és _inkluzívabb csapatokra_ (sokszínű háttérrel), hogy korábban felismerjék és megszüntessék vagy enyhítsék az ilyen torzításokat az AI megoldásokban. Az ilyen kutatási erőfeszítések számos szervezet számára kulcsfontosságúak az _felelős AI_ elvek és gyakorlatok meghatározásában, hogy javítsák a méltányosságot AI termékeik és folyamataik során.
**Fő eredmények:** Felhívta a figyelmet arra, hogy az adattudománynak szüksége van _reprezentatívabb adathalmazokra_ (kiegyensúlyozott alcsoportok) és _inkluzívabb csapatokra_ (sokszínű háttérrel), hogy korábban felismerjék és megszüntessék vagy enyhítsék az ilyen torzításokat az AI megoldásokban. Az ilyen kutatási erőfeszítések számos szervezet számára alapvetőek az _felelős AI_ elvek és gyakorlatok meghatározásában, hogy javítsák a méltányosságot AI termékeik és folyamataik során.
**Szeretnél többet megtudni a Microsoft releváns kutatási erőfeszítéseiről?**
@ -80,17 +80,17 @@ Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság
| Adattudomány és Digitális Humán Tudományok - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
A digitális humán tudományokat [úgy definiálták](https://digitalhumanities.stanford.edu/about-dh-stanford), mint "gyakorlatok és megközelítések gyűjteménye, amelyek kombinálják a számítástechnikai módszereket a humán tudományos kutatással". A [Stanford projektek](https://digitalhumanities.stanford.edu/projects), mint például a _"történelem újraindítása"_ és _"költői gondolkodás"_ bemutatják a kapcsolatot a [Digitális Humán Tudományok és Adattudomány](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) között - hangsúlyozva olyan technikákat, mint hálózatelemzés, információvizualizáció, térbeli és szövegelemzés, amelyek segítenek új betekintéseket és perspektívákat nyerni történelmi és irodalmi adathalmazokból.
A digitális humán tudományokat [úgy definiálták](https://digitalhumanities.stanford.edu/about-dh-stanford), mint "gyakorlatok és megközelítések gyűjteménye, amelyek kombinálják a számítástechnikai módszereket a humán tudományos kutatással". A [Stanford projektek](https://digitalhumanities.stanford.edu/projects), mint például _"rebooting history"_ és _"poetic thinking"_ bemutatják a kapcsolatot a [Digitális Humán Tudományok és Adattudomány](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) között - hangsúlyozva olyan technikákat, mint hálózatelemzés, információvizualizáció, térbeli és szövegelemzés, amelyek segítenek új betekintéseket és perspektívákat nyerni történelmi és irodalmi adathalmazokból.
*Szeretnél felfedezni és kiterjeszteni egy projektet ezen a területen?*
*Szeretnél egy projektet felfedezni és kiterjeszteni ezen a területen?*
Nézd meg az ["Emily Dickinson és a hangulat ritmusa"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) projektet - egy remek példát [Jen Looper](https://twitter.com/jenlooper) munkájából, amely azt kérdezi, hogyan használhatjuk az adattudományt, hogy újraértékeljük az ismert költészetet, és új kontextusban vizsgáljuk meg annak jelentését és szerzőjének hozzájárulását. Például, _meg tudjuk-e jósolni, hogy egy vers melyik évszakban íródott a hangulatának vagy érzelmi tónusának elemzésével_ - és mit mond ez nekünk a szerző lelkiállapotáról az adott időszakban?
Nézd meg ["Emily Dickinson és a hangulat ritmusa"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) projektet - egy remek példát [Jen Looper](https://twitter.com/jenlooper) munkájából, amely azt vizsgálja, hogyan használhatjuk az adattudományt, hogy újraértékeljük az ismert költészetet, és új kontextusban vizsgáljuk meg annak jelentését és szerzőjének hozzájárulását. Például, _meg tudjuk-e jósolni, hogy egy vers melyik évszakban íródott a hangulatának vagy érzelmi tónusának elemzésével_ - és mit mond ez nekünk a szerző lelkiállapotáról az adott időszakban?
Ennek a kérdésnek a megválaszolásához követjük az adattudományi életciklus lépéseit:
* [`Adatgyűjtés`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - releváns adathalmaz gyűjtése elemzéshez. Lehetőségek közé tartozik API használata (pl. [Poetry DB API](https://poetrydb.org/index.html)) vagy weboldalak adatainak lekaparása (pl. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) olyan eszközökkel, mint [Scrapy](https://scrapy.org/).
* [`Adattisztítás`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - bemutatja, hogyan lehet a szöveget formázni, tisztítani és egyszerűsíteni alapvető eszközökkel, mint a Visual Studio Code és Microsoft Excel.
* [`Adatelemzés`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - bemutatja, hogyan importálhatjuk az adathalmazt "Notebookokba" elemzés céljából Python csomagokkal (mint pandas, numpy és matplotlib), hogy rendszerezzük és vizualizáljuk az adatokat.
* [`Érzelemelemzés`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - bemutatja, hogyan integrálhatunk felhőszolgáltatásokat, mint például a Text Analytics, alacsony kódú eszközökkel, mint a [Power Automate](https://flow.microsoft.com/en-us/) az automatizált adatfeldolgozási munkafolyamatokhoz.
* [`Adatelemzés`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - bemutatja, hogyan importálhatjuk az adathalmazt "Notebookokba" elemzéshez Python csomagokkal (például pandas, numpy és matplotlib), hogy szervezzük és vizualizáljuk az adatokat.
* [`Érzelemelemzés`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - bemutatja, hogyan integrálhatunk felhőszolgáltatásokat, mint például Text Analytics, alacsony kódú eszközökkel, mint a [Power Automate](https://flow.microsoft.com/en-us/) az automatizált adatfeldolgozási munkafolyamatokhoz.
Ezzel a munkafolyamattal felfedezhetjük a szezonális hatásokat a versek érzelmi tónusára, és segíthetünk saját perspektíváink kialakításában a szerzőről. Próbáld ki magad - majd bővítsd a notebookot, hogy más kérdéseket tegyél fel, vagy új módokon vizualizáld az adatokat!
@ -102,12 +102,12 @@ Ezzel a munkafolyamattal felfedezhetjük a szezonális hatásokat a versek érze
| Adattudomány és Fenntarthatóság - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
A [2030 Fenntartható Fejlődési Agenda](https://sdgs.un.org/2030agenda) - amelyet az Egyesült Nemzetek minden tagja elfogadott 2015-ben - 17 célt határoz meg, köztük olyanokat, amelyek a **bolygó védelmére** összpontosítanak a degradációtól és az éghajlatváltozás hatásaitól. A [Microsoft Fenntarthatóság](https://www.microsoft.com/en-us/sustainability) kezdeményezés támogatja ezeket a célokat azáltal, hogy technológiai megoldásokat keres és fejleszt a fenntarthatóbb jövők érdekében, [4 célra összpontosítva](https://dev
**A Planetary Computer Project jelenleg előzetes verzióban van (2021. szeptember)** - íme, hogyan kezdheted el hozzájárulásodat a fenntarthatósági megoldásokhoz adattudomány segítségével.
A [2030 Fenntartható Fejlődési Agenda](https://sdgs.un.org/2030agenda) - amelyet az Egyesült Nemzetek minden tagja elfogadott 2015-ben - 17 célt határoz meg, köztük olyanokat, amelyek a **bolygó védelmére** összpontosítanak a degradációtól és az éghajlatváltozás hatásaitól. A [Microsoft Fenntarthatósági](https://www.microsoft.com/en-us/sustainability) kezdeményezés támogatja ezeket a célokat, azzal, hogy technológiai megoldásokat keres a fenntarthatóbb jövők építéséhez, négy fő célra öss
**A Planetary Computer Project jelenleg előzetes verzióban van (2021 szeptemberétől)** - íme, hogyan kezdheted el hozzájárulni a fenntarthatósági megoldásokhoz adattudomány segítségével.
* [Kérj hozzáférést](https://planetarycomputer.microsoft.com/account/request), hogy elkezdhesd a felfedezést és kapcsolatba léphess másokkal.
* [Fedezd fel a dokumentációt](https://planetarycomputer.microsoft.com/docs/overview/about), hogy megértsd a támogatott adatállományokat és API-kat.
* Fedezz fel alkalmazásokat, mint például az [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/), hogy inspirációt nyerj alkalmazási ötletekhez.
* Fedezz fel alkalmazásokat, mint például az [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/), hogy inspirációt nyerj alkalmazásötletekhez.
Gondolkodj el azon, hogyan használhatod az adatvizualizációt arra, hogy releváns betekintéseket tárj fel vagy erősíts meg olyan területeken, mint a klímaváltozás és az erdőirtás. Vagy gondolkodj el azon, hogyan lehet ezeket a betekintéseket új felhasználói élmények létrehozására használni, amelyek motiválják a viselkedésbeli változásokat a fenntarthatóbb élet érdekében.
@ -124,7 +124,7 @@ Beszéltünk az iparban és kutatásban alkalmazott valós példákról, valamin
## 🚀 Kihívás
Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - például [ezeket az 50 tématerületet](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) vagy [ezeket a 21 projektötletet](https://www.intellspot.com/data-science-project-ideas) vagy [ezeket a 16 projektet forráskóddal](https://data-flair.training/blogs/data-science-project-ideas/), amelyeket elemezhetsz és újraalkothatsz. Ne felejtsd el blogolni tanulási utazásaidról, és oszd meg betekintéseidet velünk.
Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - például [ezeket az 50 tématerületet](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) vagy [ezeket a 21 projektötletet](https://www.intellspot.com/data-science-project-ideas) vagy [ezeket a 16 projektet forráskóddal](https://data-flair.training/blogs/data-science-project-ideas/), amelyeket elemezhetsz és újraalkothatsz. Ne felejtsd el blogolni a tanulási utazásaidról, és oszd meg betekintéseidet velünk.
## Előadás utáni kvíz
@ -133,10 +133,11 @@ Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - p
## Áttekintés és önálló tanulás
Szeretnél további felhasználási eseteket felfedezni? Íme néhány releváns cikk:
* [17 adattudományi alkalmazás és példa](https://builtin.com/data-science/data-science-applications-examples) - 2021. július
* [11 lenyűgöző adattudományi alkalmazás a való világban](https://myblindbird.com/data-science-applications-real-world/) - 2021. május
* [17 adattudományi alkalmazás és példa](https://builtin.com/data-science/data-science-applications-examples) - 2021 július
* [11 lenyűgöző adattudományi alkalmazás a való világban](https://myblindbird.com/data-science-applications-real-world/) - 2021 május
* [Adattudomány a való világban](https://towardsdatascience.com/data-science-in-the-real-world/home) - Cikkgyűjtemény
* Adattudomány az alábbi területeken: [Oktatás](https://data-flair.training/blogs/data-science-in-education/), [Mezőgazdaság](https://data-flair.training/blogs/data-science-in-agriculture/), [Pénzügy](https://data-flair.training/blogs/data-science-in-finance/), [Filmek](https://data-flair.training/blogs/data-science-at-movies/) és még sok más.
* [12 valódi adattudományi alkalmazás példákkal](https://www.scaler.com/blog/data-science-applications/) - 2024 május
* Adattudomány az alábbi területeken: [Oktatás](https://data-flair.training/blogs/data-science-in-education/), [Mezőgazdaság](https://data-flair.training/blogs/data-science-in-agriculture/), [Pénzügy](https://data-flair.training/blogs/data-science-in-finance/), [Filmek](https://data-flair.training/blogs/data-science-at-movies/), [Egészségügy](https://onlinedegrees.sandiego.edu/data-science-health-care/) és még sok más.
## Feladat
@ -144,5 +145,5 @@ Szeretnél további felhasználási eseteket felfedezni? Íme néhány releváns
---
**Felelősségkizárása**:
Ez a dokumentum az AI fordítási szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális emberi fordítást igénybe venni. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely a fordítás használatából eredhet.
**Felelősségkizárás**:
Ez a dokumentum az [Co-op Translator](https://github.com/Azure/co-op-translator) AI fordítási szolgáltatás segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális, emberi fordítást igénybe venni. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy téves értelmezésekért.
| Ilmu Data di Dunia Nyata - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_|
| Ilmu Data di Dunia Nyata - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
Kita hampir sampai di akhir perjalanan pembelajaran ini!
Kita memulai dengan definisi ilmu data dan etika, mengeksplorasi berbagai alat & teknik untuk analisis dan visualisasi data, meninjau siklus hidup ilmu data, dan melihat bagaimana meningkatkan skala serta mengotomatisasi alur kerja ilmu data dengan layanan komputasi awan. Jadi, Anda mungkin bertanya-tanya: _"Bagaimana tepatnya saya dapat memetakan semua pembelajaran ini ke dalam konteks dunia nyata?"_
Kita mulai dengan definisi ilmu data dan etika, mengeksplorasi berbagai alat & teknik untuk analisis dan visualisasi data, meninjau siklus hidup ilmu data, dan melihat bagaimana skalabilitas dan otomatisasi alur kerja ilmu data dapat dilakukan dengan layanan komputasi awan. Jadi, Anda mungkin bertanya: _"Bagaimana tepatnya saya dapat menerapkan semua pembelajaran ini ke dalam konteks dunia nyata?"_
Dalam pelajaran ini, kita akan mengeksplorasi aplikasi ilmu data di dunia nyata di berbagai industri dan menyelami contoh spesifik dalam konteks penelitian, humaniora digital, dan keberlanjutan. Kita juga akan melihat peluang proyek mahasiswa dan menyimpulkan dengan sumber daya yang berguna untuk membantu Anda melanjutkan perjalanan pembelajaran Anda!
@ -25,74 +25,74 @@ Dalam pelajaran ini, kita akan mengeksplorasi aplikasi ilmu data di dunia nyata
## Ilmu Data + Industri
Berkat demokratisasi AI, pengembang kini lebih mudah merancang dan mengintegrasikan pengambilan keputusan berbasis AI dan wawasan berbasis data ke dalam pengalaman pengguna dan alur kerja pengembangan. Berikut beberapa contoh bagaimana ilmu data "diterapkan" dalam aplikasi dunia nyata di berbagai industri:
Berkat demokratisasi AI, pengembang kini lebih mudah merancang dan mengintegrasikan pengambilan keputusan berbasis AI serta wawasan berbasis data ke dalam pengalaman pengguna dan alur kerja pengembangan. Berikut beberapa contoh bagaimana ilmu data "diterapkan" dalam aplikasi dunia nyata di berbagai industri:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) menggunakan ilmu data untuk menghubungkan istilah pencarian dengan tren flu. Meskipun pendekatan ini memiliki kekurangan, hal ini meningkatkan kesadaran akan kemungkinan (dan tantangan) prediksi kesehatan berbasis data.
* [Prediksi Rute UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - menjelaskan bagaimana UPS menggunakan ilmu data dan pembelajaran mesin untuk memprediksi rute optimal pengiriman, dengan mempertimbangkan kondisi cuaca, pola lalu lintas, tenggat waktu pengiriman, dan lainnya.
* [Prediksi Rute UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - menjelaskan bagaimana UPS menggunakan ilmu data dan pembelajaran mesin untuk memprediksi rute optimal untuk pengiriman, dengan mempertimbangkan kondisi cuaca, pola lalu lintas, tenggat waktu pengiriman, dan lainnya.
* [Visualisasi Rute Taksi NYC](http://chriswhong.github.io/nyctaxi/) - data yang dikumpulkan menggunakan [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) membantu memvisualisasikan satu hari dalam kehidupan taksi NYC, membantu kita memahami bagaimana mereka menavigasi kota yang sibuk, pendapatan yang mereka hasilkan, dan durasi perjalanan selama periode 24 jam.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - menggunakan data (lokasi penjemputan & pengantaran, durasi perjalanan, rute yang disukai, dll.) yang dikumpulkan dari jutaan perjalanan Uber *setiap hari* untuk membangun alat analitik data yang membantu dalam penetapan harga, keselamatan, deteksi penipuan, dan pengambilan keputusan navigasi.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - menggunakan data (lokasi penjemputan & pengantaran, durasi perjalanan, rute yang disukai, dll.) yang dikumpulkan dari jutaan perjalanan Uber *setiap hari* untuk membangun alat analitik data yang membantu dalam penentuan harga, keselamatan, deteksi penipuan, dan keputusan navigasi.
* [Analitik Olahraga](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - berfokus pada _analitik prediktif_ (analisis tim dan pemain - seperti [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - dan manajemen penggemar) dan _visualisasi data_ (dasbor tim & penggemar, permainan, dll.) dengan aplikasi seperti pencarian bakat, perjudian olahraga, dan manajemen inventaris/venue.
* [Ilmu Data di Perbankan](https://data-flair.training/blogs/data-science-in-banking/) - menyoroti nilai ilmu data di industri keuangan dengan aplikasi mulai dari pemodelan risiko dan deteksi penipuan, hingga segmentasi pelanggan, prediksi waktu nyata, dan sistem rekomendasi. Analitik prediktif juga mendorong langkah-langkah penting seperti [skor kredit](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Ilmu Data di Kesehatan](https://data-flair.training/blogs/data-science-in-healthcare/) - menyoroti aplikasi seperti pencitraan medis (misalnya, MRI, X-Ray, CT-Scan), genomik (pengurutan DNA), pengembangan obat (penilaian risiko, prediksi keberhasilan), analitik prediktif (perawatan pasien & logistik pasokan), pelacakan & pencegahan penyakit, dll.
* [Ilmu Data di Kesehatan](https://data-flair.training/blogs/data-science-in-healthcare/) - menyoroti aplikasi seperti pencitraan medis (misalnya, MRI, X-Ray, CT-Scan), genomik (sekuensing DNA), pengembangan obat (penilaian risiko, prediksi keberhasilan), analitik prediktif (perawatan pasien & logistik pasokan), pelacakan & pencegahan penyakit, dll.
 Kredit Gambar: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Kredit Gambar: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Gambar ini menunjukkan domain lain dan contoh penerapan teknik ilmu data. Ingin mengeksplorasi aplikasi lainnya? Lihat bagian [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) di bawah.
Gambar tersebut menunjukkan domain lain dan contoh penerapan teknik ilmu data. Ingin mengeksplorasi aplikasi lainnya? Lihat bagian [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) di bawah ini.
## Ilmu Data + Penelitian
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Ilmu Data & Penelitian - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_|
| Ilmu Data & Penelitian - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
Sementara aplikasi dunia nyata sering kali berfokus pada kasus penggunaan industri dalam skala besar, aplikasi dan proyek _penelitian_ dapat berguna dari dua perspektif:
* _peluang inovasi_ - mengeksplorasi prototipe cepat konsep lanjutan dan pengujian pengalaman pengguna untuk aplikasi generasi berikutnya.
* _tantangan penerapan_ - menyelidiki potensi bahaya atau konsekuensi yang tidak diinginkan dari teknologi ilmu data dalam konteks dunia nyata.
Bagi mahasiswa, proyek penelitian ini dapat memberikan peluang pembelajaran dan kolaborasi yang meningkatkan pemahaman Anda tentang topik tersebut, serta memperluas kesadaran dan keterlibatan Anda dengan orang atau tim yang relevan yang bekerja di bidang yang diminati. Jadi, seperti apa proyek penelitian itu dan bagaimana mereka dapat memberikan dampak?
Bagi mahasiswa, proyek penelitian ini dapat memberikan peluang pembelajaran dan kolaborasi yang dapat meningkatkan pemahaman Anda tentang topik tersebut, serta memperluas kesadaran dan keterlibatan Anda dengan orang atau tim yang relevan yang bekerja di bidang yang diminati. Jadi, seperti apa proyek penelitian itu dan bagaimana mereka dapat memberikan dampak?
Mari kita lihat satu contoh - [MIT Gender Shades Study](http://gendershades.org/overview.html) dari Joy Buolamwini (MIT Media Labs) dengan [makalah penelitian utama](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) yang ditulis bersama Timnit Gebru (saat itu di Microsoft Research) yang berfokus pada:
Mari kita lihat satu contoh - [MIT Gender Shades Study](http://gendershades.org/overview.html) dari Joy Buolamwini (MIT Media Labs) dengan [makalah penelitian utama](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) yang ditulis bersama dengan Timnit Gebru (saat itu di Microsoft Research) yang berfokus pada:
* **Apa:** Tujuan dari proyek penelitian ini adalah untuk_mengevaluasi bias yang ada dalam algoritma dan dataset analisis wajah otomatis_ berdasarkan jenis kelamin dan warna kulit.
* **Mengapa:** Analisis wajah digunakan di bidang seperti penegakan hukum, keamanan bandara, sistem perekrutan, dan lainnya - konteks di mana klasifikasi yang tidak akurat (misalnya, karena bias) dapat menyebabkan potensi kerugian ekonomi dan sosial bagi individu atau kelompok yang terkena dampak. Memahami (dan menghilangkan atau mengurangi) bias adalah kunci untuk keadilan dalam penggunaan.
* **Apa:** Tujuan proyek penelitian adalah _mengevaluasi bias yang ada dalam algoritma analisis wajah otomatis dan dataset_ berdasarkan jenis kelamin dan warna kulit.
* **Mengapa:** Analisis wajah digunakan di area seperti penegakan hukum, keamanan bandara, sistem perekrutan, dan lainnya - konteks di mana klasifikasi yang tidak akurat (misalnya, karena bias) dapat menyebabkan potensi kerugian ekonomi dan sosial bagi individu atau kelompok yang terkena dampak. Memahami (dan menghilangkan atau mengurangi) bias adalah kunci untuk keadilan dalam penggunaan.
* **Bagaimana:** Peneliti menyadari bahwa tolok ukur yang ada sebagian besar menggunakan subjek berkulit terang, dan mengkurasi dataset baru (1000+ gambar) yang _lebih seimbang_ berdasarkan jenis kelamin dan warna kulit. Dataset ini digunakan untuk mengevaluasi akurasi tiga produk klasifikasi gender (dari Microsoft, IBM & Face++).
Hasil menunjukkan bahwa meskipun akurasi klasifikasi secara keseluruhan baik, terdapat perbedaan yang mencolok dalam tingkat kesalahan antara berbagai subkelompok - dengan **kesalahan pengenalan gender** lebih tinggi untuk perempuan atau individu dengan warna kulit lebih gelap, yang menunjukkan adanya bias.
Hasil menunjukkan bahwa meskipun akurasi klasifikasi keseluruhan baik, terdapat perbedaan yang mencolok dalam tingkat kesalahan antara berbagai subkelompok - dengan **kesalahan penggolongan gender** lebih tinggi pada perempuan atau orang dengan warna kulit lebih gelap, yang menunjukkan adanya bias.
**Hasil Utama:** Meningkatkan kesadaran bahwa ilmu data membutuhkan _dataset yang lebih representatif_ (subkelompok yang seimbang) dan _tim yang lebih inklusif_ (latar belakang yang beragam) untuk mengenali dan menghilangkan atau mengurangi bias seperti ini lebih awal dalam solusi AI. Upaya penelitian seperti ini juga berperan penting dalam banyak organisasi dalam mendefinisikan prinsip dan praktik untuk _AI yang bertanggung jawab_ guna meningkatkan keadilan di seluruh produk dan proses AI mereka.
**Hasil Utama:** Meningkatkan kesadaran bahwa ilmu data membutuhkan lebih banyak _dataset yang representatif_ (subkelompok yang seimbang) dan lebih banyak _tim yang inklusif_ (latar belakang yang beragam) untuk mengenali dan menghilangkan atau mengurangi bias seperti ini lebih awal dalam solusi AI. Upaya penelitian seperti ini juga berperan penting dalam banyak organisasi dalam mendefinisikan prinsip dan praktik untuk _AI yang bertanggung jawab_ guna meningkatkan keadilan di seluruh produk dan proses AI mereka.
**Ingin mempelajari upaya penelitian yang relevan di Microsoft?**
* Lihat [Proyek Penelitian Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) tentang Kecerdasan Buatan.
* Jelajahi proyek mahasiswa dari [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Lihat proyek [Fairlearn](https://fairlearn.org/) dan inisiatif [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Lihat proyek [Fairlearn](https://fairlearn.org/) dan inisiatif [AI yang Bertanggung Jawab](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Ilmu Data + Humaniora
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Ilmu Data & Humaniora Digital - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_|
| Ilmu Data & Humaniora Digital - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
Humaniora Digital [didefinisikan](https://digitalhumanities.stanford.edu/about-dh-stanford) sebagai "sebuah kumpulan praktik dan pendekatan yang menggabungkan metode komputasi dengan penyelidikan humanistik". Proyek-proyek[Stanford](https://digitalhumanities.stanford.edu/projects) seperti _"rebooting history"_ dan _"poetic thinking"_ menggambarkan hubungan antara [Humaniora Digital dan Ilmu Data](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - menekankan teknik seperti analisis jaringan, visualisasi informasi, analisis spasial dan teks yang dapat membantu kita meninjau kembali dataset sejarah dan sastra untuk mendapatkan wawasan dan perspektif baru.
Humaniora Digital [didefinisikan](https://digitalhumanities.stanford.edu/about-dh-stanford) sebagai "sebuah kumpulan praktik dan pendekatan yang menggabungkan metode komputasi dengan penyelidikan humanistik". [Proyek Stanford](https://digitalhumanities.stanford.edu/projects) seperti _"rebooting history"_ dan _"poetic thinking"_ menggambarkan hubungan antara [Humaniora Digital dan Ilmu Data](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - menekankan teknik seperti analisis jaringan, visualisasi informasi, analisis spasial dan teks yang dapat membantu kita meninjau kembali dataset sejarah dan sastra untuk mendapatkan wawasan dan perspektif baru.
*Ingin mengeksplorasi dan memperluas proyek di bidang ini?*
Lihat ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - contoh hebat dari [Jen Looper](https://twitter.com/jenlooper) yang bertanya bagaimana kita dapat menggunakan ilmu data untuk meninjau kembali puisi yang sudah dikenal dan mengevaluasi ulang maknanya serta kontribusi penulisnya dalam konteks baru. Misalnya, _bisakah kita memprediksi musim di mana sebuah puisi ditulis dengan menganalisis nada atau sentimennya_ - dan apa yang hal ini katakan tentang keadaan pikiran penulis selama periode tersebut?
Untuk menjawab pertanyaan itu, kita mengikuti langkah-langkah siklus hidup ilmu data:
* [`Pengumpulan Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - untuk mengumpulkan dataset yang relevan untuk analisis. Pilihan termasuk menggunakan API (misalnya, [Poetry DB API](https://poetrydb.org/index.html)) atau mengikis halaman web (misalnya, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) menggunakan alat seperti [Scrapy](https://scrapy.org/).
* [`Akuisisi Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - untuk mengumpulkan dataset yang relevan untuk analisis. Pilihan termasuk menggunakan API (misalnya, [Poetry DB API](https://poetrydb.org/index.html)) atau scraping halaman web (misalnya, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) menggunakan alat seperti [Scrapy](https://scrapy.org/).
* [`Pembersihan Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - menjelaskan bagaimana teks dapat diformat, disanitasi, dan disederhanakan menggunakan alat dasar seperti Visual Studio Code dan Microsoft Excel.
* [`Analisis Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - menjelaskan bagaimana kita dapat mengimpor dataset ke dalam "Notebooks" untuk analisis menggunakan paket Python (seperti pandas, numpy, dan matplotlib) untuk mengorganisasi dan memvisualisasikan data.
* [`Analisis Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - menjelaskan bagaimana kita dapat mengimpor dataset ke dalam "Notebook" untuk analisis menggunakan paket Python (seperti pandas, numpy, dan matplotlib) untuk mengorganisasi dan memvisualisasikan data.
* [`Analisis Sentimen`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - menjelaskan bagaimana kita dapat mengintegrasikan layanan cloud seperti Text Analytics, menggunakan alat low-code seperti [Power Automate](https://flow.microsoft.com/en-us/) untuk alur kerja pemrosesan data otomatis.
Dengan menggunakan alur kerja ini, kita dapat mengeksplorasi dampak musiman pada sentimen puisi, dan membantu kita membentuk perspektif kita sendiri tentang penulisnya. Cobalah sendiri - lalu perluas notebook untuk mengajukan pertanyaan lain atau memvisualisasikan data dengan cara baru!
Menggunakan alur kerja ini, kita dapat mengeksplorasi dampak musiman pada sentimen puisi, dan membantu kita membentuk perspektif kita sendiri tentang penulisnya. Cobalah sendiri - lalu perluas notebook untuk mengajukan pertanyaan lain atau memvisualisasikan data dengan cara baru!
> Anda dapat menggunakan beberapa alat dalam [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) untuk mengejar jalur penyelidikan ini.
@ -100,38 +100,38 @@ Dengan menggunakan alur kerja ini, kita dapat mengeksplorasi dampak musiman pada
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Ilmu Data & Keberlanjutan - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_|
| Ilmu Data & Keberlanjutan - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 untuk Pembangunan Berkelanjutan](https://sdgs.un.org/2030agenda) - yang diadopsi oleh semua anggota Perserikatan Bangsa-Bangsa pada tahun 2015 - mengidentifikasi 17 tujuan termasuk yang berfokus pada **Melindungi Planet** dari degradasi dan dampak perubahan iklim. Inisiatif [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) mendukung tujuan-tujuan ini dengan mengeksplorasi cara-cara di mana solusi teknologi dapat mendukung dan membangun masa depan yang lebih berkelanjutan dengan [fokus pada 4 tujuan](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - menjadi karbon negatif, positif air, nol limbah, dan bio-diverse pada tahun 2030.
[Agenda 2030 untuk Pembangunan Berkelanjutan](https://sdgs.un.org/2030agenda) - yang diadopsi oleh semua anggota Perserikatan Bangsa-Bangsa pada tahun 2015 - mengidentifikasi 17 tujuan termasuk yang berfokus pada **Melindungi Planet** dari degradasi dan dampak perubahan iklim. Inisiatif [Keberlanjutan Microsoft](https://www.microsoft.com/en-us/sustainability) mendukung tujuan-tujuan ini dengan mengeksplorasi cara-cara di mana solusi teknologi dapat mendukung dan membangun masa depan yang lebih berkelanjutan dengan [fokus pada 4 tujuan](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - menjadi karbon negatif, air positif, nol limbah, dan bio-diversitas pada tahun 2030.
Mengatasi tantangan ini secara skala besar dan tepat waktu membutuhkan pemikiran skala awan - dan data dalam skala besar. Inisiatif [Planetary Computer](https://planetarycomputer.microsoft.com/) menyediakan 4 komponen untuk membantu ilmuwan data dan pengembang dalam upaya ini:
Mengatasi tantangan ini secara skala besar dan tepat waktu membutuhkan pemikiran skala cloud - dan data dalam jumlah besar. Inisiatif [Planetary Computer](https://planetarycomputer.microsoft.com/) menyediakan 4 komponen untuk membantu ilmuwan data dan pengembang dalam upaya ini:
* [Katalog Data](https://planetarycomputer.microsoft.com/catalog) - dengan petabyte data Sistem Bumi (gratis & di-host di Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - untuk membantu pengguna mencari data yang relevan di seluruh ruang dan waktu.
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - untuk membantu pengguna mencari data yang relevan di berbagai ruang dan waktu.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - lingkungan terkelola untuk ilmuwan memproses dataset geospasial besar.
* [Aplikasi](https://planetarycomputer.microsoft.com/applications) - menampilkan kasus penggunaan & alat untuk wawasan keberlanjutan.
**Proyek Planetary Computer saat ini dalam tahap pratinjau (per September 2021)** - berikut cara Anda dapat mulai berkontribusi pada solusi keberlanjutan menggunakan ilmu data.
* [Ajukan akses](https://planetarycomputer.microsoft.com/account/request) untuk mulai eksplorasi dan terhubung dengan rekan-rekan.
* [Ajukan akses](https://planetarycomputer.microsoft.com/account/request) untuk memulai eksplorasi dan terhubung dengan rekan-rekan.
* [Jelajahi dokumentasi](https://planetarycomputer.microsoft.com/docs/overview/about) untuk memahami dataset dan API yang didukung.
* Jelajahi aplikasi seperti [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) untuk mendapatkan inspirasi ide aplikasi.
* Jelajahi aplikasi seperti [Pemantauan Ekosistem](https://analytics-lab.org/ecosystemmonitoring/) untuk mendapatkan inspirasi ide aplikasi.
Pikirkan bagaimana Anda dapat menggunakan visualisasi data untuk mengungkapkan atau memperkuat wawasan yang relevan dalam bidang seperti perubahan iklim dan deforestasi. Atau pikirkan bagaimana wawasan tersebut dapat digunakan untuk menciptakan pengalaman pengguna baru yang memotivasi perubahan perilaku menuju gaya hidup yang lebih berkelanjutan.
## Ilmu Data + Mahasiswa
Kami telah membahas aplikasi dunia nyata di industri dan penelitian, serta mengeksplorasi contoh aplikasi ilmu data dalam humaniora digital dan keberlanjutan. Jadi, bagaimana Anda dapat membangun keterampilan dan berbagi keahlian Anda sebagai pemula dalam ilmu data?
Kami telah membahas aplikasi dunia nyata di industri dan penelitian, serta mengeksplorasi contoh aplikasi ilmu data dalam humaniora digital dan keberlanjutan. Jadi, bagaimana Anda dapat membangun keterampilan Anda dan berbagi keahlian sebagai pemula dalam ilmu data?
Berikut beberapa contoh proyek ilmu data mahasiswa untuk menginspirasi Anda.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) dengan GitHub [projects](https://github.com/msr-ds3) yang mengeksplorasi topik seperti:
- [Bias Rasial dalam Penggunaan Kekerasan oleh Polisi](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Keandalan Sistem Subway NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitizing Material Culture: Menjelajahi distribusi sosial-ekonomi di Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - dari [Ornella Altunyan](https://twitter.com/ornelladotcom) dan tim di Claremont, menggunakan [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) dengan GitHub [proyek](https://github.com/msr-ds3) yang mengeksplorasi topik seperti:
- [Bias Rasial dalam Penggunaan Kekerasan oleh Polisi](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Keandalan Sistem Subway NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisasi Budaya Material: Mengeksplorasi distribusi sosial-ekonomi di Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - dari [Ornella Altunyan](https://twitter.com/ornelladotcom) dan tim di Claremont, menggunakan [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Tantangan
Cari artikel yang merekomendasikan proyek ilmu data yang ramah pemula - seperti [50 topik ini](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) atau [21 ide proyek ini](https://www.intellspot.com/data-science-project-ideas) atau [16 proyek ini dengan kode sumber](https://data-flair.training/blogs/data-science-project-ideas/) yang dapat Anda analisis dan modifikasi. Jangan lupa untuk menulis blog tentang perjalanan pembelajaran Anda dan berbagi wawasan dengan kami semua.
Cari artikel yang merekomendasikan proyek ilmu data yang ramah pemula - seperti [50 topik ini](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) atau [21 ide proyek ini](https://www.intellspot.com/data-science-project-ideas) atau [16 proyek ini dengan kode sumber](https://data-flair.training/blogs/data-science-project-ideas/) yang dapat Anda analisis dan modifikasi. Jangan lupa untuk menulis blog tentang perjalanan belajar Anda dan berbagi wawasan dengan kami semua.
## Kuis Pasca-Kuliah
@ -140,10 +140,11 @@ Cari artikel yang merekomendasikan proyek ilmu data yang ramah pemula - seperti
## Tinjauan & Studi Mandiri
Ingin mengeksplorasi lebih banyak kasus penggunaan? Berikut beberapa artikel yang relevan:
* [17 Aplikasi dan Contoh Ilmu Data](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplikasi Ilmu Data yang Menakjubkan di Dunia Nyata](https://myblindbird.com/data-science-applications-real-world/) - Mei 2021
* [Ilmu Data di Dunia Nyata](https://towardsdatascience.com/data-science-in-the-real-world/home) - Koleksi Artikel
* Ilmu Data Dalam: [Pendidikan](https://data-flair.training/blogs/data-science-in-education/), [Pertanian](https://data-flair.training/blogs/data-science-in-agriculture/), [Keuangan](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/) & lainnya.
* [17 Aplikasi dan Contoh Ilmu Data](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplikasi Ilmu Data yang Menakjubkan di Dunia Nyata](https://myblindbird.com/data-science-applications-real-world/) - Mei 2021
* [Ilmu Data di Dunia Nyata](https://towardsdatascience.com/data-science-in-the-real-world/home) - Koleksi Artikel
* [12 Aplikasi Ilmu Data Dunia Nyata dengan Contoh](https://www.scaler.com/blog/data-science-applications/) - Mei 2024
* Ilmu Data Dalam: [Pendidikan](https://data-flair.training/blogs/data-science-in-education/), [Pertanian](https://data-flair.training/blogs/data-science-in-agriculture/), [Keuangan](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/), [Perawatan Kesehatan](https://onlinedegrees.sandiego.edu/data-science-health-care/) & lainnya.
## Tugas
@ -152,4 +153,4 @@ Ingin mengeksplorasi lebih banyak kasus penggunaan? Berikut beberapa artikel yan
---
**Penafian**:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk memberikan hasil yang akurat, harap diperhatikan bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang berwenang. Untuk informasi yang bersifat kritis, disarankan menggunakan jasa penerjemah manusia profesional. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini.
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk memberikan hasil yang akurat, harap diperhatikan bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang berwenang. Untuk informasi yang bersifat kritis, disarankan menggunakan jasa terjemahan manusia profesional. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini.
| La Scienza dei Dati nel Mondo Reale - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
| Data Science nel Mondo Reale - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
Siamo quasi alla fine di questo percorso di apprendimento!
Abbiamo iniziato con le definizioni di scienza dei dati ed etica, esplorato vari strumenti e tecniche per l'analisi e la visualizzazione dei dati, esaminato il ciclo di vita della scienza dei dati e analizzato come scalare e automatizzare i flussi di lavoro della scienza dei dati con i servizi di cloud computing. Quindi, probabilmente ti starai chiedendo: _"Come posso applicare tutto ciò che ho imparato ai contesti del mondo reale?"_
Abbiamo iniziato con le definizioni di data science ed etica, esplorato vari strumenti e tecniche per l'analisi e la visualizzazione dei dati, esaminato il ciclo di vita della data science e analizzato come scalare e automatizzare i flussi di lavoro di data science con i servizi di cloud computing. Quindi, probabilmente ti starai chiedendo: _"Come posso applicare tutto ciò che ho imparato ai contesti del mondo reale?"_
In questa lezione, esploreremo le applicazioni reali della scienza dei dati nei vari settori e approfondiremo esempi specifici nei contesti della ricerca, delle scienze umane digitali e della sostenibilità. Esamineremo opportunità di progetti per studenti e concluderemo con risorse utili per continuare il tuo percorso di apprendimento!
In questa lezione, esploreremo le applicazioni reali della data science in diversi settori e approfondiremo esempi specifici nei contesti della ricerca, delle discipline umanistiche digitali e della sostenibilità. Esamineremo le opportunità di progetti per studenti e concluderemo con risorse utili per continuare il tuo percorso di apprendimento!
Grazie alla democratizzazione dell'IA, gli sviluppatori trovano sempre più facile progettare e integrare decisioni guidate dall'IA e intuizioni basate sui dati nelle esperienze utente e nei flussi di lavoro di sviluppo. Ecco alcuni esempi di come la scienza dei dati viene "applicata" a contesti reali nell'industria:
Grazie alla democratizzazione dell'AI, gli sviluppatori trovano sempre più facile progettare e integrare decisioni basate sull'intelligenza artificiale e intuizioni basate sui dati nelle esperienze utente e nei flussi di lavoro di sviluppo. Ecco alcuni esempi di come la data science viene "applicata" a contesti reali nell'industria:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ha utilizzato la scienza dei dati per correlare i termini di ricerca con le tendenze dell'influenza. Sebbene l'approccio avesse delle lacune, ha sollevato consapevolezza sulle possibilità (e sfide) delle previsioni sanitarie basate sui dati.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ha utilizzato la data science per correlare i termini di ricerca con le tendenze influenzali. Sebbene l'approccio avesse dei difetti, ha aumentato la consapevolezza sulle possibilità (e sfide) delle previsioni sanitarie basate sui dati.
* [Previsioni di Routing di UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - spiega come UPS utilizza la scienza dei dati e il machine learning per prevedere i percorsi ottimali per le consegne, tenendo conto delle condizioni meteorologiche, dei modelli di traffico, delle scadenze di consegna e altro ancora.
* [Previsioni di Routing UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - spiega come UPS utilizza la data science e il machine learning per prevedere i percorsi ottimali per le consegne, tenendo conto delle condizioni meteorologiche, dei modelli di traffico, delle scadenze di consegna e altro ancora.
* [Visualizzazione dei Percorsi dei Taxi di NYC](http://chriswhong.github.io/nyctaxi/) - i dati raccolti utilizzando le [Leggi sulla Libertà di Informazione](https://chriswhong.com/open-data/foil_nyc_taxi/) hanno aiutato a visualizzare una giornata nella vita dei taxi di NYC, permettendoci di capire come navigano nella città affollata, i guadagni e la durata dei viaggi in un periodo di 24 ore.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - utilizza i dati (su luoghi di prelievo e rilascio, durata dei viaggi, percorsi preferiti, ecc.) raccolti da milioni di viaggi Uber *quotidianamente* per costruire uno strumento di analisi dei dati utile per prezzi, sicurezza, rilevamento delle frodi e decisioni di navigazione.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - utilizza i dati (su luoghi di prelievo e consegna, durata dei viaggi, percorsi preferiti ecc.) raccolti da milioni di viaggi Uber *quotidianamente* per costruire uno strumento di analisi dei dati utile per prezzi, sicurezza, rilevamento delle frodi e decisioni di navigazione.
* [Analisi Sportiva](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - si concentra su _analisi predittiva_ (analisi di squadra e giocatori - pensa a [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - e gestione dei fan) e _visualizzazione dei dati_ (dashboard per squadre e fan, giochi, ecc.) con applicazioni come scouting di talenti, scommesse sportive e gestione di inventari/luoghi.
* [Analisi Sportiva](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - si concentra su _analisi predittiva_ (analisi di squadra e giocatori - pensa a [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - e gestione dei fan) e _visualizzazione dei dati_ (dashboard di squadra e fan, giochi ecc.) con applicazioni come scouting di talenti, scommesse sportive e gestione di inventari/luoghi.
* [Scienza dei Dati nel Settore Bancario](https://data-flair.training/blogs/data-science-in-banking/) - evidenzia il valore della scienza dei dati nel settore finanziario con applicazioni che vanno dalla modellazione del rischio e rilevamento delle frodi, alla segmentazione dei clienti, previsioni in tempo reale e sistemi di raccomandazione. L'analisi predittiva guida anche misure critiche come i [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science nel Settore Bancario](https://data-flair.training/blogs/data-science-in-banking/) - evidenzia il valore della data science nel settore finanziario con applicazioni che vanno dalla modellazione del rischio e rilevamento delle frodi, alla segmentazione dei clienti, previsioni in tempo reale e sistemi di raccomandazione. L'analisi predittiva guida anche misure critiche come i [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Scienza dei Dati nella Sanità](https://data-flair.training/blogs/data-science-in-healthcare/) - evidenzia applicazioni come imaging medico (es. MRI, radiografie, TAC), genomica (sequenziamento del DNA), sviluppo di farmaci (valutazione del rischio, previsione del successo), analisi predittiva (cura dei pazienti e logistica delle forniture), monitoraggio e prevenzione delle malattie, ecc.
* [Data Science nella Sanità](https://data-flair.training/blogs/data-science-in-healthcare/) - evidenzia applicazioni come imaging medico (ad esempio, MRI, raggi X, TAC), genomica (sequenziamento del DNA), sviluppo di farmaci (valutazione del rischio, previsione del successo), analisi predittiva (cura dei pazienti e logistica delle forniture), monitoraggio e prevenzione delle malattie ecc.
 Crediti Immagine: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crediti Immagine: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
La figura mostra altri domini ed esempi di applicazione delle tecniche di scienza dei dati. Vuoi esplorare altre applicazioni? Dai un'occhiata alla sezione [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) qui sotto.
La figura mostra altri domini ed esempi per l'applicazione delle tecniche di data science. Vuoi esplorare altre applicazioni? Dai un'occhiata alla sezione [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) qui sotto.
## Scienza dei Dati + Ricerca
## Data Science + Ricerca
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Scienza dei Dati& Ricerca - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
| Data Science& Ricerca - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
Mentre le applicazioni reali spesso si concentrano su casi d'uso industriali su larga scala, le applicazioni e i progetti di _ricerca_ possono essere utili da due prospettive:
* _opportunità di innovazione_ - esplorare prototipi rapidi di concetti avanzati e testare esperienze utente per applicazioni di nuova generazione.
* _sfide di implementazione_ - indagare i potenziali danni o le conseguenze non intenzionali delle tecnologie di scienza dei dati nei contesti reali.
* _sfide di implementazione_ - indagare i potenziali danni o conseguenze indesiderate delle tecnologie di data science nei contesti reali.
Per gli studenti, questi progetti di ricerca possono offrire opportunità di apprendimento e collaborazione che migliorano la comprensione dell'argomento e ampliano la consapevolezza e il coinvolgimento con persone o team rilevanti che lavorano in aree di interesse. Ma come sono i progetti di ricerca e quale impatto possono avere?
Per gli studenti, questi progetti di ricerca possono offrire opportunità di apprendimento e collaborazione che migliorano la comprensione dell'argomento e ampliano la consapevolezza e il coinvolgimento con persone o team rilevanti che lavorano in aree di interesse. Ma come sono i progetti di ricerca e come possono avere un impatto?
Esaminiamo un esempio: lo [Studio Gender Shades del MIT](http://gendershades.org/overview.html) di Joy Buolamwini (MIT Media Labs) con un [articolo di ricerca](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) co-autore con Timnit Gebru (all'epoca presso Microsoft Research) che si è concentrato su:
Esaminiamo un esempio: lo [Studio MIT Gender Shades](http://gendershades.org/overview.html) di Joy Buolamwini (MIT Media Labs) con un [articolo di ricerca significativo](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) co-autore con Timnit Gebru (all'epoca presso Microsoft Research) che si concentra su:
* **Cosa:** L'obiettivo del progetto di ricerca era _valutare i bias presenti negli algoritmi e nei dataset di analisi facciale automatizzata_in base al genere e al tipo di pelle.
* **Perché:** L'analisi facciale è utilizzata in contesti come forze dell'ordine, sicurezza aeroportuale, sistemi di assunzione e altro - contesti in cui classificazioni inaccurate (es. a causa di bias) possono causare potenziali danni economici e sociali agli individui o ai gruppi interessati. Comprendere (ed eliminare o mitigare) i bias è fondamentale per un uso equo.
* **Cosa:** L'obiettivo del progetto di ricerca era _valutare i bias presenti negli algoritmi e nei dataset di analisi facciale automatizzata_basati su genere e tipo di pelle.
* **Perché:** L'analisi facciale è utilizzata in contesti come forze dell'ordine, sicurezza aeroportuale, sistemi di assunzione e altro - contesti in cui classificazioni inaccurate (ad esempio, a causa di bias) possono causare potenziali danni economici e sociali agli individui o ai gruppi interessati. Comprendere (ed eliminare o mitigare) i bias è fondamentale per l'equità nell'uso.
* **Come:** I ricercatori hanno riconosciuto che i benchmark esistenti utilizzavano prevalentemente soggetti con pelle chiara e hanno curato un nuovo dataset (oltre 1000 immagini) _più bilanciato_ per genere e tipo di pelle. Il dataset è stato utilizzato per valutare l'accuratezza di tre prodotti di classificazione di genere (di Microsoft, IBM e Face++).
I risultati hanno mostrato che, sebbene l'accuratezza complessiva della classificazione fosse buona, c'era una differenza evidente nei tassi di errore tra i vari sottogruppi - con un **misgendering** più elevato per le donne o le persone con pelle più scura, indicativo di bias.
I risultati hanno mostrato che, sebbene l'accuratezza complessiva della classificazione fosse buona, c'era una differenza evidente nei tassi di errore tra vari sottogruppi - con **errori di classificazione di genere** più alti per donne o persone con pelle più scura, indicativi di bias.
**Risultati Chiave:** Ha sollevato consapevolezza sul fatto che la scienza dei dati necessita di _dataset più rappresentativi_ (sottogruppi bilanciati) e di_team più inclusivi_ (background diversificati) per riconoscere ed eliminare o mitigare tali bias nelle soluzioni di IA. Sforzi di ricerca come questo sono anche fondamentali per molte organizzazioni nella definizione di principi e pratiche per un'IA _responsabile_ per migliorare l'equità nei loro prodotti e processi di IA.
**Risultati Chiave:** Ha aumentato la consapevolezza che la data science necessita di _dataset più rappresentativi_ (sottogruppi bilanciati) e _team più inclusivi_ (background diversificati) per riconoscere ed eliminare o mitigare tali bias nelle soluzioni AI. Sforzi di ricerca come questo sono anche fondamentali per molte organizzazioni nella definizione di principi e pratiche per _AI responsabile_ per migliorare l'equità nei loro prodotti e processi AI.
**Vuoi conoscere gli sforzi di ricerca rilevanti in Microsoft?**
* Dai un'occhiata ai [Progetti di Ricerca Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) sull'Intelligenza Artificiale.
* Esplora i progetti per studenti della [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Dai un'occhiata al progetto [Fairlearn](https://fairlearn.org/) e alle iniziative di [IA Responsabile](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Dai un'occhiata al progetto [Fairlearn](https://fairlearn.org/) e alle iniziative [AI Responsabile](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Scienza dei Dati + Scienze Umane
## Data Science + Discipline Umanistiche
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Scienza dei Dati & Scienze Umane Digitali - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
| Data Science & Discipline Umanistiche Digitali - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
Le Scienze Umane Digitali [sono state definite](https://digitalhumanities.stanford.edu/about-dh-stanford) come "una raccolta di pratiche e approcci che combinano metodi computazionali con l'indagine umanistica". Progetti [Stanford](https://digitalhumanities.stanford.edu/projects) come _"rebooting history"_ e _"poetic thinking"_ illustrano il legame tra [Scienze Umane Digitali e Scienza dei Dati](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizzando tecniche come l'analisi delle reti, la visualizzazione delle informazioni, l'analisi spaziale e testuale che possono aiutarci a rivisitare dataset storici e letterari per trarre nuove intuizioni e prospettive.
Le Discipline Umanistiche Digitali [sono state definite](https://digitalhumanities.stanford.edu/about-dh-stanford) come "una raccolta di pratiche e approcci che combinano metodi computazionali con l'indagine umanistica". I [progetti di Stanford](https://digitalhumanities.stanford.edu/projects) come _"rebooting history"_ e _"poetic thinking"_ illustrano il collegamento tra [Discipline Umanistiche Digitali e Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizzando tecniche come analisi di rete, visualizzazione delle informazioni, analisi spaziale e testuale che possono aiutarci a rivisitare dataset storici e letterari per derivare nuove intuizioni e prospettive.
*Vuoi esplorare ed estendere un progetto in questo ambito?*
*Vuoi esplorare e ampliare un progetto in questo ambito?*
Dai un'occhiata a ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un ottimo esempio di [Jen Looper](https://twitter.com/jenlooper) che si chiede come possiamo utilizzare la scienza dei dati per rivisitare poesie familiari e rivalutare il loro significato e il contributo dell'autore in nuovi contesti. Ad esempio, _possiamo prevedere la stagione in cui una poesia è stata scritta analizzandone il tono o il sentimento_ - e cosa ci dice questo sullo stato d'animo dell'autore nel periodo rilevante?
Dai un'occhiata a ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un ottimo esempio di [Jen Looper](https://twitter.com/jenlooper) che si chiede come possiamo utilizzare la data science per rivisitare poesie familiari e rivalutare il loro significato e i contributi del loro autore in nuovi contesti. Ad esempio, _possiamo prevedere la stagione in cui una poesia è stata scritta analizzandone il tono o il sentimento_ - e cosa ci dice questo sullo stato d'animo dell'autore nel periodo rilevante?
Per rispondere a questa domanda, seguiamo i passaggi del ciclo di vita della scienza dei dati:
* [`Acquisizione dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - per raccogliere un dataset rilevante per l'analisi. Le opzioni includono l'uso di un'API (es. [Poetry DB API](https://poetrydb.org/index.html)) o il web scraping (es. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) utilizzando strumenti come [Scrapy](https://scrapy.org/).
* [`Pulizia dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - spiega come i testi possono essere formattati, sanitizzati e semplificati utilizzando strumenti di base come Visual Studio Code e Microsoft Excel.
* [`Analisi dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - spiega come possiamo ora importare il dataset nei "Notebooks" per l'analisi utilizzando pacchetti Python (come pandas, numpy e matplotlib) per organizzare e visualizzare i dati.
Per rispondere a questa domanda, seguiamo i passaggi del ciclo di vita della data science:
* [`Acquisizione dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - per raccogliere un dataset rilevante per l'analisi. Le opzioni includono l'uso di un'API (ad esempio, [Poetry DB API](https://poetrydb.org/index.html)) o il scraping di pagine web (ad esempio, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) utilizzando strumenti come [Scrapy](https://scrapy.org/).
* [`Pulizia dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - spiega come il testo può essere formattato, sanitizzato e semplificato utilizzando strumenti di base come Visual Studio Code e Microsoft Excel.
* [`Analisi dei Dati`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - spiega come possiamo ora importare il dataset in "Notebooks" per l'analisi utilizzando pacchetti Python (come pandas, numpy e matplotlib) per organizzare e visualizzare i dati.
* [`Analisi del Sentimento`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - spiega come possiamo integrare servizi cloud come Text Analytics, utilizzando strumenti low-code come [Power Automate](https://flow.microsoft.com/en-us/) per flussi di lavoro automatizzati di elaborazione dei dati.
Seguendo questo flusso di lavoro, possiamo esplorare gli impatti stagionali sul sentimento delle poesie e aiutarci a formare le nostre prospettive sull'autore. Provalo tu stesso - poi estendi il notebook per porre altre domande o visualizzare i dati in modi nuovi!
Seguendo questo workflow, possiamo esplorare gli impatti stagionali sul sentimento delle poesie e aiutarci a formare le nostre prospettive sull'autore. Provalo tu stesso - poi estendi il notebook per porre altre domande o visualizzare i dati in nuovi modi!
> Puoi utilizzare alcuni degli strumenti nel [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) per perseguire queste linee di indagine.
## Scienza dei Dati + Sostenibilità
## Data Science + Sostenibilità
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Scienza dei Dati& Sostenibilità - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
| Data Science& Sostenibilità - _Sketchnote di [@nitya](https://twitter.com/nitya)_ |
L'[Agenda 2030 per lo Sviluppo Sostenibile](https://sdgs.un.org/2030agenda) - adottata da tutti i membri delle Nazioni Unite nel 2015 - identifica 17 obiettivi, tra cui quelli che si concentrano su **Proteggere il Pianeta** dal degrado e dall'impatto dei cambiamenti climatici. L'iniziativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) supporta questi obiettivi esplorando modi in cui le soluzioni tecnologiche possono sostenere e costruire futuri più sostenibili con un [focus su 4 obiettivi](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - essere carbon negative, water positive, zero waste e biodiversi entro il 2030.
L'[Agenda 2030 per lo Sviluppo Sostenibile](https://sdgs.un.org/2030agenda) - adottata da tutti i membri delle Nazioni Unite nel 2015 - identifica 17 obiettivi, inclusi quelli che si concentrano su **Proteggere il Pianeta** dalla degradazione e dall'impatto del cambiamento climatico. L'iniziativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) supporta questi obiettivi esplorando modi in cui le soluzioni tecnologiche possono sostenere e costruire futuri più sostenibili con un [focus su 4 obiettivi](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - essere carbon negative, water positive, zero waste e bio-diverse entro il 2030.
Affrontare queste sfide in modo scalabile e tempestivo richiede un pensiero su scala cloud - e dati su larga scala. L'iniziativa [Planetary Computer](https://planetarycomputer.microsoft.com/) fornisce 4 componenti per aiutare i data scientist e gli sviluppatori in questo sforzo:
* [Catalogo Dati](https://planetarycomputer.microsoft.com/catalog) - con petabyte di dati sui sistemi terrestri (gratuiti e ospitati su Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - per aiutare gli utenti a cercare dati rilevanti nello spazio e nel tempo.
* [API Planetary](https://planetarycomputer.microsoft.com/docs/reference/stac/) - per aiutare gli utenti a cercare dati rilevanti nello spazio e nel tempo.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - ambiente gestito per gli scienziati per elaborare enormi dataset geospaziali.
* [Applicazioni](https://planetarycomputer.microsoft.com/applications) - mostra casi d'uso e strumenti per intuizioni sulla sostenibilità.
* [Applicazioni](https://planetarycomputer.microsoft.com/applications) - mostrano casi d'uso e strumenti per intuizioni sulla sostenibilità.
**Il progetto Planetary Computer è attualmente in anteprima (a partire da settembre 2021)** - ecco come puoi iniziare a contribuire a soluzioni sostenibili utilizzando la data science.
* [Richiedi l'accesso](https://planetarycomputer.microsoft.com/account/request) per iniziare l'esplorazione e connetterti con altri utenti.
* [Esplora la documentazione](https://planetarycomputer.microsoft.com/docs/overview/about) per comprendere i dataset e le API supportate.
* [Esplora la documentazione](https://planetarycomputer.microsoft.com/docs/overview/about) per comprendere i dataset e le API supportati.
* Esplora applicazioni come [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) per trovare ispirazione su idee applicative.
Pensa a come puoi utilizzare la visualizzazione dei dati per evidenziare o amplificare intuizioni rilevanti su temi come il cambiamento climatico e la deforestazione. Oppure considera come queste intuizioni possano essere utilizzate per creare nuove esperienze utente che motivino cambiamenti comportamentali verso uno stile di vita più sostenibile.
Pensa a come puoi utilizzare la visualizzazione dei dati per rivelare o amplificare intuizioni rilevanti su temi come il cambiamento climatico e la deforestazione. Oppure considera come queste intuizioni possano essere utilizzate per creare nuove esperienze utente che motivino cambiamenti comportamentali per uno stile di vita più sostenibile.
## Data Science + Studenti
Abbiamo parlato di applicazioni reali nell'industria e nella ricerca, ed esplorato esempi di applicazioni di data science nelle discipline umanistiche digitali e nella sostenibilità. Quindi, come puoi sviluppare le tue competenze e condividere la tua esperienza come principianti nella data science?
Abbiamo parlato di applicazioni reali nell'industria e nella ricerca, ed esplorato esempi di applicazioni di data science nelle discipline umanistiche digitali e nella sostenibilità. Quindi, come puoi sviluppare le tue competenze e condividere la tua esperienza come principiante in data science?
Ecco alcuni esempi di progetti di data science per studenti che possono ispirarti.
@ -141,9 +141,10 @@ Cerca articoli che raccomandano progetti di data science adatti ai principianti
Vuoi esplorare altri casi d'uso? Ecco alcuni articoli rilevanti:
* [17 Applicazioni ed esempi di Data Science](https://builtin.com/data-science/data-science-applications-examples) - Luglio 2021
* [11 Applicazioni straordinarie della Data Science nel mondo reale](https://myblindbird.com/data-science-applications-real-world/) - Maggio 2021
* [11 Straordinarie applicazioni di Data Science nel mondo reale](https://myblindbird.com/data-science-applications-real-world/) - Maggio 2021
* [Data Science nel mondo reale](https://towardsdatascience.com/data-science-in-the-real-world/home) - Raccolta di articoli
* Data Science in: [Educazione](https://data-flair.training/blogs/data-science-in-education/), [Agricoltura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanza](https://data-flair.training/blogs/data-science-in-finance/), [Cinema](https://data-flair.training/blogs/data-science-at-movies/) e altro.
* [12 Applicazioni di Data Science nel mondo reale con esempi](https://www.scaler.com/blog/data-science-applications/) - Maggio 2024
* Data Science in: [Educazione](https://data-flair.training/blogs/data-science-in-education/), [Agricoltura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanza](https://data-flair.training/blogs/data-science-in-finance/), [Cinema](https://data-flair.training/blogs/data-science-at-movies/), [Sanità](https://onlinedegrees.sandiego.edu/data-science-health-care/) e altro.
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) をチェックしてください。これは、[Jen Looper](https://twitter.com/jenlooper) による素晴らしい例で、データサイエンスを使って馴染みのある詩を再検討し、その意味や作者の貢献を新しい文脈で評価する方法を問うものです。例えば、_詩のトーンや感情を分析することで、その詩が書かれた季節を予測できるか_ - そしてそれが関連する期間における作者の精神状態について何を教えてくれるのか？
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) をチェックしてください。これは、[Jen Looper](https://twitter.com/jenlooper) による素晴らしい例で、データサイエンスを使用して馴染みのある詩を再検討し、その意味や作者の貢献を新しい文脈で評価する方法を問うものです。例えば、_詩のトーンや感情を分析することで、その詩が書かれた季節を予測できるか_ - そしてそれが関連する期間における作者の精神状態について何を教えてくれるのか？
その質問に答えるために、データサイエンスライフサイクルのステップをたどります:
* [`データ取得`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - 分析のための関連データセットを収集します。API（例: [Poetry DB API](https://poetrydb.org/index.html)）を使用するか、ウェブページをスクレイピング（例: [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)）するオプションがあります。
* [`データクリーニング`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - テキストをフォーマット、整理、簡素化する方法を基本ツール（Visual Studio CodeやMicrosoft Excelなど）を使って説明します。
| 현실 세계의 데이터 과학 - _스케치노트 by [@nitya](https://twitter.com/nitya)_ |
우리는 이제 학습 여정의 거의 끝에 도달했습니다!
이제 학습 여정의 거의 끝에 도달했습니다!
데이터 과학과 윤리의 정의로 시작해, 데이터 분석과 시각화를 위한 다양한 도구와 기술을 탐구하고, 데이터 과학 라이프사이클을 검토했으며, 클라우드 컴퓨팅 서비스를 통해 데이터 과학 워크플로를 확장하고 자동화하는 방법을 살펴보았습니다. 그래서 여러분은 아마 이렇게 생각할지도 모릅니다: _"이 모든 학습을 현실 세계의 맥락에 어떻게 적용할 수 있을까?"_
우리는 데이터 과학과 윤리의 정의로 시작하여, 데이터 분석 및 시각화를 위한 다양한 도구와 기술을 탐구하고, 데이터 과학 라이프사이클을 검토했으며, 클라우드 컴퓨팅 서비스를 통해 데이터 과학 워크플로를 확장하고 자동화하는 방법을 살펴보았습니다. 그래서 여러분은 아마도 이렇게 생각할 것입니다: _"이 모든 학습을 현실 세계의 맥락에 어떻게 적용할 수 있을까?"_
이번 강의에서는 산업 전반에서 데이터 과학의 현실 세계 응용 사례를 탐구하고, 연구, 디지털 인문학, 지속 가능성 등의 특정 예제를 깊이 살펴볼 것입니다. 학생 프로젝트 기회를 살펴보고, 학습 여정을 계속할 수 있도록 돕는 유용한 자료로 마무리하겠습니다.
이번 강의에서는 산업 전반에서 데이터 과학의 현실 세계 응용 사례를 탐구하고, 연구, 디지털 인문학, 지속 가능성 분야의 구체적인 예를 살펴볼 것입니다. 학생 프로젝트 기회를 살펴보고 학습 여정을 계속할 수 있도록 유용한 자료로 마무리하겠습니다.
## 강의 전 퀴즈
@ -25,25 +25,25 @@ CO_OP_TRANSLATOR_METADATA:
## 데이터 과학 + 산업
AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데이터 기반 통찰력을 사용자 경험 및 개발 워크플로에 설계하고 통합하는 것이 더 쉬워졌습니다. 다음은 데이터 과학이 산업 전반에서 "적용"되는 몇 가지 현실 세계의 사례입니다:
AI의 민주화 덕분에 개발자들은 이제 AI 기반 의사결정과 데이터 기반 통찰력을 사용자 경험 및 개발 워크플로에 설계하고 통합하는 것이 더 쉬워졌습니다. 데이터 과학이 산업 전반에서 현실 세계 응용 사례에 "적용"되는 몇 가지 예를 소개합니다:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/)는 검색어와 독감 트렌드를 연관시키기 위해 데이터 과학을 사용했습니다. 접근 방식에 결함이 있었지만, 데이터 기반 의료 예측의 가능성(및 도전 과제)에 대한 인식을 높였습니다.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends)는 검색어와 독감 트렌드를 연관시키기 위해 데이터 과학을 사용했습니다. 접근 방식에 결함이 있었지만, 데이터 기반 의료 예측의 가능성과 도전 과제에 대한 인식을 높였습니다.
* [UPS 경로 예측](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS가 날씨 조건, 교통 패턴, 배송 기한 등을 고려하여 최적의 배송 경로를 예측하기 위해 데이터 과학과 머신러닝을 어떻게 사용하는지 설명합니다.
* [UPS 경로 예측](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather) - UPS가 날씨 조건, 교통 패턴, 배송 기한 등을 고려하여 최적의 배송 경로를 예측하기 위해 데이터 과학과 머신러닝을 사용하는 방법을 설명합니다.
* [뉴욕 택시 경로 시각화](http://chriswhong.github.io/nyctaxi/) - [정보공개법](https://chriswhong.com/open-data/foil_nyc_taxi/)을 통해 수집된 데이터를 사용하여 뉴욕 택시의 하루를 시각화하고, 바쁜 도시를 어떻게 이동하는지, 수익은 얼마나 되는지, 24시간 동안의 이동 시간을 이해할 수 있도록 도와줍니다.
* [NYC 택시 경로 시각화](http://chriswhong.github.io/nyctaxi/) - [정보공개법](https://chriswhong.com/open-data/foil_nyc_taxi)을 통해 수집된 데이터를 사용하여 NYC 택시의 하루를 시각화하여 바쁜 도시를 어떻게 이동하는지, 벌어들이는 수익, 각 24시간 동안의 여행 시간을 이해할 수 있도록 도와줍니다.
* [Uber 데이터 과학 워크벤치](https://eng.uber.com/dsw/) - 매일 수백만 건의 우버 여행에서 수집된 데이터(픽업 및 하차 위치, 여행 시간, 선호 경로 등)를 사용하여 가격 책정, 안전, 사기 탐지 및 내비게이션 결정을 돕는 데이터 분석 도구를 구축합니다.
* [Uber 데이터 과학 워크벤치](https://eng.uber.com/dsw/) - 매일 수백만 건의 Uber 여행 데이터를 사용하여 가격 책정, 안전, 사기 탐지 및 내비게이션 결정을 지원하는 데이터 분석 도구를 구축합니다.
* [스포츠 분석](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _예측 분석_ (팀 및 선수 분석 - [머니볼](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/)을 떠올려 보세요 - 및 팬 관리)과 _데이터 시각화_ (팀 및 팬 대시보드, 게임 등)에 중점을 두며, 인재 발굴, 스포츠 도박, 재고/장소 관리와 같은 응용 프로그램에 사용됩니다.
* [스포츠 분석](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _예측 분석_ (팀 및 선수 분석 - [머니볼](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/)을 생각해보세요 - 팬 관리)과 _데이터 시각화_ (팀 및 팬 대시보드, 게임 등)에 중점을 두며, 인재 발굴, 스포츠 도박, 재고/장소 관리와 같은 응용 사례를 포함합니다.
* [은행에서의 데이터 과학](https://data-flair.training/blogs/data-science-in-banking/) - 금융 산업에서 데이터 과학의 가치를 강조하며, 위험 모델링 및 사기 탐지, 고객 세분화, 실시간 예측 및 추천 시스템에 이르기까지 다양한 응용 프로그램을 다룹니다. 예측 분석은 또한 [신용 점수](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit)와 같은 중요한 지표를 주도합니다.
* [은행에서의 데이터 과학](https://data-flair.training/blogs/data-science-in-banking/) - 금융 산업에서 데이터 과학의 가치를 강조하며, 위험 모델링, 사기 탐지, 고객 세분화, 실시간 예측 및 추천 시스템과 같은 응용 사례를 포함합니다. 예측 분석은 또한 [신용 점수](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit)와 같은 중요한 측정을 추진합니다.
* [의료에서의 데이터 과학](https://data-flair.training/blogs/data-science-in-healthcare/) - 의료 영상(MRI, X-Ray, CT-Scan 등), 유전체학(DNA 시퀀싱), 약물 개발(위험 평가, 성공 예측), 예측 분석(환자 관리 및 공급 물류), 질병 추적 및 예방 등과 같은 응용 프로그램을 강조합니다.
* [헬스케어에서의 데이터 과학](https://data-flair.training/blogs/data-science-in-healthcare/) - 의료 영상(예: MRI, X-Ray, CT-Scan), 유전체학(DNA 시퀀싱), 약물 개발(위험 평가, 성공 예측), 예측 분석(환자 관리 및 공급 물류), 질병 추적 및 예방 등과 같은 응용 사례를 강조합니다.
 이미지 출처: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 이미지 출처: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
이 그림은 데이터 과학 기술을 적용할 수 있는 다른 도메인과 예제를 보여줍니다. 다른 응용 프로그램을 탐구하고 싶으신가요? 아래의 [복습 및 자습](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) 섹션을 확인해 보세요.
이 그림은 데이터 과학 기술을 적용할 수 있는 다른 도메인과 예제를 보여줍니다. 다른 응용 사례를 탐구하고 싶으신가요? 아래의 [리뷰 및 자기 학습](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) 섹션을 확인하세요.
## 데이터 과학 + 연구
@ -51,27 +51,27 @@ AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데
| 데이터 과학 & 연구 - _스케치노트 by [@nitya](https://twitter.com/nitya)_ |
현실 세계의 응용이 종종 대규모 산업 사례에 초점을 맞추는 반면, _연구_ 응용 및 프로젝트는 두 가지 관점에서 유용할 수 있습니다:
현실 세계 응용 사례는 종종 대규모 산업 사용 사례에 초점을 맞추지만, _연구_ 응용 사례와 프로젝트는 두 가지 관점에서 유용할 수 있습니다:
* _혁신 기회_ - 차세대 응용 프로그램을 위한 고급 개념의 신속한 프로토타이핑 및 사용자 경험 테스트를 탐구합니다.
* _배포 과제_ - 현실 세계의 맥락에서 데이터 과학 기술의 잠재적 해악 또는 의도하지 않은 결과를 조사합니다.
* _혁신 기회_ - 차세대 응용 프로그램을 위한 고급 개념의 빠른 프로토타이핑과 사용자 경험 테스트를 탐구합니다.
* _배포 과제_ - 현실 세계 맥락에서 데이터 과학 기술의 잠재적 해악이나 의도하지 않은 결과를 조사합니다.
학생들에게 이러한 연구 프로젝트는 주제에 대한 이해를 높이고, 관심 있는 분야에서 관련 사람이나 팀과의 인식 및 참여를 넓힐 수 있는 학습 및 협업 기회를 제공합니다. 그렇다면 연구 프로젝트는 어떤 모습이며, 어떻게 영향을 미칠 수 있을까요?
학생들에게 이러한 연구 프로젝트는 학습과 협업 기회를 제공하여 주제를 더 깊이 이해하고, 관심 분야에서 활동하는 관련 인물이나 팀과의 인식 및 참여를 넓힐 수 있습니다. 그렇다면 연구 프로젝트는 어떤 모습이며, 어떻게 영향을 미칠 수 있을까요?
한 가지 예를 살펴보겠습니다 - [MIT Gender Shades Study](http://gendershades.org/overview.html). Joy Buolamwini(MIT Media Labs)가 주도하고 Timnit Gebru(당시 Microsoft Research)가 공동 저술한 [대표 연구 논문](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)에서 다음을 다루었습니다:
한 가지 예를 살펴보겠습니다 - Joy Buolamwini (MIT Media Labs)의 [MIT Gender Shades Study](http://gendershades.org/overview.html)와 Timnit Gebru (당시 Microsoft Research)의 공동 연구 논문 [signature research paper](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)를 중심으로 한 프로젝트입니다.
* **무엇:** 연구 프로젝트의 목표는 _성별과 피부 유형에 따라 자동 얼굴 분석 알고리즘과 데이터 세트에 존재하는 편향을 평가_ 하는 것이었습니다.
* **왜:** 얼굴 분석은 법 집행, 공항 보안, 채용 시스템 등과 같은 분야에서 사용되며, 부정확한 분류(예: 편향으로 인한)는 영향을 받는 개인이나 그룹에 잠재적인 경제적, 사회적 해악을 초래할 수 있습니다. 이러한 편향을 이해하고 제거하거나 완화하는 것이 공정성을 위해 중요합니다.
* **어떻게:** 연구자들은 기존 벤치마크가 주로 밝은 피부색의 피험자를 사용한다는 점을 인식하고, 성별과 피부 유형에 따라 _더 균형 잡힌_ 새로운 데이터 세트(1000개 이상의 이미지)를 큐레이션했습니다. 이 데이터 세트는 Microsoft, IBM, Face++의 세 가지 성별 분류 제품의 정확성을 평가하는 데 사용되었습니다.
* **무엇:** 연구 프로젝트의 목표는 _성별과 피부 유형에 따라 자동 얼굴 분석 알고리즘과 데이터 세트에 존재하는 편향을 평가하는 것_이었습니다.
* **왜:** 얼굴 분석은 법 집행, 공항 보안, 채용 시스템 등과 같은 분야에서 사용되며, 부정확한 분류(예: 편향으로 인해)는 영향을 받는 개인이나 그룹에 잠재적인 경제적, 사회적 해악을 초래할 수 있습니다. 편향을 이해하고 이를 제거하거나 완화하는 것은 공정한 사용의 핵심입니다.
* **어떻게:** 연구자들은 기존 벤치마크가 주로 밝은 피부를 가진 피험자를 사용한다는 점을 인식하고, 성별과 피부 유형에 따라 _더 균형 잡힌_ 새로운 데이터 세트(1000개 이상의 이미지)를 큐레이션했습니다. 이 데이터 세트는 Microsoft, IBM 및 Face++의 세 가지 성별 분류 제품의 정확성을 평가하는 데 사용되었습니다.
결과적으로 전체 분류 정확도는 좋았지만, 다양한 하위 그룹 간의 오류율에서 눈에 띄는 차이가 나타났습니다. 특히 **잘못된 성별 분류**가 여성이나 어두운 피부색을 가진 사람들에게 더 높아 편향을 나타냈습니다.
결과는 전체적으로 분류 정확도가 좋았지만, 다양한 하위 그룹 간의 오류율 차이가 눈에 띄었으며, **잘못된 성별 분류**가 여성이나 피부가 어두운 사람들에게 더 높아 편향을 나타냈습니다.
**주요 결과:** 데이터 과학에는 _대표성 있는 데이터 세트_ (균형 잡힌 하위 그룹)와 _포괄적인 팀_ (다양한 배경)이 필요하다는 인식을 높였습니다. 이를 통해 AI 솔루션에서 이러한 편향을 조기에 인식하고 제거하거나 완화할 수 있습니다. 이러한 연구 노력은 또한 많은 조직이 _책임 있는 AI_ 원칙과 관행을 정의하여 AI 제품 및 프로세스의 공정성을 개선하는 데 중요한 역할을 합니다.
**주요 결과:** 데이터 과학은 더 _대표적인 데이터 세트_ (균형 잡힌 하위 그룹)와 더 _포괄적인 팀_ (다양한 배경)이 필요하다는 인식을 높였으며, 이를 통해 AI 솔루션에서 이러한 편향을 더 일찍 인식하고 제거하거나 완화할 수 있습니다. 이러한 연구 노력은 많은 조직이 AI 제품과 프로세스의 공정성을 개선하기 위해 _책임 있는 AI_ 원칙과 관행을 정의하는 데에도 중요한 역할을 합니다.
**Microsoft의 관련 연구 노력을 배우고 싶으신가요?**
**Microsoft의 관련 연구 노력에 대해 알고 싶으신가요?**
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project)에서 인공지능 관련 프로젝트를 확인하세요.
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/)의 학생 프로젝트를 탐구해 보세요.
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project)에서 인공지능 관련 연구 프로젝트를 확인하세요.
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/)에서 학생 프로젝트를 탐구하세요.
* [Fairlearn](https://fairlearn.org/) 프로젝트와 [책임 있는 AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) 이니셔티브를 확인하세요.
## 데이터 과학 + 인문학
@ -80,19 +80,19 @@ AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데
| 데이터 과학 & 디지털 인문학 - _스케치노트 by [@nitya](https://twitter.com/nitya)_ |
디지털 인문학은 [다음과 같이 정의됩니다](https://digitalhumanities.stanford.edu/about-dh-stanford): "계산 방법과 인문학적 탐구를 결합한 실천과 접근 방식의 모음". [스탠포드 프로젝트](https://digitalhumanities.stanford.edu/projects)인 _"역사 재부팅"_ 및_"시적 사고"_는 [디지털 인문학과 데이터 과학](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science)의 연계를 보여줍니다. 네트워크 분석, 정보 시각화, 공간 및 텍스트 분석과 같은 기술을 강조하며, 이를 통해 역사적 및 문학적 데이터 세트를 재검토하여 새로운 통찰력과 관점을 도출할 수 있습니다.
디지털 인문학은 [다음과 같이 정의됩니다](https://digitalhumanities.stanford.edu/about-dh-stanford): "컴퓨팅 방법과 인문학적 탐구를 결합한 실천과 접근 방식의 모음". [스탠포드 프로젝트](https://digitalhumanities.stanford.edu/projects)인 _"역사 재부팅"_과_"시적 사고"_는 [디지털 인문학과 데이터 과학](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science)의 연계를 보여주며, 네트워크 분석, 정보 시각화, 공간 및 텍스트 분석과 같은 기술이 역사적 및 문학적 데이터 세트를 재검토하여 새로운 통찰력과 관점을 도출할 수 있음을 강조합니다.
*이 분야에서 프로젝트를 탐구하고 확장하고 싶으신가요?*
["에밀리 디킨슨과 감정의 운율"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)을 확인해 보세요. [Jen Looper](https://twitter.com/jenlooper)의 훌륭한 예제로, 데이터 과학을 사용하여 익숙한 시를 재검토하고 새로운 맥락에서 저자의 의미와 기여를 재평가할 수 있는 방법을 묻습니다. 예를 들어, _시의 톤이나 감정을 분석하여 시가 작성된 계절을 예측할 수 있을까요?_ 그리고 이것이 해당 기간 동안 저자의 정신 상태에 대해 무엇을 말해줄까요?
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)를 확인하세요 - [Jen Looper](https://twitter.com/jenlooper)의 훌륭한 예제로, 데이터 과학을 사용하여 익숙한 시를 재검토하고 새로운 맥락에서 저자의 기여를 재평가할 수 있는 방법을 묻습니다. 예를 들어, _시의 톤이나 감정을 분석하여 시가 작성된 계절을 예측할 수 있을까_ - 그리고 이것이 해당 기간 동안 저자의 마음 상태에 대해 무엇을 알려줄까요?
이 질문에 답하기 위해 데이터 과학 라이프사이클의 단계를 따릅니다:
* [`데이터 수집`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - 분석을 위한 관련 데이터 세트를 수집합니다. 옵션에는 API 사용(예: [Poetry DB API](https://poetrydb.org/index.html)) 또는 웹 페이지 스크래핑(예: [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm))이 포함됩니다.
* [`데이터 정리`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - 텍스트를 형식화, 정리 및 단순화하는 방법을 설명합니다. Visual Studio Code 및 Microsoft Excel과 같은 기본 도구를 사용합니다.
* [`데이터 분석`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - Python 패키지(pandas, numpy, matplotlib 등)를 사용하여 데이터를 정리하고 시각화하기 위해 "노트북"에 데이터 세트를 가져오는 방법을 설명합니다.
* [`감정 분석`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - [Power Automate](https://flow.microsoft.com/en-us/)와 같은 저코드 도구를 사용하여 클라우드 서비스(Text Analytics)를 통합하고 자동화된 데이터 처리 워크플로를 설명합니다.
* [`데이터 수집`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - 분석을 위한 관련 데이터 세트를 수집합니다. API 사용(예: [Poetry DB API](https://poetrydb.org/index.html)) 또는 웹 페이지 스크래핑(예: [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm))과 같은 옵션을 포함합니다.
* [`데이터 정리`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - 텍스트를 형식화, 정리 및 단순화하는 방법을 설명하며, Visual Studio Code 및 Microsoft Excel과 같은 기본 도구를 사용합니다.
* [`데이터 분석`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - Python 패키지(pandas, numpy, matplotlib 등)를 사용하여 데이터를 정리하고 시각화하기 위해 "노트북"에 데이터 세트를 가져오는 방법을 설명합니다.
* [`감정 분석`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - Text Analytics와 같은 클라우드 서비스를 통합하고, [Power Automate](https://flow.microsoft.com/en-us/)와 같은 저코드 도구를 사용하여 자동화된 데이터 처리 워크플로를 설명합니다.
이 워크플로를 사용하여 시의 감정에 계절이 미치는 영향을 탐구하고, 저자에 대한 자신의 관점을 형성할 수 있습니다. 직접 시도해 보세요. 그런 다음 노트북을 확장하여 다른 질문을 하거나 데이터를 새로운 방식으로 시각화해보세요!
이 워크플로를 사용하여 시의 감정에 대한 계절적 영향을 탐구하고, 저자에 대한 자신의 관점을 형성할 수 있습니다. 직접 시도해보고, 노트북을 확장하여 다른 질문을 하거나 데이터를 새로운 방식으로 시각화해보세요!
> [디지털 인문학 도구 키트](https://github.com/Digital-Humanities-Toolkit)의 일부 도구를 사용하여 이러한 탐구를 진행할 수 있습니다.
@ -102,21 +102,21 @@ AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데
| 데이터 과학 & 지속 가능성 - _스케치노트 by [@nitya](https://twitter.com/nitya)_ |
[지속 가능한 개발을 위한 2030 아젠다](https://sdgs.un.org/2030agenda)는 2015년 모든 유엔 회원국이 채택한 것으로, **기후 변화의 영향으로부터 지구를 보호**하는 것을 포함한 17개의 목표를 식별합니다. [Microsoft 지속 가능성](https://www.microsoft.com/en-us/sustainability) 이니셔티브는 기술 솔루션이 더 지속 가능한 미래를 지원하고 구축할 수 있는 방법을 탐구하며, [4가지 목표](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh)에 중점을 둡니다: 2030년까지 탄소 네거티브, 물 긍정적, 제로 폐기물, 생물 다양성.
[2030 지속 가능 개발 의제](https://sdgs.un.org/2030agenda) - 2015년에 모든 유엔 회원국이 채택한 이 의제는 **기후 변화의 영향과 지구를 보호**하는 것을 포함하여 17개의 목표를 식별합니다. [Microsoft 지속 가능성](https://www.microsoft.com/en-us/sustainability) 이니셔티브는 기술 솔루션이 더 지속 가능한 미래를 지원하고 구축할 수 있는 방법을 탐구하며, [4가지 목표](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh)에 중점을 둡니다 - 2030년까지 탄소 네거티브, 물 긍정적, 제로 폐기물, 생물 다양성을 달성하는 것입니다.
이러한 도전을 확장 가능하고 시기 적절하게 해결하려면 클라우드 규모의 사고와 대규모 데이터가 필요합니다. [Planetary Computer](https://planetarycomputer.microsoft.com/) 이니셔티브는 데이터 과학자와 개발자를 돕기 위해 4가지 구성 요소를 제공합니다:
이러한 과제를 확장 가능하고 시기 적절하게 해결하려면 클라우드 규모의 사고와 대규모 데이터가 필요합니다. [Planetary Computer](https://planetarycomputer.microsoft.com/) 이니셔티브는 데이터 과학자와 개발자를 지원하기 위해 다음 4가지 구성 요소를 제공합니다:
* [데이터 카탈로그](https://planetarycomputer.microsoft.com/catalog) - 지구 시스템 데이터(무료 및 Azure 호스팅) 페타바이트 제공.
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - 사용자들이 시공간에 걸쳐 관련 데이터를 검색할 수 있도록 지원.
* [데이터 카탈로그](https://planetarycomputer.microsoft.com/catalog) - 지구 시스템 데이터 페타바이트 (무료 및 Azure 호스팅).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - 사용자들이 공간과 시간에 걸쳐 관련 데이터를 검색할 수 있도록 지원.
* [허브](https://planetarycomputer.microsoft.com/docs/overview/environment/) - 과학자들이 대규모 지리 데이터 세트를 처리할 수 있는 관리 환경.
* [응용 프로그램](https://planetarycomputer.microsoft.com/applications) - 지속 가능성 통찰력을 위한 사용 사례 및 도구를 보여줌.
**행성 컴퓨터 프로젝트는 현재 미리보기 단계에 있습니다 (2021년 9월 기준)** - 데이터 과학을 활용해 지속 가능성 솔루션에 기여하는 방법을 시작해보세요.
* 탐색을 시작하고 동료들과 연결하려면 [액세스 요청](https://planetarycomputer.microsoft.com/account/request)을 하세요.
* [생태계 모니터링](https://analytics-lab.org/ecosystemmonitoring/)과 같은 애플리케이션을 탐색하며 애플리케이션 아이디어에 영감을 얻으세요.
* [액세스 요청](https://planetarycomputer.microsoft.com/account/request)을 통해 탐색을 시작하고 동료들과 연결하세요.
* [문서 탐색](https://planetarycomputer.microsoft.com/docs/overview/about)을 통해 지원되는 데이터셋과 API를 이해하세요.
* [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/)과 같은 애플리케이션을 탐색하며 애플리케이션 아이디어에 영감을 얻으세요.
기후 변화와 산림 파괴와 같은 주제에 대한 통찰을 시각화하거나 강조하는 방법을 고민해보세요. 또는 이러한 통찰을 활용해 더 지속 가능한 삶을 위한 행동 변화를 유도하는 새로운 사용자 경험을 만들어보는 것도 좋습니다.
기후 변화와 산림 파괴와 같은 분야에서 관련 통찰을 드러내거나 강조하기 위해 데이터 시각화를 어떻게 활용할 수 있을지 생각해보세요. 또는 이러한 통찰을 활용해 더 지속 가능한 삶을 위한 행동 변화를 유도하는 새로운 사용자 경험을 창출하는 방법을 고민해보세요.
## 데이터 과학 + 학생들
@ -127,11 +127,11 @@ AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데
* [MSR 데이터 과학 여름 학교](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects)에서 GitHub [프로젝트](https://github.com/msr-ds3)를 통해 다음과 같은 주제를 탐구합니다:
- [뉴욕 지하철 시스템의 신뢰성](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [물질 문화를 디지털화하기: Sirkap의 사회경제적 분포 탐구](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [Ornella Altunyan](https://twitter.com/ornelladotcom)와 Claremont 팀이 [ArcGIS StoryMaps](https://storymaps.arcgis.com/)를 사용해 진행한 프로젝트.
* [물질 문화를 디지털화하기: Sirkap에서의 사회경제적 분포 탐구](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [Ornella Altunyan](https://twitter.com/ornelladotcom)과 Claremont 팀이 [ArcGIS StoryMaps](https://storymaps.arcgis.com/)를 사용해 진행한 프로젝트.
## 🚀 도전 과제
초보자에게 적합한 데이터 과학 프로젝트를 추천하는 기사를 찾아보세요 - 예를 들어 [이 50가지 주제 영역](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [이 21가지 프로젝트 아이디어](https://www.intellspot.com/data-science-project-ideas), 또는 [소스 코드가 포함된 이 16가지 프로젝트](https://data-flair.training/blogs/data-science-project-ideas/)를 참고해 분해하고 재구성해보세요. 그리고 학습 여정을 블로그에 기록하고 여러분의 통찰을 모두와 공유하는 것을 잊지 마세요.
초보자에게 적합한 데이터 과학 프로젝트를 추천하는 기사를 찾아보세요 - 예를 들어 [이 50가지 주제 영역](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [이 21가지 프로젝트 아이디어](https://www.intellspot.com/data-science-project-ideas), 또는 [소스 코드가 포함된 이 16가지 프로젝트](https://data-flair.training/blogs/data-science-project-ideas)를 참고하세요. 이를 분해하고 재구성해보세요. 그리고 학습 여정을 블로그에 기록하고 여러분의 통찰을 모두와 공유하는 것을 잊지 마세요.
## 강의 후 퀴즈
@ -143,13 +143,14 @@ AI의 민주화 덕분에, 개발자들은 이제 AI 기반 의사결정과 데
* [17가지 데이터 과학 응용 사례와 예제](https://builtin.com/data-science/data-science-applications-examples) - 2021년 7월
* [실제 세계에서의 11가지 놀라운 데이터 과학 응용 사례](https://myblindbird.com/data-science-applications-real-world/) - 2021년 5월
* [실제 세계에서의 데이터 과학](https://towardsdatascience.com/data-science-in-the-real-world/home) - 기사 모음
* 데이터 과학 응용: [교육](https://data-flair.training/blogs/data-science-in-education/), [농업](https://data-flair.training/blogs/data-science-in-agriculture/), [금융](https://data-flair.training/blogs/data-science-in-finance/), [영화](https://data-flair.training/blogs/data-science-at-movies/) 등.
* [12가지 실제 데이터 과학 응용 사례와 예제](https://www.scaler.com/blog/data-science-applications/) - 2024년 5월
* 데이터 과학 응용: [교육](https://data-flair.training/blogs/data-science-in-education/), [농업](https://data-flair.training/blogs/data-science-in-agriculture/), [금융](https://data-flair.training/blogs/data-science-in-finance/), [영화](https://data-flair.training/blogs/data-science-at-movies/), [헬스케어](https://onlinedegrees.sandiego.edu/data-science-health-care/) 등.
## 과제
[행성 컴퓨터 데이터셋 탐색하기](assignment.md)
[행성 컴퓨터 데이터셋 탐색](assignment.md)
---
**면책 조항**:
이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다.
이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있으나, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생할 수 있는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다.
Mes beveik pasiekėme šios mokymosi kelionės pabaigą!
Pradėjome nuo duomenų mokslo ir etikos apibrėžimų, ištyrėme įvairius duomenų analizės ir vizualizacijos įrankius bei technikas, peržiūrėjome duomenų mokslo gyvavimo ciklą ir aptarėme, kaip mastelį ir automatizaciją galima pasiekti naudojant debesų kompiuterijos paslaugas. Taigi, tikriausiai klausiate savęs: _"Kaip tiksliai pritaikyti visus šiuos mokymus realiame pasaulyje?"_
Pradėjome nuo duomenų mokslo ir etikos apibrėžimų, tyrinėjome įvairius duomenų analizės ir vizualizacijos įrankius bei technikas, peržiūrėjome duomenų mokslo gyvavimo ciklą ir nagrinėjome, kaip mastelį ir automatizaciją galima pasiekti naudojant debesų kompiuterijos paslaugas. Taigi, tikriausiai klausiate savęs: _"Kaip tiksliai pritaikyti visus šiuos mokymus realiame pasaulyje?"_
Šioje pamokoje nagrinėsime duomenų mokslo taikymą įvairiose pramonės srityse ir gilinsimės į konkrečius pavyzdžius, susijusius su tyrimais, skaitmeninėmis humanitarinėmis mokslų sritimis ir tvarumu. Aptarsime studentų projektų galimybes ir baigsime naudingais ištekliais, kurie padės tęsti mokymosi kelionę!
Šioje pamokoje nagrinėsime duomenų mokslo taikymą įvairiose pramonės srityse ir gilinsimės į konkrečius pavyzdžius tyrimų, skaitmeninių humanitarinių mokslų ir tvarumo kontekstuose. Aptarsime studentų projektų galimybes ir užbaigsime naudingais ištekliais, kurie padės tęsti mokymosi kelionę!
## Prieš paskaitą: testas
@ -31,7 +31,7 @@ Dėl AI demokratizacijos kūrėjams dabar lengviau kurti ir integruoti AI pagrį
* [UPS maršrutų prognozės](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - paaiškina, kaip UPS naudoja duomenų mokslą ir mašininį mokymąsi, kad numatytų optimaliausius pristatymo maršrutus, atsižvelgiant į oro sąlygas, eismo modelius, pristatymo terminus ir kt.
* [NYC taksi maršrutų vizualizacija](http://chriswhong.github.io/nyctaxi/) - duomenys, surinkti naudojant [Informacijos laisvės įstatymus](https://chriswhong.com/open-data/foil_nyc_taxi/), padėjo vizualizuoti vieną dieną NYC taksi gyvenime, padėdami suprasti, kaip jie naviguoja užimtame mieste, kiek uždirba ir kiek trunka kelionės per 24 valandų laikotarpį.
* [NYC taksi maršrutų vizualizacija](http://chriswhong.github.io/nyctaxi/) - duomenys, surinkti naudojant [Informacijos laisvės įstatymus](https://chriswhong.com/open-data/foil_nyc_taxi/), padėjo vizualizuoti vieną dieną NYC taksi gyvenime, padėdami suprasti, kaip jie naviguoja užimtame mieste, kiek uždirba ir kiek trunka kelionės per 24 valandas.
* [Uber duomenų mokslo darbo aplinka](https://eng.uber.com/dsw/) - naudoja duomenis (apie paėmimo ir išlaipinimo vietas, kelionės trukmę, pageidaujamus maršrutus ir kt.), surinktus iš milijonų Uber kelionių *kasdien*, kad sukurtų duomenų analizės įrankį, padedantį nustatyti kainas, saugumą, sukčiavimo aptikimą ir navigacijos sprendimus.
@ -41,7 +41,7 @@ Dėl AI demokratizacijos kūrėjams dabar lengviau kurti ir integruoti AI pagrį
* [Duomenų mokslas sveikatos apsaugoje](https://data-flair.training/blogs/data-science-in-healthcare/) - pabrėžia taikymą, pvz., medicininį vaizdavimą (pvz., MRT, rentgenas, KT skenavimas), genomiką (DNR sekos nustatymas), vaistų kūrimą (rizikos vertinimas, sėkmės prognozė), prognozavimo analizę (pacientų priežiūra ir tiekimo logistika), ligų stebėjimą ir prevenciją ir kt.
 Vaizdo kreditas: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Vaizdo kreditas: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Paveikslėlyje parodytos kitos sritys ir pavyzdžiai, kaip taikyti duomenų mokslo technikas. Norite tyrinėti kitus taikymus? Peržiūrėkite [Peržiūra ir savarankiškas mokymasis](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) skyrių žemiau.
@ -51,22 +51,22 @@ Paveikslėlyje parodytos kitos sritys ir pavyzdžiai, kaip taikyti duomenų moks
| Duomenų mokslas ir tyrimai - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Nors realaus pasaulio taikymas dažnai orientuojasi į pramonės naudojimo atvejus dideliu mastu, _tyrimų_ taikymas ir projektai gali būti naudingi iš dviejų perspektyvų:
Nors realaus pasaulio taikymas dažnai orientuojasi į pramonės naudojimo atvejus mastu, _tyrimų_ taikymas ir projektai gali būti naudingi iš dviejų perspektyvų:
* _inovacijų galimybės_ - greitas pažangių koncepcijų prototipų kūrimas ir vartotojų patirties testavimas kitų kartų taikymams.
* _diegimo iššūkiai_ - galimų žalingų ar netikėtų duomenų mokslo technologijų pasekmių tyrimas realiame pasaulyje.
* _inovacijų galimybės_ - tirti pažangių koncepcijų greitą prototipavimą ir vartotojų patirties testavimą kitų kartų taikymams.
* _diegimo iššūkiai_ - tirti galimus žalingus ar netikėtus duomenų mokslo technologijų padarinius realiame pasaulyje.
Studentams šie tyrimų projektai gali suteikti mokymosi ir bendradarbiavimo galimybių, kurios pagerins jūsų supratimą apie temą ir praplės jūsų žinias bei įsitraukimą su atitinkamais žmonėmis ar komandomis, dirbančiomis dominančiose srityse. Taigi, kaip atrodo tyrimų projektai ir kaip jie gali turėti įtakos?
Studentams šie tyrimų projektai gali suteikti tiek mokymosi, tiek bendradarbiavimo galimybių, kurios gali pagerinti jūsų supratimą apie temą ir praplėsti jūsų sąmoningumą bei įsitraukimą su atitinkamais žmonėmis ar komandomis, dirbančiomis dominančiose srityse. Taigi, kaip atrodo tyrimų projektai ir kaip jie gali turėti įtakos?
Pažvelkime į vieną pavyzdį - [MIT Gender Shades Study](http://gendershades.org/overview.html) iš Joy Buolamwini (MIT Media Labs) su [reikšmingu tyrimo straipsniu](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), kurį kartu parašė Timnit Gebru (tuomet Microsoft Research), kuris buvo orientuotas į:
Pažvelkime į vieną pavyzdį - [MIT Gender Shades Study](http://gendershades.org/overview.html) iš Joy Buolamwini (MIT Media Labs) su [reikšmingu tyrimų straipsniu](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), kurį kartu parašė Timnit Gebru (tuomet Microsoft Research), kuris buvo orientuotas į:
* **Kas:** Tyrimo projekto tikslas buvo _įvertinti šališkumą automatizuotų veido analizės algoritmų ir duomenų rinkinių_ atžvilgiu pagal lytį ir odos tipą.
* **Kodėl:** Veido analizė naudojama tokiose srityse kaip teisėsauga, oro uostų saugumas, įdarbinimo sistemos ir kt. - kontekstuose, kur netikslūs klasifikavimai (pvz., dėl šališkumo) gali sukelti ekonominę ir socialinę žalą paveiktiems asmenims ar grupėms. Šališkumo supratimas (ir jo pašalinimas ar mažinimas) yra raktas į teisingumą naudojime.
* **Kaip:** Tyrėjai pastebėjo, kad esami etalonai daugiausia naudojo šviesesnės odos subjektus, ir sukūrė naują duomenų rinkinį (1000+ vaizdų), kuris buvo _labiau subalansuotas_ pagal lytį ir odos tipą. Duomenų rinkinys buvo naudojamas trijų lyties klasifikavimo produktų (Microsoft, IBM ir Face++) tikslumui įvertinti.
* **Kas:** Tyrimo projekto tikslas buvo _įvertinti šališkumą automatizuotų veido analizės algoritmų ir duomenų rinkinių_pagrindu pagal lytį ir odos tipą.
* **Kodėl:** Veido analizė naudojama tokiose srityse kaip teisėsauga, oro uostų saugumas, įdarbinimo sistemos ir kt. - kontekstuose, kur netikslūs klasifikavimai (pvz., dėl šališkumo) gali sukelti ekonominę ir socialinę žalą paveiktiems asmenims ar grupėms. Šališkumo supratimas (ir jo pašalinimas arba mažinimas) yra raktas į teisingumą naudojime.
* **Kaip:** Tyrėjai pripažino, kad esami etalonai daugiausia naudojo šviesesnės odos subjektus, ir sukūrė naują duomenų rinkinį (1000+ vaizdų), kuris buvo _labiau subalansuotas_ pagal lytį ir odos tipą. Duomenų rinkinys buvo naudojamas trijų lyties klasifikavimo produktų (Microsoft, IBM ir Face++) tikslumui įvertinti.
Rezultatai parodė, kad nors bendras klasifikavimo tikslumas buvo geras, buvo pastebimas skirtumas klaidų rodikliuose tarp įvairių pogrupių - su **neteisingu lyties nustatymu**, kuris buvo didesnis moterims ar tamsesnės odos tipų asmenims, rodantis šališkumą.
Rezultatai parodė, kad nors bendras klasifikavimo tikslumas buvo geras, buvo pastebimas skirtumas klaidų rodikliuose tarp įvairių pogrupių - su **neteisingu lyties priskyrimu**, kuris buvo didesnis moterims arba asmenims su tamsesnės odos tipais, rodantis šališkumą.
**Pagrindiniai rezultatai:** Atkreiptas dėmesys, kad duomenų mokslui reikia daugiau _reprezentatyvių duomenų rinkinių_ (subalansuotų pogrupių) ir daugiau _įtraukiančių komandų_ (įvairių kilmės), kad būtų galima anksčiau atpažinti ir pašalinti ar sumažinti tokius šališkumus AI sprendimuose. Tokie tyrimų pastangos taip pat yra svarbios daugeliui organizacijų, apibrėžiant principus ir praktikas _atsakingam AI_, siekiant pagerinti teisingumą jų AI produktuose ir procesuose.
**Pagrindiniai rezultatai:** Atkreiptas dėmesys, kad duomenų mokslui reikia daugiau _reprezentatyvių duomenų rinkinių_ (subalansuotų pogrupių) ir daugiau _įtraukių komandų_ (įvairių kilmės), kad būtų galima anksčiau atpažinti ir pašalinti arba sumažinti tokius šališkumus AI sprendimuose. Tokie tyrimų pastangos taip pat yra svarbios daugeliui organizacijų, apibrėžiančių principus ir praktikas _atsakingam AI_, siekiant pagerinti teisingumą jų AI produktuose ir procesuose.
**Norite sužinoti apie atitinkamus tyrimų pastangas Microsoft?**
@ -80,19 +80,19 @@ Rezultatai parodė, kad nors bendras klasifikavimo tikslumas buvo geras, buvo pa
| Duomenų mokslas ir skaitmeniniai humanitariniai mokslai - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Skaitmeniniai humanitariniai mokslai [apibrėžiami](https://digitalhumanities.stanford.edu/about-dh-stanford) kaip "praktikų ir metodų rinkinys, derinantis skaičiavimo metodus su humanitariniais tyrimais". [Stanfordo projektai](https://digitalhumanities.stanford.edu/projects), tokie kaip _"istorijos perkūrimas"_ ir _"poetinis mąstymas"_, iliustruoja ryšį tarp [Skaitmeninių humanitarinių mokslų ir duomenų mokslo](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - pabrėžiant technikas, tokias kaip tinklų analizė, informacijos vizualizacija, erdvinė ir tekstinė analizė, kurios gali padėti mums iš naujo peržiūrėti istorinius ir literatūrinius duomenų rinkinius, kad gautume naujų įžvalgų ir perspektyvų.
Skaitmeniniai humanitariniai mokslai [yra apibrėžti](https://digitalhumanities.stanford.edu/about-dh-stanford) kaip "praktikų ir metodų rinkinys, derinantis skaičiavimo metodus su humanitariniais tyrimais". [Stanfordo projektai](https://digitalhumanities.stanford.edu/projects), tokie kaip _"istorijos perkrovimas"_ ir _"poetinis mąstymas"_, iliustruoja ryšį tarp [Skaitmeninių humanitarinių mokslų ir duomenų mokslo](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - pabrėžiant tokias technikas kaip tinklų analizė, informacijos vizualizacija, erdvinė ir tekstinė analizė, kurios gali padėti mums iš naujo peržiūrėti istorinius ir literatūrinius duomenų rinkinius, kad gautume naujų įžvalgų ir perspektyvų.
*Norite tyrinėti ir plėsti projektą šioje srityje?*
Peržiūrėkite ["Emily Dickinson ir nuotaikos metras"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - puikus pavyzdys iš [Jen Looper](https://twitter.com/jenlooper), kuris klausia, kaip galime naudoti duomenų mokslą, kad iš naujo peržiūrėtume pažįstamą poeziją ir įvertintume jos prasmę bei autorės indėlį naujuose kontekstuose. Pavyzdžiui, _ar galime prognozuoti sezoną, kuriame buvo parašytas eilėraštis, analizuodami jo toną ar nuotaiką_ - ir ką tai pasakoja apie autorės būseną per atitinkamą laikotarpį?
Peržiūrėkite ["Emily Dickinson ir nuotaikos metras"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - puikus pavyzdys iš [Jen Looper](https://twitter.com/jenlooper), kuris klausia, kaip galime naudoti duomenų mokslą, kad iš naujo peržiūrėtume pažįstamą poeziją ir iš naujo įvertintume jos prasmę bei autoriaus indėlį naujuose kontekstuose. Pavyzdžiui, _ar galime prognozuoti sezoną, kuriame buvo sukurtas eilėraštis, analizuodami jo toną ar nuotaiką_ - ir ką tai pasakoja apie autoriaus būseną per atitinkamą laikotarpį?
Norėdami atsakyti į šį klausimą, sekame duomenų mokslo gyvavimo ciklo žingsnius:
* [`Duomenų gavimas`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - surinkti atitinkamą duomenų rinkinį analizei. Galimybės apima API naudojimą (pvz., [Poetry DB API](https://poetrydb.org/index.html)) arba tinklalapių nuskaitymą (pvz., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) naudojant įrankius, tokius kaip [Scrapy](https://scrapy.org/).
* [`Duomenų valymas`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - paaiškina, kaip tekstas gali būti formatuojamas, valomas ir supaprastinamas naudojant pagrindinius įrankius, tokius kaip Visual Studio Code ir Microsoft Excel.
* [`Duomenų analizė`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - paaiškina, kaip dabar galime importuoti duomenų rinkinį į "Notebooks" analizei naudojant Python paketus (pvz., pandas, numpy ir matplotlib), kad organizuotume ir vizualizuotume duomenis.
* [`Nuotaikos analizė`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - paaiškina, kaip galime integruoti debesų paslaugas, tokias kaip Teksto analizė, naudojant mažo kodo įrankius, tokius kaip [Power Automate](https://flow.microsoft.com/en-us/) automatizuotoms duomenų apdorojimo darbo eigoms.
* [`Nuotaikos analizė`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - paaiškina, kaip galime integruoti debesų paslaugas, tokias kaip Teksto analizė, naudojant mažo kodo įrankius, pvz., [Power Automate](https://flow.microsoft.com/en-us/) automatizuotoms duomenų apdorojimo darbo eigoms.
Naudodami šį darbo eigą, galime tyrinėti sezoninius poveikius eilėraščių nuotaikai ir padėti mums suformuoti savo perspektyvas apie autorę. Išbandykite patys - tada išplėskite užrašų knygelę, kad užduotumėte kitus klausimus arba vizualizuotumėte duomenis naujais būdais!
Naudodami šį darbo eigą, galime tyrinėti sezoninius poveikius eilėraščių nuotaikai ir padėti mums suformuoti savo perspektyvas apie autorių. Išbandykite patys - tada išplėskite užrašų knygelę, kad užduotumėte kitus klausimus arba vizualizuotumėte duomenis naujais būdais!
> Galite naudoti kai kuriuos įrankius iš [Skaitmeninių humanitarinių mokslų įrankių rinkinio](https://github.com/Digital-Humanities-Toolkit), kad tęstumėte šias tyrimų kryptis.
@ -102,7 +102,9 @@ Naudodami šį darbo eigą, galime tyrinėti sezoninius poveikius eilėraščių
| Duomenų mokslas ir tvarumas - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 m. darbotvarkė tvariam vystymuisi](https://sdgs.un.org/2030agenda) - priimta visų Jungtinių Tautų narių 2015 m. - identifikuoja 17 tikslų, įskaitant tuos, kurie orientuojasi į **planetos apsaugą** nuo degradacijos ir klimato kaitos poveikio. [Microsoft tvarumo](https://www.microsoft.com/en-us/sustainability) iniciatyva palaiko šiuos tikslus, tyrinėdama, kaip technologiniai sprendimai gali padėti kurti tvaresnę ateitį, orientuojantis į [4 tikslus](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - būti anglies neigiamais, vandens teigiamais, be atliekų ir bioįvairiais iki 2030 m
[2030 m. Darbotvarkė tvariam vystymuisi](https://sdgs.un.org/2030agenda) - priimta visų Jungtinių Tautų narių 2015 m. - identifikuoja 17 tikslų, įskaitant tuos, kurie orientuojasi į **Planetos apsaugą** nuo degradacijos ir klimato kaitos poveikio. [Microsoft tvarumo](https://www.microsoft.com/en-us/sustainability) iniciatyva palaiko šiuos tikslus, tyrinėdama, kaip technologiniai sprendimai gali padėti kurti tvaresnę ateitį, orientuojantis į [4 tikslus](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - būti anglies neigiamais, vandens teigiamais, be atliekų ir bioįvairiais iki 2030 m.
Sprendžiant
**Planetary Computer projektas šiuo metu yra peržiūros stadijoje (nuo 2021 m. rugsėjo)** - štai kaip galite pradėti prisidėti prie tvarumo sprendimų naudodami duomenų mokslą.
* [Prašyti prieigos](https://planetarycomputer.microsoft.com/account/request), kad galėtumėte pradėti tyrinėti ir bendrauti su bendraminčiais.
@ -120,11 +122,11 @@ Mes kalbėjome apie realaus pasaulio pritaikymą pramonėje ir tyrimuose, taip p
* [MSR Duomenų mokslo vasaros mokykla](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) su GitHub [projektais](https://github.com/msr-ds3), nagrinėjančiais tokias temas kaip:
- [Rasinis šališkumas policijos jėgos naudojime](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Niujorko metro sistemos patikimumas](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Materialinės kultūros skaitmeninimas: socioekonominių pasiskirstymų tyrimas Sirkape](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - nuo [Ornella Altunyan](https://twitter.com/ornelladotcom) ir komandos Claremont, naudojant [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Materialinės kultūros skaitmenizavimas: socioekonominių pasiskirstymų tyrimas Sirkape](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - nuo [Ornella Altunyan](https://twitter.com/ornelladotcom) ir komandos Claremont, naudojant [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Iššūkis
Ieškokite straipsnių, kurie rekomenduoja pradedantiesiems tinkamus duomenų mokslo projektus - pavyzdžiui, [šias 50 temų](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [šias 21 projekto idėją](https://www.intellspot.com/data-science-project-ideas) arba [šiuos 16 projektų su šaltinio kodu](https://data-flair.training/blogs/data-science-project-ideas/), kuriuos galite išskaidyti ir pritaikyti. Nepamirškite rašyti tinklaraščio apie savo mokymosi kelionę ir dalintis savo įžvalgomis su visais.
Ieškokite straipsnių, kurie rekomenduoja pradedantiesiems tinkamus duomenų mokslo projektus - pavyzdžiui, [šias 50 temų sritis](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) arba [šias 21 projekto idėją](https://www.intellspot.com/data-science-project-ideas) arba [šiuos 16 projektų su šaltinio kodu](https://data-flair.training/blogs/data-science-project-ideas/), kuriuos galite išskaidyti ir perkurti. Nepamirškite rašyti tinklaraščio apie savo mokymosi keliones ir dalintis savo įžvalgomis su visais.
## Po paskaitos testas
@ -133,16 +135,17 @@ Ieškokite straipsnių, kurie rekomenduoja pradedantiesiems tinkamus duomenų mo
## Apžvalga ir savarankiškas mokymasis
Norite tyrinėti daugiau pritaikymo atvejų? Štai keletas susijusių straipsnių:
* [17 duomenų mokslo taikymo pavyzdžių](https://builtin.com/data-science/data-science-applications-examples) - 2021 m. liepa
* [11 įspūdingų duomenų mokslo taikymo realiame pasaulyje](https://myblindbird.com/data-science-applications-real-world/) - 2021 m. gegužė
* [17 Duomenų mokslo taikymo pavyzdžių](https://builtin.com/data-science/data-science-applications-examples) - 2021 m. liepa
* [11 Stulbinančių duomenų mokslo taikymo pavyzdžių realiame pasaulyje](https://myblindbird.com/data-science-applications-real-world/) - 2021 m. gegužė
* [Duomenų mokslas realiame pasaulyje](https://towardsdatascience.com/data-science-in-the-real-world/home) - straipsnių kolekcija
* Duomenų mokslas: [Švietime](https://data-flair.training/blogs/data-science-in-education/), [Žemės ūkyje](https://data-flair.training/blogs/data-science-in-agriculture/), [Finansuose](https://data-flair.training/blogs/data-science-in-finance/), [Filmuose](https://data-flair.training/blogs/data-science-at-movies/) ir daugiau.
* [12 Duomenų mokslo taikymo pavyzdžių su realiais pavyzdžiais](https://www.scaler.com/blog/data-science-applications/) - 2024 m. gegužė
* Duomenų mokslas: [Švietime](https://data-flair.training/blogs/data-science-in-education/), [Žemės ūkyje](https://data-flair.training/blogs/data-science-in-agriculture/), [Finansuose](https://data-flair.training/blogs/data-science-in-finance/), [Filmuose](https://data-flair.training/blogs/data-science-at-movies/), [Sveikatos priežiūroje](https://onlinedegrees.sandiego.edu/data-science-health-care/) ir daugiau.
## Užduotis
[Analizuokite Planetary Computer duomenų rinkinį](assignment.md)
[Naršykite Planetary Computer duomenų rinkinį](assignment.md)
---
**Atsakomybės apribojimas**:
Šis dokumentas buvo išverstas naudojant AI vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama naudoti profesionalų žmogaus vertimą. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus interpretavimus, atsiradusius dėl šio vertimo naudojimo.
Šis dokumentas buvo išverstas naudojant dirbtinio intelekto vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, atkreipiame dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama naudotis profesionalių vertėjų paslaugomis. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus aiškinimus, kylančius dėl šio vertimo naudojimo.
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT Media Labs）領導，並與 Timnit Gebru（當時在 Microsoft Research）共同撰寫了一篇[重要研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究專注於：
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT 媒體實驗室）進行，並與 Timnit Gebru（當時在微軟研究院）共同撰寫了一篇[標誌性研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究專注於：
* 查看 [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project)中的人工智能研究項目。
* 探索 [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/)的學生項目。
查看 ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——一個來自 [Jen Looper](https://twitter.com/jenlooper) 的精彩例子，探討如何利用數據科學重新審視熟悉的詩歌，並在新的背景下重新評估其意義及作者的貢獻。例如，_我們能否通過分析詩歌的語氣或情感來預測其創作季節_——這對於作者在相關時期的心理狀態有何啟示？
आपण डेटा सायन्स आणि नैतिकतेच्या व्याख्यांपासून सुरुवात केली, डेटा विश्लेषण आणि व्हिज्युअलायझेशनसाठी विविध साधने आणि तंत्रे शोधली, डेटा सायन्स जीवनचक्राचा आढावा घेतला आणि क्लाउड संगणन सेवांसह डेटा सायन्स वर्कफ्लो स्केलिंग आणि स्वयंचलित करण्याचा विचार केला. त्यामुळे तुम्ही कदाचित विचार करत असाल: _"हे सर्व शिकलेले वास्तविक जगातील संदर्भांशी कसे जोडायचे?"_
आपण डेटा सायन्स आणि नैतिकतेच्या व्याख्यांपासून सुरुवात केली, डेटा विश्लेषण आणि व्हिज्युअलायझेशनसाठी विविध साधने आणि तंत्रे शोधली, डेटा सायन्स जीवनचक्राचा आढावा घेतला आणि क्लाउड संगणन सेवांसह डेटा सायन्स वर्कफ्लो स्केलिंग आणि स्वयंचलित करण्याचे मार्ग पाहिले. त्यामुळे तुम्ही कदाचित विचार करत असाल: _"हे सर्व शिकलेले वास्तविक जगातील संदर्भांशी कसे जोडायचे?"_
या धड्यात, आपण उद्योगातील डेटा सायन्सच्या वास्तविक-जगातील अनुप्रयोगांचा शोध घेऊ आणि संशोधन, डिजिटल मानविकी आणि शाश्वतता यासारख्या विशिष्ट उदाहरणांमध्ये डुबकी मारू. आपण विद्यार्थ्यांच्या प्रकल्पांच्या संधींचा विचार करू आणि आपल्या शिकण्याच्या प्रवासाला पुढे नेण्यासाठी उपयुक्त संसाधनांसह समाप्त करू!
या धड्यात, आपण उद्योगातील डेटा सायन्सच्या वास्तविक-जगातील अनुप्रयोगांचा शोध घेऊ आणि संशोधन, डिजिटल मानविकी आणि शाश्वतता यासारख्या विशिष्ट उदाहरणांमध्ये डोकावू. आपण विद्यार्थ्यांसाठी प्रकल्प संधी पाहू आणि आपल्या शिकण्याच्या प्रवासाला पुढे नेण्यासाठी उपयुक्त संसाधनांसह समाप्त करू!
## पूर्व-व्याख्यान प्रश्नमंजुषा
@ -25,25 +25,25 @@ CO_OP_TRANSLATOR_METADATA:
## डेटा सायन्स + उद्योग
AI च्या लोकशाहीकरणामुळे, विकसकांना आता AI-चालित निर्णय घेणे आणि डेटा-चालित अंतर्दृष्टी वापरकर्ता अनुभवांमध्ये आणि विकास कार्यप्रवाहांमध्ये डिझाइन करणे आणि समाकलित करणे सोपे झाले आहे. येथे डेटा सायन्स उद्योगभर "लागू" कसा केला जातो याची काही उदाहरणे आहेत:
AI च्या लोकशाहीकरणामुळे, विकसकांसाठी AI-चालित निर्णय घेणे आणि डेटा-चालित अंतर्दृष्टी वापरकर्ता अनुभवांमध्ये आणि विकास कार्यप्रवाहांमध्ये डिझाइन करणे आणि समाकलित करणे सोपे झाले आहे. येथे उद्योगभरातील वास्तविक-जगातील अनुप्रयोगांमध्ये डेटा सायन्स "लागू" कसा केला जातो याची काही उदाहरणे आहेत:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ने शोध शब्दांचा फ्लू ट्रेंड्सशी संबंध जोडण्यासाठी डेटा सायन्सचा वापर केला. जरी या दृष्टिकोनात त्रुटी होत्या, तरीही याने डेटा-चालित आरोग्यसेवा अंदाजांच्या शक्यता (आणि आव्हाने) याबद्दल जागरूकता निर्माण केली.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ने शोध शब्दांचा फ्लू ट्रेंडशी संबंध जोडण्यासाठी डेटा सायन्सचा वापर केला. जरी या दृष्टिकोनात त्रुटी होत्या, तरीही याने डेटा-चालित आरोग्यसेवा अंदाजांच्या शक्यता (आणि आव्हाने) याबद्दल जागरूकता निर्माण केली.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS कसे डेटा सायन्स आणि मशीन लर्निंगचा वापर करून हवामान परिस्थिती, वाहतूक नमुने, वितरणाच्या अंतिम मुदती आणि बरेच काही लक्षात घेऊन वितरणासाठी सर्वोत्तम मार्गांचा अंदाज लावतो हे स्पष्ट करते.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [माहिती स्वातंत्र्य कायद्यांचा](https://chriswhong.com/open-data/foil_nyc_taxi/) वापर करून गोळा केलेल्या डेटाने NYC कॅब्सच्या एका दिवसाचे व्हिज्युअलायझेशन करण्यात मदत केली, ज्यामुळे आम्हाला समजले की ते व्यस्त शहरात कसे नेव्हिगेट करतात, ते किती पैसे कमवतात आणि प्रत्येक 24-तास कालावधीत प्रवास किती काळ टिकतो.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) चा वापर करून गोळा केलेल्या डेटाने NYC कॅब्सच्या एका दिवसाचे व्हिज्युअलायझेशन करण्यात मदत केली, ज्यामुळे आम्हाला समजले की ते गजबजलेल्या शहरात कसे नेव्हिगेट करतात, ते किती पैसे कमवतात आणि प्रत्येक 24-तास कालावधीत प्रवास किती काळ टिकतो.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - दररोज लाखो उबर ट्रिप्समधून गोळा केलेल्या डेटाचा (पिकअप आणि ड्रॉपऑफ स्थान, प्रवासाचा कालावधी, प्राधान्य दिलेले मार्ग इ.) डेटा विश्लेषण साधन तयार करण्यासाठी वापर केला जातो, ज्यामुळे किंमत निर्धारण, सुरक्षा, फसवणूक शोधणे आणि नेव्हिगेशन निर्णय घेण्यात मदत होते.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - दररोज लाखो उबर ट्रिप्समधून गोळा केलेल्या डेटाचा (पिकअप आणि ड्रॉपऑफ स्थान, प्रवासाचा कालावधी, प्राधान्य दिलेले मार्ग इ.) वापर करून डेटा अॅनालिटिक्स टूल तयार केले जाते, जे किंमत निर्धारण, सुरक्षा, फसवणूक शोधणे आणि नेव्हिगेशन निर्णयांमध्ये मदत करते.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _प्रेडिक्टिव अॅनालिटिक्स_ (संघ आणि खेळाडूंचे विश्लेषण - [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) विचार करा - आणि चाहत्यांचे व्यवस्थापन) आणि _डेटा व्हिज्युअलायझेशन_ (संघ आणि चाहत्यांचे डॅशबोर्ड, खेळ इ.) वर लक्ष केंद्रित करते, ज्यामध्ये प्रतिभा शोधणे, क्रीडा जुगार आणि इन्व्हेंटरी/स्थळ व्यवस्थापन यासारख्या अनुप्रयोगांचा समावेश आहे.
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - वित्तीय उद्योगातील डेटा सायन्सच्या मूल्यावर प्रकाश टाकते, ज्यामध्ये जोखीम मॉडेलिंग आणि फसवणूक शोधणे, ग्राहक विभागणी, रिअल-टाइम अंदाज आणि शिफारस प्रणाली यासारख्या अनुप्रयोगांचा समावेश आहे. प्रेडिक्टिव अॅनालिटिक्स देखील [क्रेडिट स्कोअर्स](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) यांसारख्या महत्त्वाच्या उपाययोजनांना चालना देते.
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - वित्तीय उद्योगातील डेटा सायन्सच्या मूल्यावर प्रकाश टाकतो, ज्यामध्ये जोखीम मॉडेलिंग आणि फसवणूक शोधणे, ग्राहक विभागणी, रिअल-टाइम अंदाज आणि शिफारस प्रणाली यासारख्या अनुप्रयोगांचा समावेश आहे. प्रेडिक्टिव अॅनालिटिक्स देखील [क्रेडिट स्कोअर्स](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) सारख्या महत्त्वाच्या उपाययोजनांना चालना देते.
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - वैद्यकीय प्रतिमा (उदा., एमआरआय, एक्स-रे, सीटी-स्कॅन), जीनोमिक्स (डीएनए अनुक्रमण), औषध विकास (जोखीम मूल्यांकन, यशाचा अंदाज), प्रेडिक्टिव अॅनालिटिक्स (रुग्णांची काळजी आणि पुरवठा लॉजिस्टिक्स), रोग ट्रॅकिंग आणि प्रतिबंध यांसारख्या अनुप्रयोगांवर प्रकाश टाकते.
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - वैद्यकीय प्रतिमा (उदा., एमआरआय, एक्स-रे, सीटी-स्कॅन), जीनोमिक्स (डीएनए अनुक्रमण), औषध विकास (जोखीम मूल्यांकन, यशाचा अंदाज), प्रेडिक्टिव अॅनालिटिक्स (रुग्णांची काळजी आणि पुरवठा लॉजिस्टिक्स), रोग ट्रॅकिंग आणि प्रतिबंध यासारख्या अनुप्रयोगांवर प्रकाश टाकतो.
 प्रतिमा क्रेडिट: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 प्रतिमा क्रेडिट: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
आकृतीत डेटा सायन्स तंत्रे लागू करण्यासाठी इतर डोमेन आणि उदाहरणे दर्शविली आहेत. इतर अनुप्रयोगांचा शोध घ्यायचा आहे? खालील [पुनरावलोकन आणि स्व-अभ्यास](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) विभाग तपासा.
आकृतीत डेटा सायन्स तंत्र लागू करण्यासाठी इतर डोमेन आणि उदाहरणे दर्शविली आहेत. इतर अनुप्रयोगांचा शोध घ्यायचा आहे? खालील [पुनरावलोकन आणि स्व-अभ्यास](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) विभाग तपासा.
| डेटा सायन्स आणि संशोधन - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
वास्तविक-जगातील अनुप्रयोग प्रामुख्याने उद्योगातील मोठ्या प्रमाणातील वापराच्या प्रकरणांवर लक्ष केंद्रित करतात, तर _संशोधन_ अनुप्रयोग आणि प्रकल्प दोन दृष्टिकोनांमधून उपयुक्त ठरू शकतात:
वास्तविक-जगातील अनुप्रयोग प्रामुख्याने उद्योगातील मोठ्या प्रमाणातील वापरावर लक्ष केंद्रित करतात, तर _संशोधन_ अनुप्रयोग आणि प्रकल्प दोन दृष्टिकोनातून उपयुक्त ठरू शकतात:
* _नाविन्यपूर्ण संधी_ - प्रगत संकल्पनांचे जलद प्रोटोटाइपिंग आणि पुढील पिढीच्या अनुप्रयोगांसाठी वापरकर्ता अनुभवांची चाचणी घेणे.
विद्यार्थ्यांसाठी, हे संशोधन प्रकल्प शिकण्याच्या आणि सहकार्याच्या संधी प्रदान करू शकतात, ज्यामुळे तुमच्या विषयाची समज सुधारेल आणि संबंधित लोक किंवा स्वारस्य असलेल्या क्षेत्रांमध्ये काम करणाऱ्या संघांशी तुमची जागरूकता आणि सहभाग वाढेल. तर संशोधन प्रकल्प कसे दिसतात आणि ते कसा प्रभाव पाडू शकतात?
विद्यार्थ्यांसाठी, हे संशोधन प्रकल्प शिकण्याच्या आणि सहकार्याच्या संधी प्रदान करू शकतात, जे तुमच्या विषयावरील समज सुधारू शकतात आणि संबंधित लोक किंवा कार्यसंघांसोबत तुमची जागरूकता आणि सहभाग वाढवू शकतात. तर संशोधन प्रकल्प कसे दिसतात आणि ते कसा प्रभाव पाडू शकतात?
चला एका उदाहरणावर नजर टाकूया - [MIT Gender Shades Study](http://gendershades.org/overview.html) - Joy Buolamwini (MIT Media Labs) यांचे संशोधन प्रकल्प, ज्यामध्ये Timnit Gebru (त्यावेळी Microsoft Research) सह-लेखक असलेल्या [संशोधन पेपर](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) वर लक्ष केंद्रित केले आहे.
चला एका उदाहरणावर नजर टाकूया - [MIT Gender Shades Study](http://gendershades.org/overview.html) - जॉय बुओलाम्विनी (MIT मीडिया लॅब्स) यांचे संशोधन, ज्यामध्ये टिम्निट गेब्रू (त्यावेळी मायक्रोसॉफ्ट रिसर्च) सह-लेखक असलेल्या [संशोधन पेपर](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) वर आधारित आहे.
* **काय:** संशोधन प्रकल्पाचा उद्देश _लिंग आणि त्वचेच्या प्रकारावर आधारित स्वयंचलित चेहर्यावरील विश्लेषण अल्गोरिदम आणि डेटासेट्समधील पूर्वग्रहांचे मूल्यांकन करणे_ हा होता.
* **का:** चेहर्यावरील विश्लेषण कायद्याची अंमलबजावणी, विमानतळ सुरक्षा, भरती प्रणाली आणि बरेच काही यासारख्या क्षेत्रांमध्ये वापरले जाते - जिथे चुकीचे वर्गीकरण (उदा., पूर्वग्रहांमुळे) प्रभावित व्यक्ती किंवा गटांना संभाव्य आर्थिक आणि सामाजिक हानी पोहोचवू शकते. पूर्वग्रह समजून घेणे (आणि काढून टाकणे किंवा कमी करणे) हे वापरातील न्यायतेसाठी महत्त्वाचे आहे.
* **कसे:** संशोधकांनी ओळखले की विद्यमान बेंचमार्कमध्ये प्रामुख्याने हलक्या त्वचेच्या विषयांचा समावेश आहे आणि त्यांनी एक नवीन डेटासेट (1000+ प्रतिमा) तयार केले जे लिंग आणि त्वचेच्या प्रकारानुसार _अधिक संतुलित_ होते. डेटासेटचा वापर तीन लिंग वर्गीकरण उत्पादनांच्या अचूकतेचे मूल्यांकन करण्यासाठी केला गेला (Microsoft, IBM आणि Face++ कडून).
* **का:** चेहर्यावरील विश्लेषण कायद्याची अंमलबजावणी, विमानतळ सुरक्षा, भरती प्रणाली आणि बरेच काही यासारख्या क्षेत्रांमध्ये वापरले जाते - जिथे चुकीचे वर्गीकरण (उदा., पूर्वग्रहांमुळे) प्रभावित व्यक्ती किंवा गटांना संभाव्य आर्थिक आणि सामाजिक हानी पोहोचवू शकते. पूर्वग्रह समजून घेणे (आणि काढून टाकणे किंवा कमी करणे) हे वापरातील न्याय्यतेसाठी महत्त्वाचे आहे.
* **कसे:** संशोधकांनी ओळखले की विद्यमान बेंचमार्कमध्ये प्रामुख्याने फिकट त्वचेच्या विषयांचा समावेश आहे आणि त्यांनी एक नवीन डेटासेट (1000+ प्रतिमा) तयार केले जे लिंग आणि त्वचेच्या प्रकारानुसार _अधिक संतुलित_ होते. डेटासेटचा वापर मायक्रोसॉफ्ट, IBM आणि Face++ च्या तीन लिंग वर्गीकरण उत्पादनांच्या अचूकतेचे मूल्यांकन करण्यासाठी केला गेला.
परिणामांनी दाखवले की एकूण वर्गीकरण अचूकता चांगली असली तरी, विविध उपगटांमधील त्रुटी दरांमध्ये लक्षणीय फरक होता - **चुकीचे लिंग वर्गीकरण** महिलांसाठी किंवा गडद त्वचेच्या प्रकारांसाठी जास्त होते, जे पूर्वग्रह दर्शविते.
परिणामांमध्ये असे दिसून आले की एकूण वर्गीकरण अचूकता चांगली असली तरी, विविध उपगटांमधील त्रुटी दरांमध्ये लक्षणीय फरक होता - **चुकीचे लिंग वर्गीकरण** महिलांसाठी किंवा गडद त्वचेच्या प्रकारांसाठी जास्त होते, जे पूर्वग्रह दर्शविते.
**महत्त्वाचे परिणाम:** डेटा सायन्सला अधिक _प्रतिनिधिक डेटासेट्स_ (संतुलित उपगट) आणि अधिक _समावेशक संघ_ (विविध पार्श्वभूमी) आवश्यक आहेत हे समजून घेण्यासाठी आणि अशा पूर्वग्रहांना AI सोल्यूशन्समध्ये लवकर ओळखण्यासाठी आणि कमी करण्यासाठी जागरूकता निर्माण केली. अशा संशोधन प्रयत्नांमुळे अनेक संस्थांना त्यांच्या AI उत्पादनांमध्ये आणि प्रक्रियांमध्ये न्याय्यतेसाठी _जबाबदार AI_साठी तत्त्वे आणि पद्धती परिभाषित करण्यात मदत होते.
**महत्त्वाचे परिणाम:** डेटा सायन्सला _प्रतिनिधिक डेटासेट्स_ (संतुलित उपगट) आणि _समावेशक संघ_ (विविध पार्श्वभूमी) ची आवश्यकता आहे हे दाखवून दिले, जे AI सोल्यूशन्समध्ये असे पूर्वग्रह लवकर ओळखण्यासाठी आणि काढून टाकण्यासाठी किंवा कमी करण्यासाठी महत्त्वाचे आहे. अशा संशोधन प्रयत्नांमुळे अनेक संस्थांना त्यांच्या AI उत्पादनांमध्ये आणि प्रक्रियांमध्ये न्याय्यतेसाठी _जबाबदार AI_च्या तत्त्वे आणि पद्धती परिभाषित करण्यात मदत झाली.
**Microsoft मधील संबंधित संशोधन प्रयत्नांबद्दल जाणून घ्यायचे आहे?**
**मायक्रोसॉफ्टमधील संबंधित संशोधन प्रयत्नांबद्दल जाणून घ्यायचे आहे?**
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) वर कृत्रिम बुद्धिमत्तेवरील प्रकल्प तपासा.
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) मधील विद्यार्थी प्रकल्प शोधा.
| डेटा सायन्स आणि डिजिटल मानविकी - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
डिजिटल मानविकी [असे परिभाषित केले गेले आहे](https://digitalhumanities.stanford.edu/about-dh-stanford) की "मानवीय चौकशीसह संगणकीय पद्धती एकत्रित करणाऱ्या पद्धती आणि दृष्टिकोनांचा संग्रह". [स्टॅनफोर्ड प्रकल्प](https://digitalhumanities.stanford.edu/projects) जसे की _"इतिहासाचा पुनरुज्जीवन"_ आणि _"काव्यात्मक विचार"_[डिजिटल मानविकी आणि डेटा सायन्स](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) यांच्यातील दुव्याचे उदाहरण देतात - नेटवर्क विश्लेषण, माहिती व्हिज्युअलायझेशन, स्थानिक आणि मजकूर विश्लेषण यांसारख्या तंत्रांवर भर देऊन, ज्यामुळे ऐतिहासिक आणि साहित्यिक डेटासेट्सचा पुनर्विचार करून नवीन अंतर्दृष्टी आणि दृष्टिकोन मिळवता येतो.
डिजिटल मानविकी [असे परिभाषित केले गेले आहे](https://digitalhumanities.stanford.edu/about-dh-stanford) की "संगणकीय पद्धती मानवीय चौकशीसह एकत्र करणाऱ्या पद्धती आणि दृष्टिकोनांचा संग्रह". [स्टॅनफोर्ड प्रकल्प](https://digitalhumanities.stanford.edu/projects) जसे की _"इतिहासाचा पुनरुज्जीवन"_ आणि _"काव्यात्मक विचार"_ डिजिटल मानविकी आणि डेटा सायन्स यांच्यातील दुव्याचे उदाहरण देतात - नेटवर्क विश्लेषण, माहिती व्हिज्युअलायझेशन, स्थानिक आणि मजकूर विश्लेषण यांसारख्या तंत्रांवर भर देऊन, ज्यामुळे ऐतिहासिक आणि साहित्यिक डेटासेट्सचा पुनर्विचार करून नवीन अंतर्दृष्टी आणि दृष्टिकोन मिळवता येतो.
*या क्षेत्रातील प्रकल्प शोधायचा आणि विस्तारित करायचा आहे?*
*या क्षेत्रातील प्रकल्प शोधायचा किंवा विस्तारित करायचा आहे?*
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) तपासा - [Jen Looper](https://twitter.com/jenlooper) यांचे एक उत्कृष्ट उदाहरण, जे विचारते की आपण डेटा सायन्सचा वापर करून परिचित कवितांचा पुनर्विचार कसा करू शकतो आणि नवीन संदर्भांमध्ये त्याचा अर्थ आणि लेखकाचे योगदान पुन्हा कसे मूल्यांकन करू शकतो. उदाहरणार्थ, _कवितेच्या टोन किंवा भावना विश्लेषणाद्वारे ती कोणत्या ऋतूमध्ये लिहिली गेली याचा अंदाज लावता येतो का_ - आणि यामुळे संबंधित कालावधीत लेखकाच्या मानसिक स्थितीबद्दल काय सांगते?
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) तपासा - [Jen Looper](https://twitter.com/jenlooper) यांचे एक उत्कृष्ट उदाहरण, जे विचारते की आपण डेटा सायन्सचा वापर करून परिचित कवितांचा पुनर्विचार कसा करू शकतो आणि नवीन संदर्भांमध्ये त्याचा अर्थ आणि लेखकाचे योगदान पुन्हा कसे मूल्यांकन करू शकतो. उदाहरणार्थ, _कवितेच्या टोन किंवा भावना विश्लेषणाद्वारे ती कविता कोणत्या ऋतूमध्ये लिहिली गेली याचा अंदाज लावता येईल का_ - आणि यामुळे संबंधित कालावधीत लेखकाच्या मनःस्थितीबद्दल काय कळते?
त्या प्रश्नाचे उत्तर देण्यासाठी, आपण डेटा सायन्स जीवनचक्राच्या टप्प्यांचे अनुसरण करतो:
* [`डेटा अधिग्रहण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषणासाठी संबंधित डेटासेट गोळा करणे. API (उदा., [Poetry DB API](https://poetrydb.org/index.html)) वापरणे किंवा वेब पृष्ठे स्क्रॅप करणे (उदा., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) यासारखे पर्याय.
* [`डेटा स्वच्छता`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - मजकूर कसा स्वरूपित, स्वच्छ आणि सोपा केला जाऊ शकतो हे मूलभूत साधनांचा वापर करून स्पष्ट करते, जसे की Visual Studio Code आणि Microsoft Excel.
* [`डेटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - डेटासेट "नोटबुक्स" मध्ये आयात करून Python पॅकेजेस (जसे की pandas, numpy आणि matplotlib) चा वापर करून डेटा आयोजित आणि व्हिज्युअलायझेशन कसे करावे हे स्पष्ट करते.
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - क्लाउड सेवांचा समावेश कसा करावा हे स्पष्ट करते, जसे की Text Analytics, कमी-कोड साधनांचा वापर करून [Power Automate](https://flow.microsoft.com/en-us/) स्वयंचलित डेटा प्रक्रिया कार्यप्रवाहांसाठी.
या प्रश्नाचे उत्तर देण्यासाठी, आपण डेटा सायन्स जीवनचक्राच्या टप्प्यांचे अनुसरण करतो:
* [`डेटा संकलन`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषणासाठी संबंधित डेटासेट गोळा करणे. API (उदा., [Poetry DB API](https://poetrydb.org/index.html)) चा वापर करणे किंवा वेब पृष्ठे स्क्रॅप करणे (उदा., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) यासारखे पर्याय.
* [`डेटा स्वच्छता`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - मजकूर स्वरूपित करणे, स्वच्छ करणे आणि सोपे करणे याचे स्पष्टीकरण, Visual Studio Code आणि Microsoft Excel यांसारख्या मूलभूत साधनांचा वापर करून.
* [`डेटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - डेटासेट "नोटबुक्स" मध्ये आयात करून, Python पॅकेजेस (जसे pandas, numpy आणि matplotlib) चा वापर करून डेटा आयोजित करणे आणि व्हिज्युअलायझेशन करणे.
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - क्लाउड सेवांचा समावेश कसा करू शकतो याचे स्पष्टीकरण, जसे की Text Analytics, कमी-कोड साधनांचा वापर करून [Power Automate](https://flow.microsoft.com/en-us/) स्वयंचलित डेटा प्रक्रिया कार्यप्रवाहांसाठी.
या कार्यप्रवाहाचा वापर करून, आपण कवितांच्या भावनांवर ऋतूंचा प्रभाव शोधू शकतो आणि लेखकाबद्दल आपले स्वतःचे दृष्टिकोन तयार करू शकतो. स्वतः प्रयत्न करा - मग नोटबुक विस्तारित करा, इतर प्रश्न विचारा किंवा डेटाचे नवीन पद्धतीने व्हिज्युअलायझेशन करा!
या कार्यप्रवाहाचा वापर करून, आपण कवितांच्या भावनांवर ऋतूंचा प्रभाव शोधू शकतो आणि लेखकाबद्दल आपले स्वतःचे दृष्टिकोन तयार करू शकतो. स्वतः प्रयत्न करा - मग नोटबुक विस्तारित करा, इतर प्रश्न विचारा किंवा डेटा नवीन पद्धतीने व्हिज्युअल करा!
> तुम्ही [डिजिटल मानविकी टूलकिट](https://github.com/Digital-Humanities-Toolkit) मधील काही साधनांचा वापर करून या चौकशीच्या मार्गांचा पाठपुरावा करू शकता.
@ -102,46 +102,47 @@ AI च्या लोकशाहीकरणामुळे, विकसक
| डेटा सायन्स आणि शाश्वतता - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 साठी शाश्वत विकासाचा अजेंडा](https://sdgs.un.org/2030agenda) - 2015 मध्ये सर्व संयुक्त राष्ट्र सदस्यांनी स्वीकारलेला - 17 उद्दिष्टे ओळखतो, ज्यामध्ये **ग्रहाचे संरक्षण** करण्यावर आणि हवामान बदलाच्या परिणामांपासून संरक्षण करण्यावर लक्ष केंद्रित केले आहे. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) उपक्रम या उद्दिष्टांचे समर्थन करतो, तंत्रज्ञानाच्या उपायांनी अधिक शाश्वत भविष्ये कशी तयार करता येतील याचा शोध घेतो, आणि [4 उद्दिष्टांवर लक्ष केंद्रित करतो](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - 2030 पर्यंत कार्बन नकारात्मक, पाण्याचे सकारात्मक, शून्य कचरा आणि जैवविविधता.
[2030 साठी शाश्वत विकासाचा अजेंडा](https://sdgs.un.org/2030agenda) - 2015 मध्ये सर्व संयुक्त राष्ट्र सदस्यांनी स्वीकारलेला - 17 उद्दिष्टे ओळखतो, ज्यामध्ये **ग्रहाचे संरक्षण** करण्यावर आणि हवामान बदलाच्या परिणामांपासून संरक्षण करण्यावर लक्ष केंद्रित करणारे उद्दिष्टे आहेत. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) उपक्रम या उद्दिष्टांचे समर्थन करतो, तंत्रज्ञानाच्या उपायांचा वापर करून अधिक शाश्वत भविष्य तयार करण्याचे मार्ग शोधतो, ज्यामध्ये [4 उद्दिष्टांवर लक्ष केंद्रित केले आहे](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - 2030 पर्यंत कार्बन नकारात्मक, पाण्याच्या बाबतीत सकारात्मक, शून्य कचरा आणि जैवविविधता राखणे.
या आव्हानांना स्केलेबल आणि वेळेवर हाताळण्यासाठी क्लाउड-स्केल विचार आवश्यक आहे - आणि मोठ्या प्रमाणात डेटा. [Planetary Computer](https://planetarycomputer.microsoft.com/) उपक्रम डेटा सायंटिस्ट्स आणि विकसकांना या प्रयत्नात मदत करण्यासाठी 4 घटक प्रदान करतो:
या आव्हानांना स्केलेबल आणि वेळेवर हाताळण्यासाठी क्लाउड-स्केल विचारसरणी आणि मोठ्या प्रमाणातील डेटा आवश्यक आहे. [Planetary Computer](https://planetarycomputer.microsoft.com/) उपक्रम डेटा सायंटिस्ट्स आणि विकसकांना या प्रयत्नात मदत करण्यासाठी 4 घटक प्रदान करतो:
* [डेटा कॅटलॉग](https://planetarycomputer.microsoft.com/catalog) - पृथ्वी प्रणाली डेटाचे पेटाबाइट्स (मोफत आणि Azure-होस्ट केलेले).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - वापरकर्त्यांना जागा आणि वेळेनुसार संबंधित
**प्लॅनेटरी कॉम्प्युटर प्रोजेक्ट सध्या प्रिव्ह्यूमध्ये आहे (सप्टेंबर 2021 पर्यंत)** - डेटा सायन्स वापरून टिकाऊ उपायांमध्ये योगदान देण्यासाठी सुरुवात कशी करावी याबद्दल जाणून घ्या.
**प्लॅनेटरी कॉम्प्युटर प्रोजेक्ट सध्या प्रिव्ह्यूमध्ये आहे (सप्टेंबर 2021 पर्यंत)** - डेटा सायन्स वापरून टिकाऊपणाच्या उपायांमध्ये योगदान देण्यासाठी कसे सुरुवात करायची ते येथे दिले आहे.
* [प्रवेशासाठी विनंती करा](https://planetarycomputer.microsoft.com/account/request) आणि शोध सुरू करा तसेच सहकाऱ्यांशी संपर्क साधा.
* [प्रवेशासाठी विनंती करा](https://planetarycomputer.microsoft.com/account/request) आणि अन्वेषण सुरू करा तसेच सहकाऱ्यांशी संपर्क साधा.
* [डॉक्युमेंटेशन एक्सप्लोर करा](https://planetarycomputer.microsoft.com/docs/overview/about) जेणेकरून समर्थित डेटासेट्स आणि API समजून घेता येतील.
* [इकोसिस्टम मॉनिटरिंग](https://analytics-lab.org/ecosystemmonitoring/) सारख्या अनुप्रयोगांचा अभ्यास करा जे अनुप्रयोग कल्पनांसाठी प्रेरणा देऊ शकतात.
* [इकोसिस्टम मॉनिटरिंग](https://analytics-lab.org/ecosystemmonitoring/) सारख्या अनुप्रयोगांचा अभ्यास करा, जे अनुप्रयोग कल्पनांसाठी प्रेरणा देऊ शकतात.
डेटा व्हिज्युअलायझेशनचा वापर करून हवामान बदल आणि जंगलतोड यासारख्या क्षेत्रांमध्ये महत्त्वपूर्ण अंतर्दृष्टी कशी उघड करता येईल किंवा ती अधिक प्रभावीपणे कशी मांडता येईल याचा विचार करा. किंवा अशा अंतर्दृष्टींचा वापर करून नवीन वापरकर्ता अनुभव तयार करण्याचा विचार करा जे टिकाऊ जीवनासाठी वर्तनात्मक बदलांना प्रेरित करतात.
डेटा व्हिज्युअलायझेशनचा वापर करून हवामान बदल आणि जंगलतोड यांसारख्या क्षेत्रांमध्ये संबंधित अंतर्दृष्टी उघड करण्यासाठी किंवा ती अधिक प्रभावीपणे मांडण्यासाठी विचार करा. किंवा अशा अंतर्दृष्टींचा वापर करून नवीन वापरकर्ता अनुभव तयार करण्याचा विचार करा, जे अधिक टिकाऊ जीवनासाठी वर्तनात्मक बदलांना प्रेरित करतात.
## डेटा सायन्स + विद्यार्थी
आम्ही उद्योग आणि संशोधनातील वास्तविक-जागतिक अनुप्रयोगांबद्दल चर्चा केली आहे आणि डिजिटल ह्युमॅनिटीज आणि टिकाऊपणामध्ये डेटा सायन्स अनुप्रयोगांचे उदाहरणे पाहिले आहेत. तर, डेटा सायन्स नवशिक्यांप्रमाणे आपले कौशल्य कसे विकसित करावे आणि आपले तज्ज्ञ ज्ञान कसे सामायिक करावे?
आम्ही उद्योग आणि संशोधनातील वास्तविक-जागतिक अनुप्रयोगांबद्दल चर्चा केली आहे आणि डिजिटल ह्युमॅनिटीज आणि टिकाऊपणामध्ये डेटा सायन्स अनुप्रयोग उदाहरणे शोधली आहेत. तर, डेटा सायन्स नवशिक्यांप्रमाणे आपले कौशल्य कसे विकसित करायचे आणि आपले तज्ज्ञ ज्ञान कसे सामायिक करायचे?
येथे काही डेटा सायन्स विद्यार्थी प्रकल्प आहेत जे तुम्हाला प्रेरणा देतील.
* [MSR डेटा सायन्स समर स्कूल](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) GitHub [प्रोजेक्ट्स](https://github.com/msr-ds3) सह, खालील विषयांचा अभ्यास करत:
* [MSR डेटा सायन्स समर स्कूल](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) GitHub [प्रोजेक्ट्स](https://github.com/msr-ds3) सह, ज्यामध्ये खालील विषयांचा अभ्यास केला जातो:
डेटा सायन्स प्रकल्पांसाठी लेख शोधा जे नवशिक्यांसाठी सोपे आहेत - जसे [हे 50 विषय क्षेत्र](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) किंवा [हे 21 प्रकल्प कल्पना](https://www.intellspot.com/data-science-project-ideas) किंवा [सोर्स कोडसह 16 प्रकल्प](https://data-flair.training/blogs/data-science-project-ideas/) जे तुम्ही डी-कॉन्स्ट्रक्ट आणि रीमिक्स करू शकता. आणि तुमच्या शिकण्याच्या प्रवासाबद्दल ब्लॉग लिहायला विसरू नका आणि तुमच्या अंतर्दृष्टी आमच्यासोबत शेअर करा.
डेटा सायन्स प्रकल्पांसाठी लेख शोधा जे नवशिक्यांसाठी सोपे आहेत - जसे की [हे 50 विषय क्षेत्र](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [हे 21 प्रकल्प कल्पना](https://www.intellspot.com/data-science-project-ideas), किंवा [सोर्स कोडसह 16 प्रकल्प](https://data-flair.training/blogs/data-science-project-ideas/) जे तुम्ही डी-कॉन्स्ट्रक्ट आणि रीमिक्स करू शकता. आणि तुमच्या शिकण्याच्या प्रवासाबद्दल ब्लॉग लिहायला विसरू नका आणि तुमच्या अंतर्दृष्टी आमच्यासोबत सामायिक करा.
हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) वापरून भाषांतरित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात ठेवा की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील दस्तऐवज हा अधिकृत स्रोत मानावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराचा वापर करून उद्भवलेल्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.
हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) चा वापर करून भाषांतरित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील मूळ दस्तऐवज हा अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराचा वापर केल्यामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.
Kita hampir sampai ke penghujung perjalanan pembelajaran ini!
Kita bermula dengan definisi sains data dan etika, meneroka pelbagai alat & teknik untuk analisis dan visualisasi data, mengkaji kitaran hayat sains data, dan melihat cara untuk menskalakan dan mengautomasi aliran kerja sains data menggunakan perkhidmatan pengkomputeran awan. Jadi, anda mungkin tertanya-tanya: _"Bagaimana sebenarnya saya boleh memetakan semua pembelajaran ini ke dalam konteks dunia sebenar?"_
Kita bermula dengan definisi sains data dan etika, meneroka pelbagai alat & teknik untuk analisis dan visualisasi data, mengkaji kitaran hayat sains data, dan melihat cara untuk meningkatkan skala serta mengautomasi aliran kerja sains data menggunakan perkhidmatan pengkomputeran awan. Jadi, anda mungkin tertanya-tanya: _"Bagaimana sebenarnya saya boleh memetakan semua pembelajaran ini kepada konteks dunia sebenar?"_
Dalam pelajaran ini, kita akan meneroka aplikasi sains data di dunia sebenar merentasi industri dan menyelami contoh-contoh spesifik dalam konteks penyelidikan, kemanusiaan digital, dan kelestarian. Kita juga akan melihat peluang projek pelajar dan mengakhiri dengan sumber berguna untuk membantu anda meneruskan perjalanan pembelajaran anda!
Dalam pelajaran ini, kita akan meneroka aplikasi dunia sebenar sains data merentasi industri dan menyelami contoh-contoh spesifik dalam konteks penyelidikan, kemanusiaan digital, dan kelestarian. Kita juga akan melihat peluang projek pelajar dan mengakhiri dengan sumber berguna untuk membantu anda meneruskan perjalanan pembelajaran anda!
## Kuiz Pra-Kuliah
@ -25,15 +25,15 @@ Dalam pelajaran ini, kita akan meneroka aplikasi sains data di dunia sebenar mer
## Sains Data + Industri
Terima kasih kepada pendemokrasian AI, pembangun kini lebih mudah untuk mereka bentuk dan mengintegrasikan keputusan berasaskan AI dan pandangan berasaskan data ke dalam pengalaman pengguna dan aliran kerja pembangunan. Berikut adalah beberapa contoh bagaimana sains data "digunakan" dalam aplikasi dunia sebenar merentasi industri:
Terima kasih kepada pendemokrasian AI, pembangun kini lebih mudah untuk mereka bentuk dan mengintegrasikan pembuatan keputusan berasaskan AI serta pandangan berasaskan data ke dalam pengalaman pengguna dan aliran kerja pembangunan. Berikut adalah beberapa contoh bagaimana sains data "digunakan" dalam aplikasi dunia sebenar merentasi industri:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) menggunakan sains data untuk mengaitkan istilah carian dengan tren selesema. Walaupun pendekatan ini mempunyai kelemahan, ia meningkatkan kesedaran tentang kemungkinan (dan cabaran) ramalan penjagaan kesihatan berasaskan data.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) menggunakan sains data untuk mengaitkan istilah carian dengan trend selesema. Walaupun pendekatan ini mempunyai kelemahan, ia meningkatkan kesedaran tentang kemungkinan (dan cabaran) ramalan penjagaan kesihatan berasaskan data.
* [Ramalan Laluan UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - menerangkan bagaimana UPS menggunakan sains data dan pembelajaran mesin untuk meramalkan laluan penghantaran yang optimum, dengan mengambil kira keadaan cuaca, corak trafik, tarikh akhir penghantaran dan banyak lagi.
* [Visualisasi Laluan Teksi NYC](http://chriswhong.github.io/nyctaxi/) - data yang dikumpulkan menggunakan [Undang-Undang Kebebasan Maklumat](https://chriswhong.com/open-data/foil_nyc_taxi/) membantu memvisualisasikan satu hari dalam kehidupan teksi NYC, membantu kita memahami bagaimana mereka bergerak di bandar yang sibuk, pendapatan mereka, dan tempoh perjalanan dalam setiap tempoh 24 jam.
* [Visualisasi Laluan Teksi NYC](http://chriswhong.github.io/nyctaxi/) - data yang dikumpulkan menggunakan [Undang-Undang Kebebasan Maklumat](https://chriswhong.com/open-data/foil_nyc_taxi/) membantu memvisualisasikan satu hari dalam kehidupan teksi NYC, membantu kita memahami bagaimana mereka menavigasi bandar yang sibuk, pendapatan mereka, dan tempoh perjalanan sepanjang setiap tempoh 24 jam.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - menggunakan data (lokasi pengambilan & penurunan, tempoh perjalanan, laluan pilihan dll.) yang dikumpulkan daripada berjuta-juta perjalanan Uber *setiap hari* untuk membina alat analisis data bagi membantu dengan penentuan harga, keselamatan, pengesanan penipuan dan keputusan navigasi.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - menggunakan data (lokasi pengambilan & penghantaran, tempoh perjalanan, laluan pilihan dll.) yang dikumpulkan daripada berjuta-juta perjalanan Uber *setiap hari* untuk membina alat analitik data bagi membantu dengan penetapan harga, keselamatan, pengesanan penipuan dan keputusan navigasi.
* [Analitik Sukan](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - memberi tumpuan kepada _analitik ramalan_ (analisis pasukan dan pemain - fikirkan [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - dan pengurusan peminat) dan _visualisasi data_ (papan pemuka pasukan & peminat, permainan dll.) dengan aplikasi seperti pencarian bakat, perjudian sukan dan pengurusan inventori/tempat.
@ -41,9 +41,9 @@ Terima kasih kepada pendemokrasian AI, pembangun kini lebih mudah untuk mereka b
* [Sains Data dalam Penjagaan Kesihatan](https://data-flair.training/blogs/data-science-in-healthcare/) - menonjolkan aplikasi seperti pengimejan perubatan (contohnya, MRI, X-Ray, CT-Scan), genomik (penjujukan DNA), pembangunan ubat (penilaian risiko, ramalan kejayaan), analitik ramalan (penjagaan pesakit & logistik bekalan), pengesanan & pencegahan penyakit dll.
 Kredit Imej: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Kredit Imej: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Rajah ini menunjukkan domain lain dan contoh untuk menerapkan teknik sains data. Mahu meneroka aplikasi lain? Lihat bahagian [Kajian & Kajian Kendiri](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) di bawah.
Rajah ini menunjukkan domain lain dan contoh untuk menerapkan teknik sains data. Mahu meneroka aplikasi lain? Lihat bahagian [Kajian & Pembelajaran Kendiri](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) di bawah.
## Sains Data + Penyelidikan
@ -53,26 +53,26 @@ Rajah ini menunjukkan domain lain dan contoh untuk menerapkan teknik sains data.
Walaupun aplikasi dunia sebenar sering memberi tumpuan kepada kes penggunaan industri pada skala besar, aplikasi dan projek _penyelidikan_ boleh berguna dari dua perspektif:
* _peluang inovasi_ - meneroka prototaip pantas konsep lanjutan dan menguji pengalaman pengguna untuk aplikasi generasi akan datang.
* _peluang inovasi_ - meneroka prototaip pantas konsep maju dan menguji pengalaman pengguna untuk aplikasi generasi akan datang.
* _cabaran pelaksanaan_ - menyiasat potensi bahaya atau akibat yang tidak diingini daripada teknologi sains data dalam konteks dunia sebenar.
Bagi pelajar, projek penyelidikan ini boleh memberikan peluang pembelajaran dan kerjasama yang dapat meningkatkan pemahaman anda tentang topik tersebut, serta memperluas kesedaran dan penglibatan anda dengan individu atau pasukan yang bekerja dalam bidang yang diminati. Jadi, bagaimana rupa projek penyelidikan dan bagaimana ia boleh memberi impak?
Bagi pelajar, projek penyelidikan ini boleh memberikan peluang pembelajaran dan kerjasama yang dapat meningkatkan pemahaman anda tentang topik tersebut, serta memperluaskan kesedaran dan penglibatan anda dengan individu atau pasukan yang relevan yang bekerja dalam bidang yang diminati. Jadi, bagaimana rupa projek penyelidikan dan bagaimana ia boleh memberi impak?
Mari kita lihat satu contoh - [Kajian Gender Shades MIT](http://gendershades.org/overview.html) oleh Joy Buolamwini (MIT Media Labs) dengan [kertas penyelidikan utama](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) yang ditulis bersama Timnit Gebru (ketika itu di Microsoft Research) yang memberi tumpuan kepada:
Mari kita lihat satu contoh - [MIT Gender Shades Study](http://gendershades.org/overview.html) oleh Joy Buolamwini (MIT Media Labs) dengan [kertas penyelidikan utama](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) yang ditulis bersama Timnit Gebru (ketika itu di Microsoft Research) yang memberi tumpuan kepada
* **Apa:** Objektif projek penyelidikan adalah untuk _menilai bias yang terdapat dalam algoritma dan set data analisis wajah automatik_ berdasarkan jantina dan jenis kulit.
* **Mengapa:** Analisis wajah digunakan dalam bidang seperti penguatkuasaan undang-undang, keselamatan lapangan terbang, sistem pengambilan pekerja dan banyak lagi - konteks di mana klasifikasi yang tidak tepat (contohnya, disebabkan oleh bias) boleh menyebabkan potensi bahaya ekonomi dan sosial kepada individu atau kumpulan yang terjejas. Memahami (dan menghapuskan atau mengurangkan) bias adalah kunci kepada keadilan dalam penggunaan.
* **Bagaimana:** Penyelidik menyedari bahawa penanda aras sedia ada menggunakan subjek yang kebanyakannya berkulit cerah, dan mengumpulkan set data baru (1000+ imej) yang _lebih seimbang_ mengikut jantina dan jenis kulit. Set data ini digunakan untuk menilai ketepatan tiga produk klasifikasi jantina (daripada Microsoft, IBM & Face++).
* **Apa:** Objektif projek penyelidikan adalah untuk _menilai bias yang terdapat dalam algoritma dan set data analisis wajah automatik_ berdasarkan jantina dan jenis kulit.
* **Mengapa:** Analisis wajah digunakan dalam bidang seperti penguatkuasaan undang-undang, keselamatan lapangan terbang, sistem pengambilan pekerja dan banyak lagi - konteks di mana klasifikasi yang tidak tepat (contohnya, disebabkan bias) boleh menyebabkan potensi bahaya ekonomi dan sosial kepada individu atau kumpulan yang terjejas. Memahami (dan menghapuskan atau mengurangkan) bias adalah kunci kepada keadilan dalam penggunaan.
* **Bagaimana:** Penyelidik menyedari bahawa penanda aras sedia ada menggunakan subjek yang kebanyakannya berkulit cerah, dan mengumpulkan set data baharu (1000+ imej) yang _lebih seimbang_ mengikut jantina dan jenis kulit. Set data ini digunakan untuk menilai ketepatan tiga produk klasifikasi jantina (daripada Microsoft, IBM & Face++).
Hasil menunjukkan bahawa walaupun ketepatan klasifikasi keseluruhan adalah baik, terdapat perbezaan ketara dalam kadar ralat antara pelbagai subkumpulan - dengan **kesalahan pengenalan jantina** lebih tinggi untuk wanita atau individu berkulit gelap, menunjukkan adanya bias.
Hasil menunjukkan bahawa walaupun ketepatan klasifikasi keseluruhan adalah baik, terdapat perbezaan yang ketara dalam kadar kesilapan antara pelbagai subkumpulan - dengan **kesalahan pengenalan jantina** lebih tinggi untuk wanita atau individu berkulit gelap, menunjukkan adanya bias.
**Hasil Utama:** Meningkatkan kesedaran bahawa sains data memerlukan lebih banyak _set data yang mewakili_ (subkumpulan seimbang) dan lebih banyak _pasukan inklusif_ (latar belakang yang pelbagai) untuk mengenal pasti dan menghapuskan atau mengurangkan bias seperti ini lebih awal dalam penyelesaian AI. Usaha penyelidikan seperti ini juga penting dalam membantu banyak organisasi menentukan prinsip dan amalan untuk _AI yang bertanggungjawab_ bagi meningkatkan keadilan dalam produk dan proses AI mereka.
**Hasil Utama:** Meningkatkan kesedaran bahawa sains data memerlukan lebih banyak _set data yang mewakili_ (subkumpulan seimbang) dan lebih banyak _pasukan inklusif_ (latar belakang yang pelbagai) untuk mengenal pasti dan menghapuskan atau mengurangkan bias seperti ini lebih awal dalam penyelesaian AI. Usaha penyelidikan seperti ini juga penting dalam banyak organisasi untuk menentukan prinsip dan amalan bagi _AI yang bertanggungjawab_ untuk meningkatkan keadilan dalam produk dan proses AI mereka.
**Mahu belajar tentang usaha penyelidikan berkaitan di Microsoft?**
**Mahu belajar tentang usaha penyelidikan relevan di Microsoft?**
* Lihat [Projek Penyelidikan Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) dalam Kecerdasan Buatan.
* Terokai projek pelajar dari [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Lihat projek [Fairlearn](https://fairlearn.org/) dan inisiatif [AI Bertanggungjawab](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Lihat projek [Fairlearn](https://fairlearn.org/) dan inisiatif [AI yang Bertanggungjawab](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Sains Data + Kemanusiaan
@ -80,21 +80,21 @@ Hasil menunjukkan bahawa walaupun ketepatan klasifikasi keseluruhan adalah baik,
| Sains Data & Kemanusiaan Digital - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
Kemanusiaan Digital [telah didefinisikan](https://digitalhumanities.stanford.edu/about-dh-stanford) sebagai "koleksi amalan dan pendekatan yang menggabungkan kaedah pengiraan dengan penyelidikan kemanusiaan". Projek-projek [Stanford](https://digitalhumanities.stanford.edu/projects) seperti _"rebooting history"_ dan _"poetic thinking"_ menggambarkan hubungan antara [Kemanusiaan Digital dan Sains Data](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - menekankan teknik seperti analisis rangkaian, visualisasi maklumat, analisis spatial dan teks yang dapat membantu kita mengkaji semula set data sejarah dan sastera untuk mendapatkan wawasan dan perspektif baru.
Kemanusiaan Digital [telah didefinisikan](https://digitalhumanities.stanford.edu/about-dh-stanford) sebagai "koleksi amalan dan pendekatan yang menggabungkan kaedah pengiraan dengan penyelidikan humanistik". Projek [Stanford](https://digitalhumanities.stanford.edu/projects) seperti _"rebooting history"_ dan _"poetic thinking"_ menggambarkan hubungan antara [Kemanusiaan Digital dan Sains Data](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - menekankan teknik seperti analisis rangkaian, visualisasi maklumat, analisis spatial dan teks yang dapat membantu kita mengkaji semula set data sejarah dan sastera untuk mendapatkan wawasan dan perspektif baharu.
*Mahu meneroka dan memperluas projek dalam bidang ini?*
*Mahu meneroka dan mengembangkan projek dalam bidang ini?*
Lihat ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - contoh hebat daripada [Jen Looper](https://twitter.com/jenlooper) yang bertanya bagaimana kita boleh menggunakan sains data untuk mengkaji semula puisi yang biasa dan menilai semula maknanya serta sumbangan pengarangnya dalam konteks baru. Sebagai contoh, _bolehkah kita meramalkan musim di mana puisi ditulis dengan menganalisis nada atau sentimennya_ - dan apa yang ini memberitahu kita tentang keadaan minda pengarang sepanjang tempoh tersebut?
Lihat ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - contoh hebat daripada [Jen Looper](https://twitter.com/jenlooper) yang bertanya bagaimana kita boleh menggunakan sains data untuk mengkaji semula puisi yang biasa dan menilai semula maknanya serta sumbangan pengarangnya dalam konteks baharu. Sebagai contoh, _bolehkah kita meramalkan musim di mana puisi ditulis dengan menganalisis nada atau sentimennya_ - dan apa yang ini memberitahu kita tentang keadaan fikiran pengarang sepanjang tempoh yang relevan?
Untuk menjawab soalan itu, kita mengikuti langkah-langkah kitaran hayat sains data:
* [`Pemerolehan Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - untuk mengumpulkan set data yang relevan untuk analisis. Pilihan termasuk menggunakan API (contohnya, [Poetry DB API](https://poetrydb.org/index.html)) atau mengikis halaman web (contohnya, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) menggunakan alat seperti [Scrapy](https://scrapy.org/).
* [`Pembersihan Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - menerangkan bagaimana teks boleh diformat, disanitasi dan dipermudahkan menggunakan alat asas seperti Visual Studio Code dan Microsoft Excel.
* [`Analisis Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - menerangkan bagaimana kita boleh mengimport set data ke dalam "Notebooks" untuk analisis menggunakan pakej Python (seperti pandas, numpy dan matplotlib) untuk mengatur dan memvisualisasikan data.
* [`Analisis Data`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - menerangkan bagaimana kita kini boleh mengimport set data ke dalam "Notebooks" untuk analisis menggunakan pakej Python (seperti pandas, numpy dan matplotlib) untuk mengatur dan memvisualisasikan data.
* [`Analisis Sentimen`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - menerangkan bagaimana kita boleh mengintegrasikan perkhidmatan awan seperti Text Analytics, menggunakan alat kod rendah seperti [Power Automate](https://flow.microsoft.com/en-us/) untuk aliran kerja pemprosesan data automatik.
Menggunakan aliran kerja ini, kita boleh meneroka kesan musim terhadap sentimen puisi, dan membantu kita membentuk perspektif kita sendiri tentang pengarangnya. Cuba sendiri - kemudian kembangkan notebook untuk bertanya soalan lain atau memvisualisasikan data dengan cara baru!
Menggunakan aliran kerja ini, kita boleh meneroka kesan musim terhadap sentimen puisi, dan membantu kita membentuk perspektif kita sendiri tentang pengarangnya. Cubalah sendiri - kemudian kembangkan notebook untuk bertanya soalan lain atau memvisualisasikan data dengan cara baharu!
> Anda boleh menggunakan beberapa alat dalam [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) untuk meneruskan penyelidikan ini.
> Anda boleh menggunakan beberapa alat dalam [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) untuk meneruskan jalan penyelidikan ini.
## Sains Data + Kelestarian
@ -102,19 +102,19 @@ Menggunakan aliran kerja ini, kita boleh meneroka kesan musim terhadap sentimen
| Sains Data & Kelestarian - _Sketchnote oleh [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 untuk Pembangunan Lestari](https://sdgs.un.org/2030agenda) - yang diterima pakai oleh semua anggota Pertubuhan Bangsa-Bangsa Bersatu pada tahun 2015 - mengenal pasti 17 matlamat termasuk yang memberi tumpuan kepada **Melindungi Planet** daripada kemerosotan dan kesan perubahan iklim. Inisiatif [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) menyokong matlamat ini dengan meneroka cara penyelesaian teknologi boleh menyokong dan membina masa depan yang lebih lestari dengan [fokus pada 4 matlamat](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - menjadi karbon negatif, positif air, sifar sisa, dan bio-diversiti menjelang 2030.
[Agenda 2030 Untuk Pembangunan Lestari](https://sdgs.un.org/2030agenda) - yang diterima pakai oleh semua anggota Pertubuhan Bangsa-Bangsa Bersatu pada tahun 2015 - mengenal pasti 17 matlamat termasuk yang memberi tumpuan kepada **Melindungi Planet** daripada kemerosotan dan kesan perubahan iklim. Inisiatif [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) menyokong matlamat ini dengan meneroka cara di mana penyelesaian teknologi dapat menyokong dan membina masa depan yang lebih lestari dengan [fokus pada 4 matlamat](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - menjadi karbon negatif, air positif, sifar sisa, dan bio-diversiti menjelang 2030.
Menangani cabaran ini secara berskala dan tepat pada masanya memerlukan pemikiran berskala awan - dan data berskala besar. Inisiatif [Planetary Computer](https://planetarycomputer.microsoft.com/) menyediakan 4 komponen untuk membantu saintis data dan pembangun dalam usaha ini:
* [Katalog Data](https://planetarycomputer.microsoft.com/catalog) - dengan petabait data Sistem Bumi (percuma & dihoskan di Azure).
* [API Planetary](https://planetarycomputer.microsoft.com/docs/reference/stac/) - untuk membantu pengguna mencari data yang relevan merentasi ruang dan masa.
* [Katalog Data](https://planetarycomputer.microsoft.com/catalog) - dengan petabyte data Sistem Bumi (percuma & dihoskan Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - untuk membantu pengguna mencari data yang relevan merentasi ruang dan masa.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - persekitaran terurus untuk saintis memproses set data geospatial yang besar.
* [Aplikasi](https://planetarycomputer.microsoft.com/applications) - mempamerkan kes penggunaan & alat untuk wawasan kelestarian.
**Projek Planetary Computer kini dalam pratonton (setakat Sep 2021)** - berikut adalah cara anda boleh mula menyumbang kepada penyelesaian kelestarian menggunakan sains data.
**Projek Planetary Computer kini dalam peringkat pratonton (setakat Sep 2021)** - berikut adalah cara anda boleh mula menyumbang kepada penyelesaian kelestarian menggunakan sains data.
* [Mohon akses](https://planetarycomputer.microsoft.com/account/request) untuk memulakan penerokaan dan berhubung dengan rakan sebaya.
* [Terokai dokumentasi](https://planetarycomputer.microsoft.com/docs/overview/about) untuk memahami dataset dan API yang disokong.
* Terokai aplikasi seperti [Pemantauan Ekosistem](https://analytics-lab.org/ecosystemmonitoring/) untuk inspirasi idea aplikasi.
* [Terokai dokumentasi](https://planetarycomputer.microsoft.com/docs/overview/about) untuk memahami set data dan API yang disokong.
* Terokai aplikasi seperti [Pemantauan Ekosistem](https://analytics-lab.org/ecosystemmonitoring/) untuk mendapatkan inspirasi idea aplikasi.
Fikirkan bagaimana anda boleh menggunakan visualisasi data untuk mendedahkan atau memperkuatkan pandangan yang relevan dalam bidang seperti perubahan iklim dan penebangan hutan. Atau fikirkan bagaimana pandangan ini boleh digunakan untuk mencipta pengalaman pengguna baharu yang mendorong perubahan tingkah laku ke arah kehidupan yang lebih lestari.
@ -124,14 +124,14 @@ Kami telah membincangkan aplikasi dunia sebenar dalam industri dan penyelidikan,
Berikut adalah beberapa contoh projek pelajar sains data untuk memberi inspirasi kepada anda.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) dengan [projek GitHub](https://github.com/msr-ds3) yang meneroka topik seperti:
- [Bias Perkauman dalam Penggunaan Kekuatan Polis](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* [Sekolah Musim Panas Sains Data MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) dengan [projek GitHub](https://github.com/msr-ds3) yang meneroka topik seperti:
- [Bias Perkauman dalam Penggunaan Kekuatan oleh Polis](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Kebolehpercayaan Sistem Subway NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitizing Material Culture: Meneroka pengagihan sosio-ekonomi di Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - daripada [Ornella Altunyan](https://twitter.com/ornelladotcom) dan pasukan di Claremont, menggunakan [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Mendigitalkan Budaya Material: Meneroka pengagihan sosio-ekonomi di Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - daripada [Ornella Altunyan](https://twitter.com/ornelladotcom) dan pasukan di Claremont, menggunakan [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Cabaran
Cari artikel yang mencadangkan projek sains data yang mesra pemula - seperti [50 topik ini](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) atau [21 idea projek ini](https://www.intellspot.com/data-science-project-ideas) atau [16 projek ini dengan kod sumber](https://data-flair.training/blogs/data-science-project-ideas/) yang boleh anda analisis dan ubah suai. Dan jangan lupa untuk menulis blog tentang perjalanan pembelajaran anda dan berkongsi pandangan anda dengan kami semua.
Cari artikel yang mencadangkan projek sains data yang mesra pemula - seperti [50 topik ini](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) atau [21 idea projek ini](https://www.intellspot.com/data-science-project-ideas) atau [16 projek ini dengan kod sumber](https://data-flair.training/blogs/data-science-project-ideas/) yang anda boleh analisis dan ubah suai. Dan jangan lupa untuk menulis blog tentang perjalanan pembelajaran anda dan berkongsi pandangan anda dengan kami semua.
## Kuiz Selepas Kuliah
@ -139,17 +139,18 @@ Cari artikel yang mencadangkan projek sains data yang mesra pemula - seperti [50
## Ulasan & Kajian Kendiri
Ingin meneroka lebih banyak kes penggunaan? Berikut adalah beberapa artikel yang relevan:
Ingin meneroka lebih banyak kes penggunaan? Berikut adalah beberapa artikel yang berkaitan:
* [17 Aplikasi dan Contoh Sains Data](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplikasi Sains Data yang Mengagumkan di Dunia Sebenar](https://myblindbird.com/data-science-applications-real-world/) - Mei 2021
* [11 Aplikasi Sains Data yang Mengagumkan dalam Dunia Sebenar](https://myblindbird.com/data-science-applications-real-world/) - Mei 2021
* [Sains Data Dalam Dunia Sebenar](https://towardsdatascience.com/data-science-in-the-real-world/home) - Koleksi Artikel
* Sains Data Dalam: [Pendidikan](https://data-flair.training/blogs/data-science-in-education/), [Pertanian](https://data-flair.training/blogs/data-science-in-agriculture/), [Kewangan](https://data-flair.training/blogs/data-science-in-finance/), [Filem](https://data-flair.training/blogs/data-science-at-movies/) & banyak lagi.
* [12 Aplikasi Sains Data Dunia Sebenar dengan Contoh](https://www.scaler.com/blog/data-science-applications/) - Mei 2024
* Sains Data Dalam: [Pendidikan](https://data-flair.training/blogs/data-science-in-education/), [Pertanian](https://data-flair.training/blogs/data-science-in-agriculture/), [Kewangan](https://data-flair.training/blogs/data-science-in-finance/), [Filem](https://data-flair.training/blogs/data-science-at-movies/), [Penjagaan Kesihatan](https://onlinedegrees.sandiego.edu/data-science-health-care/) & banyak lagi.
[Terokai Set Data Planetary Computer](assignment.md)
---
**Penafian**:
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk memastikan ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat yang kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk memastikan ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - medical imaging (ဥပမာ MRI, X-Ray, CT-Scan), genomics (DNA sequencing), drug development (risk assessment, success prediction), predictive analytics (patient care & supply logistics), disease tracking & prevention စသည်တို့ကဲ့သို့သော applications များကို ဖော်ပြထားပါတယ်။
 Image Credit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Image Credit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
- [Racial Bias in Police Use of Force](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Reliability of NYC Subway System](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
| वास्तविक संसारमा डेटा विज्ञान - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| वास्तविक संसारमा डाटा साइन्स - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
हामी लगभग यो सिकाइ यात्राको अन्त्यमा पुगेका छौं!
हामी यो सिकाइ यात्राको अन्त्यतिर आइपुगेका छौं!
हामीले डेटा विज्ञान र नैतिकताको परिभाषाबाट सुरु गर्यौं, डेटा विश्लेषण र दृश्यात्मकताको लागि विभिन्न उपकरण र प्रविधिहरू अन्वेषण गर्यौं, डेटा विज्ञान जीवनचक्रको समीक्षा गर्यौं, र क्लाउड कम्प्युटिङ सेवाहरूको साथ डेटा विज्ञान कार्यप्रवाहलाई स्केल र स्वचालित गर्ने तरिकाहरू हेरेका छौं। त्यसैले, तपाईं सोच्दै हुनुहुन्छ: _"कसरी म यी सबै सिकाइलाई वास्तविक संसारको सन्दर्भमा नक्सा बनाउन सक्छु?"_
हामीले डाटा साइन्स र नैतिकताको परिभाषाबाट सुरु गर्यौं, डाटा विश्लेषण र भिजुअलाइजेसनका विभिन्न उपकरण र प्रविधिहरू अन्वेषण गर्यौं, डाटा साइन्स जीवनचक्रको समीक्षा गर्यौं, र क्लाउड कम्प्युटिङ सेवाहरूको प्रयोग गरेर डाटा साइन्स वर्कफ्लोहरूलाई स्केल र स्वचालित गर्ने तरिकाहरू हेर्यौं। त्यसैले, तपाईं सोच्दै हुनुहुन्छ होला: _"यी सबै सिकाइहरूलाई वास्तविक संसारको सन्दर्भमा कसरी नक्सा बनाउन सकिन्छ?"_
यस पाठमा, हामी उद्योगमा डेटा विज्ञानको वास्तविक संसारको अनुप्रयोगहरू अन्वेषण गर्नेछौं र अनुसन्धान, डिजिटल मानविकी, र स्थिरता सन्दर्भहरूमा विशिष्ट उदाहरणहरूमा डुबुल्की मार्नेछौं। हामी विद्यार्थी परियोजना अवसरहरू हेर्नेछौं र तपाईंको सिकाइ यात्रा जारी राख्न मद्दत गर्न उपयोगी स्रोतहरूसँग निष्कर्ष निकाल्नेछौं!
यस पाठमा, हामी उद्योगभरि डाटा साइन्सका वास्तविक संसारका अनुप्रयोगहरू अन्वेषण गर्नेछौं र अनुसन्धान, डिजिटल मानविकी, र दिगोपनका सन्दर्भमा विशिष्ट उदाहरणहरूमा डुबुल्की मार्नेछौं। हामी विद्यार्थी परियोजनाका अवसरहरू हेर्नेछौं र तपाईंको सिकाइ यात्रा जारी राख्न मद्दत गर्ने उपयोगी स्रोतहरूसँग निष्कर्ष निकाल्नेछौं!
AI को लोकतान्त्रिकरणको कारण, विकासकर्ताहरूले अब AI-चालित निर्णय-निर्माण र डेटा-चालित अन्तर्दृष्टिहरूलाई प्रयोगकर्ता अनुभव र विकास कार्यप्रवाहमा डिजाइन र एकीकृत गर्न सजिलो पाएका छन्। यहाँ उद्योगमा डेटा विज्ञान "लागू" गरिएको केही वास्तविक संसारका अनुप्रयोगहरूको उदाहरणहरू छन्:
एआईको लोकतान्त्रिकरणको कारण, विकासकर्ताहरूले एआई-चालित निर्णय-निर्माण र डाटा-आधारित अन्तर्दृष्टिहरूलाई प्रयोगकर्ता अनुभव र विकास वर्कफ्लोहरूमा डिजाइन र एकीकृत गर्न सजिलो पाएका छन्। यहाँ उद्योगभरि डाटा साइन्सलाई "लागू" गर्ने केही उदाहरणहरू छन्:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ले खोज शब्दहरूलाई फ्लु प्रवृत्तिहरूसँग सम्बन्धित गर्न डेटा विज्ञान प्रयोग गर्यो। यद्यपि यस दृष्टिकोणमा कमजोरीहरू थिए, यसले डेटा-चालित स्वास्थ्य सेवा भविष्यवाणीको सम्भावनाहरू (र चुनौतीहरू) को बारेमा सचेत गरायो।
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ले खोजी शब्दहरूलाई फ्लू प्रवृत्तिहरूसँग सम्बन्धित गर्न डाटा साइन्स प्रयोग गर्यो। यद्यपि यस दृष्टिकोणमा कमजोरीहरू थिए, यसले डाटा-आधारित स्वास्थ्य सेवा भविष्यवाणीहरूको सम्भावनाहरू (र चुनौतीहरू) को बारेमा चेतना बढायो।
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS ले मौसम अवस्था, ट्राफिक ढाँचा, डेलिभरी समयसीमा र अन्य कुराहरूलाई ध्यानमा राख्दै डेलिभरीको लागि इष्टतम मार्गहरू भविष्यवाणी गर्न डेटा विज्ञान र मेसिन लर्निङ प्रयोग गर्ने तरिका व्याख्या गर्दछ।
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS ले मौसम अवस्था, ट्राफिक ढाँचाहरू, डेलिभरी समयसीमाहरू र अन्य कुराहरूलाई ध्यानमा राख्दै डेलिभरीका लागि इष्टतम मार्गहरूको भविष्यवाणी गर्न डाटा साइन्स र मेसिन लर्निङ प्रयोग गर्ने तरिका वर्णन गर्दछ।
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) प्रयोग गरेर संकलित डेटा NYC ट्याक्सीहरूको जीवनको एक दिनलाई दृश्यात्मक बनाउन मद्दत गर्यो, जसले व्यस्त शहरमा उनीहरूले कसरी नेभिगेट गर्छन्, उनीहरूले कमाएको पैसा, र प्रत्येक २४-घण्टा अवधिमा यात्राको अवधि बुझ्न मद्दत गर्यो।
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [सूचना स्वतन्त्रता कानूनहरू](https://chriswhong.com/open-data/foil_nyc_taxi/) प्रयोग गरेर सङ्कलित डाटाले NYC ट्याक्सीहरूको जीवनको एक दिनलाई दृश्यात्मक बनायो, जसले व्यस्त शहरमा उनीहरूले कसरी नेभिगेट गर्छन्, उनीहरूले कमाउने पैसा, र प्रत्येक २४-घण्टे अवधिमा यात्राको अवधि बुझ्न मद्दत गर्यो।
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - दैनिक लाखौं उबर यात्राहरूबाट संकलित डेटा (पिकअप र ड्रप अफ स्थानहरू, यात्रा अवधि, प्राथमिक मार्गहरू आदि) प्रयोग गरेर मूल्य निर्धारण, सुरक्षा, ठगी पत्ता लगाउने र नेभिगेसन निर्णयहरूको लागि डेटा एनालिटिक्स उपकरण निर्माण गर्न प्रयोग गरिन्छ।
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - दैनिक लाखौं उबर यात्राहरूबाट सङ्कलित डाटा (पिकअप र ड्रपअफ स्थानहरू, यात्रा अवधि, रुचाइएको मार्गहरू आदि) प्रयोग गरेर मूल्य निर्धारण, सुरक्षा, ठगी पत्ता लगाउने र नेभिगेसन निर्णयहरूमा मद्दत गर्न डाटा एनालिटिक्स उपकरण निर्माण गर्यो।
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _पूर्वानुमानात्मक विश्लेषण_ (टिम र खेलाडी विश्लेषण - [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) सोच्नुहोस् - र फ्यान व्यवस्थापन) र _डेटा दृश्यात्मकता_ (टिम र फ्यान ड्यासबोर्ड, खेलहरू आदि) मा केन्द्रित छ। यसले प्रतिभा खोजी, खेल जुवा, र इन्वेन्टरी/स्थल व्यवस्थापन जस्ता अनुप्रयोगहरू समेट्छ।
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _पूर्वानुमानात्मक विश्लेषण_ (टीम र खेलाडी विश्लेषण - [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) सोच्नुहोस् - र प्रशंसक व्यवस्थापन) र _डाटा भिजुअलाइजेसन_ (टीम र प्रशंसक ड्यासबोर्ड, खेलहरू आदि) मा केन्द्रित छ, जसले प्रतिभा खोजी, खेल जुवा र सूची/स्थल व्यवस्थापन जस्ता अनुप्रयोगहरूलाई समर्थन गर्दछ।
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - वित्त उद्योगमा डेटा विज्ञानको मूल्यलाई जोखिम मोडेलिङ र ठगी पत्ता लगाउने, ग्राहक विभाजन, वास्तविक-समय भविष्यवाणी र सिफारिस प्रणालीहरू जस्ता अनुप्रयोगहरू सहित हाइलाइट गर्दछ। पूर्वानुमानात्मक विश्लेषणले [क्रेडिट स्कोर](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) जस्ता महत्वपूर्ण उपायहरू पनि चलाउँछ।
* [बैंकिङमा डाटा साइन्स](https://data-flair.training/blogs/data-science-in-banking/) - जोखिम मोडलिङ र ठगी पत्ता लगाउनेदेखि ग्राहक खण्डीकरण, वास्तविक-समय भविष्यवाणी र सिफारिस प्रणालीहरू सम्मका अनुप्रयोगहरूसँग वित्त उद्योगमा डाटा साइन्सको महत्त्वलाई हाइलाइट गर्दछ। पूर्वानुमानात्मक विश्लेषणले [क्रेडिट स्कोरहरू](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) जस्ता महत्त्वपूर्ण उपायहरूलाई पनि चलाउँछ।
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - चिकित्सा इमेजिङ (जस्तै MRI, X-Ray, CT-Scan), जीनोमिक्स (DNA अनुक्रमण), औषधि विकास (जोखिम मूल्याङ्कन, सफलता भविष्यवाणी), पूर्वानुमानात्मक विश्लेषण (रोगी हेरचाह र आपूर्ति रसद), रोग ट्र्याकिङ र रोकथाम जस्ता अनुप्रयोगहरू हाइलाइट गर्दछ।
* [स्वास्थ्य सेवामा डाटा साइन्स](https://data-flair.training/blogs/data-science-in-healthcare/) - मेडिकल इमेजिङ (जस्तै, MRI, X-Ray, CT-Scan), जीनोमिक्स (DNA अनुक्रमण), औषधि विकास (जोखिम मूल्याङ्कन, सफलता भविष्यवाणी), पूर्वानुमानात्मक विश्लेषण (रोगी हेरचाह र आपूर्ति रसद), रोग ट्र्याकिङ र रोकथाम जस्ता अनुप्रयोगहरूलाई हाइलाइट गर्दछ।
 छवि क्रेडिट: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
चित्रले डेटा विज्ञान प्रविधिहरू लागू गर्न अन्य डोमेनहरू र उदाहरणहरू देखाउँछ। अन्य अनुप्रयोगहरू अन्वेषण गर्न चाहनुहुन्छ? तलको [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) खण्ड जाँच गर्नुहोस्।
चित्रले डाटा साइन्स प्रविधिहरू लागू गर्नका लागि अन्य डोमेनहरू र उदाहरणहरू देखाउँछ। अन्य अनुप्रयोगहरू अन्वेषण गर्न चाहनुहुन्छ? तलको [समीक्षा र आत्म अध्ययन](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) खण्ड जाँच गर्नुहोस्।
## डेटा विज्ञान + अनुसन्धान
## डाटा साइन्स + अनुसन्धान
|  ](../../sketchnotes/20-DataScience-Research.png) |
| डेटा विज्ञान र अनुसन्धान - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| डाटा साइन्स र अनुसन्धान - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
वास्तविक संसारको अनुप्रयोगहरू प्रायः उद्योग प्रयोग केसहरूमा केन्द्रित भए पनि, _अनुसन्धान_ अनुप्रयोगहरू र परियोजनाहरू दुई दृष्टिकोणबाट उपयोगी हुन सक्छन्:
वास्तविक संसारका अनुप्रयोगहरूले प्रायः उद्योग प्रयोगका केसहरूमा ध्यान केन्द्रित गर्दा, _अनुसन्धान_ अनुप्रयोगहरू र परियोजनाहरू दुई दृष्टिकोणबाट उपयोगी हुन सक्छन्:
* _नवाचार अवसरहरू_ - उन्नत अवधारणाहरूको द्रुत प्रोटोटाइप र अर्को पुस्ताका अनुप्रयोगहरूको लागि प्रयोगकर्ता अनुभव परीक्षण अन्वेषण गर्नुहोस्।
* _परिनियोजन चुनौतीहरू_ - वास्तविक संसारको सन्दर्भमा डेटा विज्ञान प्रविधिहरूको सम्भावित हानि वा अनपेक्षित परिणामहरूको अनुसन्धान गर्नुहोस्।
* _नवीनता अवसरहरू_ - उन्नत अवधारणाहरूको द्रुत प्रोटोटाइपिङ र अर्को पुस्ताका अनुप्रयोगहरूको प्रयोगकर्ता अनुभव परीक्षण अन्वेषण गर्नुहोस्।
विद्यार्थीहरूको लागि, यी अनुसन्धान परियोजनाहरूले विषयको तपाईंको समझ सुधार गर्न र चासोका क्षेत्रहरूमा काम गरिरहेका सम्बन्धित व्यक्ति वा टोलीहरूसँग तपाईंको जागरूकता र संलग्नता विस्तार गर्न सिकाइ र सहयोग अवसरहरू प्रदान गर्न सक्छ। त्यसो भए अनुसन्धान परियोजनाहरू कस्तो देखिन्छन् र तिनीहरूले कसरी प्रभाव पार्न सक्छन्?
विद्यार्थीहरूको लागि, यी अनुसन्धान परियोजनाहरूले विषयको तपाईंको बुझाइ सुधार गर्न र चासोका क्षेत्रहरूमा काम गरिरहेका सम्बन्धित व्यक्तिहरू वा टोलीहरूसँग तपाईंको जागरूकता र संलग्नता विस्तार गर्न सिकाइ र सहयोगका अवसरहरू प्रदान गर्न सक्छ। त्यसो भए अनुसन्धान परियोजनाहरू कस्तो देखिन्छन् र तिनीहरूले कसरी प्रभाव पार्न सक्छन्?
हामी एउटा उदाहरण हेर्नेछौं - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwini (MIT Media Labs) बाट एक [महत्वपूर्ण अनुसन्धान पत्र](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) सह-लेखक Timnit Gebru (त्यतिबेला Microsoft Research मा) संग, जसले केन्द्रित गर्यो:
हामी एउटा उदाहरण हेरौं - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwini (MIT Media Labs) बाट, जसले [signature research paper](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) Timnit Gebru (त्यतिबेला Microsoft Research मा) सँग सह-लेखक गरेको थियो। यसले केन्द्रित गर्यो:
* **के:** अनुसन्धान परियोजनाको उद्देश्य _स्वचालित अनुहार विश्लेषण एल्गोरिदम र डेटासेटहरूमा लिङ्ग र छालाको प्रकारको आधारमा पूर्वाग्रहको मूल्याङ्कन गर्नु_ थियो।
* **किन:** अनुहार विश्लेषण कानून प्रवर्तन, एयरपोर्ट सुरक्षा, भर्ती प्रणालीहरू र अन्य क्षेत्रमा प्रयोग गरिन्छ - जहाँ गलत वर्गीकरण (जस्तै, पूर्वाग्रहका कारण) ले प्रभावित व्यक्तिहरू वा समूहहरूलाई सम्भावित आर्थिक र सामाजिक हानि पुर्याउन सक्छ। निष्पक्षताका लागि पूर्वाग्रहहरू बुझ्नु (र हटाउनु वा कम गर्नु) महत्त्वपूर्ण छ।
* **कसरी:** अनुसन्धानकर्ताहरूले पहिचान गरे कि अवस्थित बेंचमार्कहरूले प्रायः हल्का छालाका विषयहरू प्रयोग गर्थे, र लिङ्ग र छालाको प्रकारद्वारा _अधिक सन्तुलित_ नयाँ डेटा सेट (१०००+ छविहरू) क्युरेट गरे। डेटा सेटलाई तीन लिङ्ग वर्गीकरण उत्पादनहरूको (Microsoft, IBM & Face++ बाट) सटीकता मूल्याङ्कन गर्न प्रयोग गरियो।
* **के:** अनुसन्धान परियोजनाको उद्देश्य _लिङ्ग र छालाको प्रकारको आधारमा स्वचालित अनुहार विश्लेषण एल्गोरिदम र डाटासेटहरूमा रहेको पूर्वाग्रहको मूल्याङ्कन गर्नु_ थियो।
* **किन:** अनुहार विश्लेषण कानून प्रवर्तन, विमानस्थल सुरक्षा, भर्ती प्रणालीहरू र अन्य क्षेत्रमा प्रयोग गरिन्छ - जहाँ गलत वर्गीकरण (जस्तै, पूर्वाग्रहका कारण) ले प्रभावित व्यक्तिहरू वा समूहहरूलाई सम्भावित आर्थिक र सामाजिक हानि पुर्याउन सक्छ। निष्पक्षताको लागि पूर्वाग्रहहरू बुझ्नु (र हटाउनु वा कम गर्नु) महत्त्वपूर्ण छ।
* **कसरी:** अनुसन्धानकर्ताहरूले पहिचान गरे कि विद्यमान बेंचमार्कहरूले प्रायः हल्का छालाका विषयहरू प्रयोग गर्थे, र लिङ्ग र छालाको प्रकारद्वारा _अधिक सन्तुलित_ नयाँ डाटासेट (१०००+ छविहरू) क्युरेट गरे। डाटासेटलाई तीन लिङ्ग वर्गीकरण उत्पादनहरूको (Microsoft, IBM & Face++ बाट) सटीकता मूल्याङ्कन गर्न प्रयोग गरियो।
परिणामहरूले देखाए कि समग्र वर्गीकरण सटीकता राम्रो भए पनि, विभिन्न उपसमूहहरू बीच त्रुटि दरमा उल्लेखनीय भिन्नता थियो - **मिसजेंडरिङ** महिलाहरू वा गाढा छालाका व्यक्तिहरूको लागि उच्च थियो, जसले पूर्वाग्रहलाई संकेत गर्दछ।
परिणामहरूले देखाए कि समग्र वर्गीकरण सटीकता राम्रो भए पनि, विभिन्न उपसमूहहरू बीच त्रुटि दरमा उल्लेखनीय भिन्नता थियो - **गलत लिङ्ग निर्धारण** महिलाहरू वा गाढा छालाका व्यक्तिहरूका लागि उच्च थियो, जसले पूर्वाग्रहलाई संकेत गर्दछ।
**मुख्य परिणामहरू:** डेटा विज्ञानलाई _प्रतिनिधि डेटासेटहरू_ (सन्तुलित उपसमूहहरू) र _समावेशी टोलीहरू_ (विविध पृष्ठभूमि) को आवश्यकता छ भन्ने सचेत गरायो ताकि AI समाधानहरूमा यस्तो पूर्वाग्रहलाई चाँडै पहिचान र हटाउन वा कम गर्न सकियोस्। यस्तो अनुसन्धान प्रयासहरूले धेरै संगठनहरूलाई _जिम्मेवार AI_ को लागि सिद्धान्तहरू र अभ्यासहरू परिभाषित गर्न महत्त्वपूर्ण भूमिका खेल्छन् ताकि उनीहरूको AI उत्पादनहरू र प्रक्रियाहरूमा निष्पक्षता सुधार गर्न सकियोस्।
**मुख्य परिणामहरू:** डाटा साइन्सलाई _प्रतिनिधि डाटासेटहरू_ (सन्तुलित उपसमूहहरू) र _समावेशी टोलीहरू_ (विविध पृष्ठभूमि) आवश्यक छ भन्ने चेतना बढायो ताकि एआई समाधानहरूमा यस्ता पूर्वाग्रहहरू चाँडै पहिचान र हटाउन वा कम गर्न सकियोस्। यस प्रकारका अनुसन्धान प्रयासहरूले धेरै संगठनहरूलाई _उत्तरदायी एआई_ का लागि सिद्धान्त र अभ्यासहरू परिभाषित गर्न पनि महत्त्वपूर्ण भूमिका खेल्छन्, जसले उनीहरूको एआई उत्पादन र प्रक्रियाहरूमा निष्पक्षता सुधार गर्दछ।
**Microsoft मा सम्बन्धित अनुसन्धान प्रयासहरू सिक्न चाहनुहुन्छ?**
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) मा कृत्रिम बुद्धिमत्तामा अनुसन्धान परियोजनाहरू जाँच गर्नुहोस्।
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) बाट विद्यार्थी परियोजनाहरू अन्वेषण गर्नुहोस्।
* [Fairlearn](https://fairlearn.org/) परियोजना र [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) पहलहरू जाँच गर्नुहोस्।
* [Fairlearn](https://fairlearn.org/) परियोजना र [उत्तरदायी एआई](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) पहलहरू जाँच गर्नुहोस्।
## डेटा विज्ञान + मानविकी
## डाटा साइन्स + मानविकी
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| डेटा विज्ञान र डिजिटल मानविकी - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| डाटा साइन्स र डिजिटल मानविकी - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
डिजिटल मानविकी [परिभाषित गरिएको छ](https://digitalhumanities.stanford.edu/about-dh-stanford) "कम्प्युटेशनल विधिहरूलाई मानविकी अनुसन्धानसँग संयोजन गर्ने अभ्यासहरूको संग्रह" भनेर। [Stanford परियोजनाहरू](https://digitalhumanities.stanford.edu/projects) जस्तै _"इतिहासलाई पुनः सुरु गर्दै"_ र _"कवितात्मक सोच"_ ले [डिजिटल मानविकी र डेटा विज्ञान](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) बीचको सम्बन्धलाई चित्रण गर्दछ - नेटवर्क विश्लेषण, सूचना दृश्यात्मकता, स्थानिक र पाठ विश्लेषण जस्ता प्रविधिहरूलाई जोड दिँदै, जसले हामीलाई ऐतिहासिक र साहित्यिक डेटा सेटहरू पुनः अन्वेषण गर्न र नयाँ अन्तर्दृष्टि र दृष्टिकोण प्राप्त गर्न मद्दत गर्दछ।
डिजिटल मानविकीलाई [परिभाषित गरिएको छ](https://digitalhumanities.stanford.edu/about-dh-stanford) "गणनात्मक विधिहरूलाई मानविकी अनुसन्धानसँग संयोजन गर्ने अभ्यास र दृष्टिकोणहरूको सङ्ग्रह" भनेर। [स्ट्यानफोर्ड परियोजनाहरू](https://digitalhumanities.stanford.edu/projects) जस्तै _"इतिहासलाई पुनः सुरु गर्नु"_ र _"कवितात्मक सोच"_ ले [डिजिटल मानविकी र डाटा साइन्स](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) बीचको सम्बन्धलाई चित्रण गर्दछ - जसले नेटवर्क विश्लेषण, सूचना भिजुअलाइजेसन, स्थानिक र पाठ विश्लेषण जस्ता प्रविधिहरूलाई जोड दिन्छ, जसले हामीलाई ऐतिहासिक र साहित्यिक डाटासेटहरू पुनः अन्वेषण गर्न र नयाँ अन्तर्दृष्टि र दृष्टिकोण प्राप्त गर्न मद्दत गर्दछ।
*यस क्षेत्रमा परियोजना अन्वेषण गर्न र विस्तार गर्न चाहनुहुन्छ?*
*यस क्षेत्रमा परियोजना अन्वेषण र विस्तार गर्न चाहनुहुन्छ?*
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) जाँच गर्नुहोस् - [Jen Looper](https://twitter.com/jenlooper) बाट एक उत्कृष्ट उदाहरण, जसले सोध्छ कि हामी कसरी डेटा विज्ञान प्रयोग गरेर परिचित कवितालाई पुनः अन्वेषण गर्न सक्छौं र नयाँ सन्दर्भमा यसको अर्थ र यसको लेखकको योगदान पुनः मूल्याङ्कन गर्न सक्छौं। उदाहरणका लागि, _के हामी कविताको टोन वा भावना विश्लेषण गरेर यो लेखिएको मौसमको भविष्यवाणी गर्न सक्छौं_ - र यसले सम्बन्धित अवधिमा लेखकको मानसिक अवस्थाको बारेमा के बताउँछ?
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) जाँच गर्नुहोस् - [Jen Looper](https://twitter.com/jenlooper) बाट एक उत्कृष्ट उदाहरण, जसले सोध्छ कि हामी कसरी डाटा साइन्स प्रयोग गरेर परिचित कविताहरूलाई पुनः अन्वेषण गर्न र नयाँ सन्दर्भमा यसको अर्थ र यसको लेखकको योगदान पुनः मूल्याङ्कन गर्न सक्छौं। उदाहरणका लागि, _के हामी कविताको टोन वा भावना विश्लेषण गरेर यसको लेखिएको मौसमको भविष्यवाणी गर्न सक्छौं_ - र यसले सम्बन्धित अवधिमा लेखकको मानसिक अवस्थाको बारेमा के बताउँछ?
त्यो प्रश्नको उत्तर दिन, हामी हाम्रो डेटा विज्ञान जीवनचक्रको चरणहरू अनुसरण गर्छौं:
* [`डेटा प्राप्ति`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषणको लागि सम्बन्धित डेटा सेट सङ्कलन गर्न। विकल्पहरूमा API प्रयोग गर्नु (जस्तै, [Poetry DB API](https://poetrydb.org/index.html)) वा वेब पृष्ठहरू स्क्र्यापिङ गर्नु (जस्तै, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) जस्ता उपकरणहरू प्रयोग गरेर [Scrapy](https://scrapy.org/) समावेश छन्।
* [`डेटा सफा गर्नु`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - पाठलाई आधारभूत उपकरणहरू जस्तै Visual Studio Code र Microsoft Excel प्रयोग गरेर ढाँचा, सफा र सरल बनाउने तरिका व्याख्या गर्दछ।
* [`डेटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - डेटा सेटलाई "नोटबुकहरू" मा आयात गरेर विश्लेषण गर्न, डेटा व्यवस्थित गर्न र दृश्यात्मक बनाउन Python प्याकेजहरू (जस्तै pandas, numpy र matplotlib) प्रयोग गर्ने तरिका व्याख्या गर्दछ।
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - क्लाउड सेवाहरू जस्तै Text Analytics एकीकृत गर्ने तरिका व्याख्या गर्दछ, स्वचालित डेटा प्रशोधन कार्यप्रवाहहरूको लागि [Power Automate](https://flow.microsoft.com/en-us/) जस्ता कम-कोड उपकरणहरू प्रयोग गरेर।
त्यस प्रश्नको उत्तर दिन, हामी हाम्रो डाटा साइन्स जीवनचक्रका चरणहरू अनुसरण गर्छौं:
* [`डाटा अधिग्रहण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - विश्लेषणका लागि सम्बन्धित डाटासेट सङ्कलन गर्न। विकल्पहरूमा API (जस्तै, [Poetry DB API](https://poetrydb.org/index.html)) प्रयोग गर्ने वा वेब पृष्ठहरू स्क्र्याप गर्ने (जस्तै, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) उपकरणहरू (जस्तै, [Scrapy](https://scrapy.org/)) प्रयोग गरेर समावेश छन्।
* [`डाटा सफा गर्ने`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - पाठलाई आधारभूत उपकरणहरू (जस्तै, Visual Studio Code र Microsoft Excel) प्रयोग गरेर ढाँचा, सफा र सरल बनाउने तरिका वर्णन गर्दछ।
* [`डाटा विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - डाटासेटलाई "नोटबुकहरू" मा आयात गरेर विश्लेषण गर्न Python प्याकेजहरू (जस्तै, pandas, numpy र matplotlib) प्रयोग गरेर डाटालाई व्यवस्थित र दृश्यात्मक बनाउने तरिका वर्णन गर्दछ।
* [`भावना विश्लेषण`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - पाठ विश्लेषण जस्ता क्लाउड सेवाहरूलाई एकीकृत गर्ने तरिका वर्णन गर्दछ, जसले [Power Automate](https://flow.microsoft.com/en-us/) जस्ता कम-कोड उपकरणहरू प्रयोग गरेर स्वचालित डाटा प्रशोधन वर्कफ्लोहरू सक्षम बनाउँछ।
यस कार्यप्रवाह प्रयोग गरेर, हामी कविताको भावनामा मौसमी प्रभावहरू अन्वेषण गर्न सक्छौं, र लेखकको बारेमा हाम्रो आफ्नै दृष्टिकोण निर्माण गर्न मद्दत गर्न सक्छौं। आफैं प्रयास गर्नुहोस् - त्यसपछि अन्य प्रश्नहरू सोध्न वा डेटा नयाँ तरिकामा दृश्यात्मक बनाउन नोटबुक विस्तार गर्नुहोस्!
यस वर्कफ्लो प्रयोग गरेर, हामी कविताहरूको भावनामा मौसमी प्रभावहरूको अन्वेषण गर्न सक्छौं, र सम्बन्धित अवधिमा लेखकको मानसिक अवस्थाको बारेमा हाम्रो आफ्नै दृष्टिकोण निर्माण गर्न सक्छौं। आफैं प्रयास गर्नुहोस् - त्यसपछि अन्य प्रश्नहरू सोध्न वा डाटालाई नयाँ तरिकामा दृश्यात्मक बनाउन नोटबुक विस्तार गर्नुहोस्!
> तपाईं [डिजिटल मानविकी टूलकिट](https://github.com/Digital-Humanities-Toolkit) मा केही उपकरणहरू प्रयोग गरेर यी अनुसन्धानका मार्गहरू पछ्याउन सक्नुहुन्छ।
## डेटा विज्ञान + स्थिरता
## डाटा साइन्स + दिगोपन
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| डेटा विज्ञान र स्थिरता - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - २०१५ मा सबै संयुक्त राष्ट्र सदस्यहरूले अपनाएको - १७ लक्ष्यहरू पहिचान गर्दछ, जसमा **ग्रहको संरक्षण** र जलवायु परिवर्तनको प्रभावबाट केन्द्रित लक्ष्यहरू समावेश छन्। [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) पहलले यी लक्ष्यहरूलाई समर्थन गर्दछ र [४ लक्ष्यहरूमा केन्द्रित](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) स्थिर भविष्य निर्माण गर्न प्रविधि समाधानहरूको अन्वेषण गर्दछ - २०३० सम्म कार्बन नकारात्मक, पानी सकारात्मक, शून्य फोहोर, र जैव-विविध।
| डाटा साइन्स र दिगोपन - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
यी चुनौतीहरूलाई स्केलेबल र समयमै सम्बोधन गर्न क्लाउड-स्केल सोच र ठूलो स्केल डेटा आवश्यक छ। [Planetary Computer](https://planetarycomputer.microsoft.com/) पहलले डेटा वैज्ञानिकहरू र विकासकर्ताहरूलाई यस प्रयासमा मद्दत गर्न ४ घटकहरू प्रदान गर्दछ:
[२०३० को लागि दिगो विकासको एजेन्डा](https://sdgs.un.org/2030agenda) - जुन २०१५ मा सबै संयुक्त राष्ट्र सदस्यहरूले अपनाएका थिए - ले १७ लक्ष्यहरू पहिचान गर्दछ, जसमा **ग्रहलाई जोगाउने** र जलवायु परिवर्तनको प्रभावबाट जोगाउने लक्ष्यहरू समावेश छन्। [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) पहलले यी लक्ष्यहरूलाई समर्थन गर्दछ, जसले प्रविधि समाधानहरूले कसरी दिगो भविष्यहरूलाई समर्थन र निर्माण गर्न सक्छन् भनेर अन्वेषण गर्दछ, [४ लक्ष्यहरूमा ध्यान केन्द्रित गर्दै](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - २०३० सम्म कार्बन नकारात्मक, पानी सकारात्मक, शून्य फोहोर, र जैव-विविध हुनु।
* [डेटा क्याटलग](https://planetarycomputer.microsoft.com/catalog) - पृथ्वी प्रणाली डेटा (नि:शुल्क र Azure-होस्ट गरिएको) को पेटाबाइटहरूसँग।
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - प्रयोगकर्ताहरूलाई स्थान र समयभरि सम्बन्धित डेटा खोज्न मद्दत गर्न।
* [हब](https://planetarycomputer.microsoft.com/docs/overview/environment/) - वैज्ञानिकहरूलाई विशाल भू-स्थानिक डेटा सेटहरू प्रशोधन गर्न प्रबन्धित वातावरण।
* [अनुप्रयोगहरू](https://planetarycomputer.microsoft.com/applications) - स्थिरता अन्तर्दृष्टिका लागि प्रयोग केसहरू र उपकरणहरू प्रदर्शन।
**प्लानेटरी कम्प्युटर प्रोजेक्ट हाल प्रिभ्यूमा छ (सेप्टेम्बर २०२१ को रूपमा)** - डाटा साइन्स प्रयोग गरेर दिगो समाधानहरूमा योगदान दिन सुरु गर्न यहाँबाट सुरु गर्न सकिन्छ।
यी चुनौतीहरूलाई मापनयोग्य र समयमै समाधान गर्न क्लाउड-स्तरको सोच आवश्यक छ - र ठूलो मात्रामा डाटा। [Planetary Computer](https://planetarycomputer.microsoft.com/) पहलले डाटा वैज्ञानिकहरू र विकासकर्ताहरूलाई यस प्रयासमा मद्दत गर्न ४ घटकहरू प्रदान गर्दछ:
* [डाटा क्याटलग](https://planetarycomputer.microsoft.com/catalog) - पृथ्वी प्रणाली डाटाको पेटाबाइट्स (निःशुल्क र Azure-होस्ट गरिएको)।
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - प्रयोगकर्ताहरूलाई स्थान र समयभरि सम्बन्धित डाटा खोज्न मद्दत गर्न।
* [हब](https://planetarycomputer.microsoft.com/docs/overview/environment/) - वैज्ञानिकहरूलाई विशाल भू-स्थानिक डाटासेटहरू प्रशोधन गर्न प्रबन्धित वातावरण।
* [अनुप्रयोगहरू](https://planetarycomputer.microsoft.com/applications) - दिगोपन अन्तर्दृष्टिका लागि प्रयोग केसहरू र उपकरणहरू प्रदर्शन।
**प्लानेटरी कम्प्युटर प्रोजेक्ट हाल प्रिभ्यूमा छ (सेप्टेम्बर २०२१ अनुसार)** - डाटा साइन्स प्रयोग गरेर दिगो समाधानहरूमा योगदान दिन सुरु गर्न यहाँबाट थाल्नुहोस्।
* [एक्सेसको लागि अनुरोध गर्नुहोस्](https://planetarycomputer.microsoft.com/account/request) अन्वेषण सुरु गर्न र सहकर्मीहरूसँग जडान गर्न।
* [डकुमेन्टेसन अन्वेषण गर्नुहोस्](https://planetarycomputer.microsoft.com/docs/overview/about) समर्थित डेटासेट र API हरू बुझ्न।
* [डकुमेन्टेसन अन्वेषण गर्नुहोस्](https://planetarycomputer.microsoft.com/docs/overview/about) समर्थित डेटासेटहरू र API हरू बुझ्न।
डाटा भिजुअलाइजेसन प्रयोग गरेर जलवायु परिवर्तन र वन विनाश जस्ता क्षेत्रहरूमा सान्दर्भिक जानकारी उजागर गर्न वा प्रवर्धन गर्न कसरी प्रयोग गर्न सकिन्छ भन्ने सोच्नुहोस्। वा सोच्नुहोस् कि कसरी जानकारीहरू नयाँ प्रयोगकर्ता अनुभवहरू सिर्जना गर्न प्रयोग गर्न सकिन्छ जसले दिगो जीवनशैलीको लागि व्यवहार परिवर्तनलाई प्रेरित गर्दछ।
डाटा भिजुअलाइजेसन प्रयोग गरेर जलवायु परिवर्तन र वन विनाश जस्ता क्षेत्रहरूमा सान्दर्भिक जानकारी उजागर गर्न वा प्रवर्धन गर्न कसरी प्रयोग गर्न सकिन्छ भन्ने सोच्नुहोस्। वा, कसरी यी जानकारीहरूलाई प्रयोगकर्ता अनुभव सिर्जना गर्न प्रयोग गर्न सकिन्छ जसले दिगो जीवनशैलीको लागि व्यवहार परिवर्तनलाई प्रेरित गर्छ।
## डाटा साइन्स + विद्यार्थीहरू
हामीले उद्योग र अनुसन्धानमा वास्तविक संसारका एप्लिकेसनहरूको बारेमा कुरा गरेका छौं, र डिजिटल ह्युम्यानिटीज र दिगो विकासमा डाटा साइन्स एप्लिकेसनका उदाहरणहरू अन्वेषण गरेका छौं। त्यसो भए, डाटा साइन्सको शुरुवातकर्ता रूपमा तपाईंले आफ्नो सीप कसरी निर्माण गर्न सक्नुहुन्छ र आफ्नो विशेषज्ञता साझा गर्न सक्नुहुन्छ?
हामीले उद्योग र अनुसन्धानमा वास्तविक संसारका एप्लिकेसनहरूबारे कुरा गरेका छौं, र डिजिटल ह्युम्यानिटीज र दिगो विकासमा डाटा साइन्स एप्लिकेसनका उदाहरणहरू अन्वेषण गरेका छौं। अब, डाटा साइन्सको शुरुवातीको रूपमा तपाईंले आफ्नो सीप कसरी निर्माण गर्न सक्नुहुन्छ र आफ्नो विशेषज्ञता साझा गर्न सक्नुहुन्छ?
यहाँ डाटा साइन्स विद्यार्थी परियोजनाहरूका केही उदाहरणहरू छन् जसले तपाईंलाई प्रेरित गर्न सक्छ।
- [प्रहरीको बल प्रयोगमा जातीय पक्षपात](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [प्रहरीको बल प्रयोगमा जातीय पूर्वाग्रह](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* [सामग्री संस्कृति डिजिटलाइजिङ: सिर्कापमा सामाजिक-आर्थिक वितरण अन्वेषण गर्दै](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [ओर्नेला अल्टुन्यान](https://twitter.com/ornelladotcom) र क्लेयरमोन्टको टोलीबाट, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) प्रयोग गर्दै।
* [सामग्री संस्कृति डिजिटलाइजिङ: सिर्कापमा सामाजिक-आर्थिक वितरण अन्वेषण](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [Ornella Altunyan](https://twitter.com/ornelladotcom) र Claremont टिमबाट, [ArcGIS StoryMaps](https://storymaps.arcgis.com/) प्रयोग गर्दै।
## 🚀 चुनौती
डाटा साइन्स परियोजनाहरूको लागि लेखहरू खोज्नुहोस् जुन शुरुवातकर्ताहरूको लागि उपयुक्त छन् - जस्तै [यी ५० विषय क्षेत्रहरू](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) वा [यी २१ परियोजना आइडियाहरू](https://www.intellspot.com/data-science-project-ideas) वा [यी १६ परियोजनाहरू स्रोत कोडसहित](https://data-flair.training/blogs/data-science-project-ideas/) जसलाई तपाईंले डिकन्स्ट्रक्ट र रिमिक्स गर्न सक्नुहुन्छ। र आफ्नो सिकाइ यात्रा ब्लग गर्न नबिर्सनुहोस् र आफ्नो जानकारी हामी सबैसँग साझा गर्नुहोस्।
डाटा साइन्स परियोजनाहरूको लागि लेखहरू खोज्नुहोस् जुन शुरुवातीहरूको लागि उपयुक्त छन् - जस्तै [यी ५० विषय क्षेत्रहरू](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) वा [यी २१ परियोजना आइडियाहरू](https://www.intellspot.com/data-science-project-ideas) वा [यी १६ परियोजनाहरू स्रोत कोडसहित](https://data-flair.training/blogs/data-science-project-ideas/) जसलाई तपाईंले डिकन्स्ट्रक्ट र रिमिक्स गर्न सक्नुहुन्छ। र आफ्नो सिकाइ यात्रा ब्लग गर्न नबिर्सनुहोस् र आफ्नो जानकारी हामी सबैसँग साझा गर्नुहोस्।
@ -152,4 +155,4 @@ AI को लोकतान्त्रिकरणको कारण, वि
---
**अस्वीकरण**:
यो दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरेर अनुवाद गरिएको छ। हामी शुद्धताको लागि प्रयास गर्छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादहरूमा त्रुटि वा अशुद्धता हुन सक्छ। यसको मूल भाषा मा रहेको मूल दस्तावेज़लाई आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीको लागि, व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न हुने कुनै पनि गलतफहमी वा गलत व्याख्याको लागि हामी जिम्मेवार हुने छैनौं।
यो दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरेर अनुवाद गरिएको छ। हामी शुद्धताको लागि प्रयास गर्छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छ। यसको मूल भाषा मा रहेको मूल दस्तावेज़लाई आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीको लागि, व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न हुने कुनै पनि गलतफहमी वा गलत व्याख्याको लागि हामी जिम्मेवार हुने छैनौं।
We begonnen met definities van datawetenschap en ethiek, verkenden verschillende tools en technieken voor data-analyse en visualisatie, bespraken de levenscyclus van datawetenschap, en bekeken hoe we workflows voor datawetenschap kunnen opschalen en automatiseren met cloud computing-diensten. Dus je vraagt je waarschijnlijk af: _"Hoe pas ik al deze kennis precies toe in de praktijk?"_
We begonnen met definities van datawetenschap en ethiek, verkenden verschillende tools en technieken voor data-analyse en visualisatie, bespraken de levenscyclus van datawetenschap en bekeken hoe workflows voor datawetenschap kunnen worden opgeschaald en geautomatiseerd met cloudcomputingdiensten. Dus je vraagt je waarschijnlijk af: _"Hoe pas ik al deze kennis toe in echte situaties?"_
In deze les gaan we de toepassingen van datawetenschap in verschillende industrieën verkennen en specifieke voorbeelden bekijken in de context van onderzoek, digitale geesteswetenschappen en duurzaamheid. We bespreken ook mogelijkheden voor studentenprojecten en sluiten af met nuttige bronnen om je leerreis voort te zetten!
In deze les gaan we echte toepassingen van datawetenschap in verschillende industrieën verkennen en duiken we in specifieke voorbeelden binnen onderzoek, digitale geesteswetenschappen en duurzaamheid. We bekijken mogelijkheden voor studentenprojecten en sluiten af met nuttige bronnen om je leerreis voort te zetten!
## Quiz Voorafgaand aan de Les
## Quiz voor de Les
## [Quiz voorafgaand aan de les](https://ff-quizzes.netlify.app/en/ds/quiz/38)
## [Quiz voor de les](https://ff-quizzes.netlify.app/en/ds/quiz/38)
## Datawetenschap + Industrie
Dankzij de democratisering van AI wordt het voor ontwikkelaars steeds eenvoudiger om AI-gedreven besluitvorming en datagestuurde inzichten te ontwerpen en te integreren in gebruikerservaringen en ontwikkelworkflows. Hier zijn enkele voorbeelden van hoe datawetenschap wordt toegepast in de praktijk binnen verschillende industrieën:
Dankzij de democratisering van AI vinden ontwikkelaars het nu gemakkelijker om AI-gestuurde besluitvorming en datagestuurde inzichten te ontwerpen en te integreren in gebruikerservaringen en ontwikkelworkflows. Hier zijn enkele voorbeelden van hoe datawetenschap wordt "toegepast" in echte toepassingen binnen de industrie:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) gebruikte datawetenschap om zoektermen te correleren met grieptrends. Hoewel de aanpak gebreken vertoonde, bracht het bewustzijn over de mogelijkheden (en uitdagingen) van datagestuurde voorspellingen in de gezondheidszorg.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) gebruikte datawetenschap om zoektermen te correleren met grieptrends. Hoewel de aanpak gebreken had, bracht het bewustzijn over de mogelijkheden (en uitdagingen) van datagestuurde voorspellingen in de gezondheidszorg.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - beschrijft hoe UPS datawetenschap en machine learning gebruikt om optimale bezorgroutes te voorspellen, rekening houdend met weersomstandigheden, verkeerspatronen, bezorgdeadlines en meer.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - legt uit hoe UPS datawetenschap en machine learning gebruikt om optimale bezorgroutes te voorspellen, rekening houdend met weersomstandigheden, verkeerspatronen, bezorgdeadlines en meer.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data verzameld via [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hielp een dag in het leven van NYC-taxi's te visualiseren, waardoor we inzicht kregen in hoe ze door de drukke stad navigeren, hoeveel ze verdienen en hoe lang ritten duren gedurende een periode van 24 uur.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data verzameld via [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hielp een dag in het leven van NYC-taxi's te visualiseren, waardoor we beter begrijpen hoe ze door de drukke stad navigeren, hoeveel geld ze verdienen en hoe lang ritten duren gedurende een periode van 24 uur.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - gebruikt data (over ophaal- en afleverlocaties, ritduur, voorkeursroutes, etc.) verzameld uit miljoenen Uber-ritten *dagelijks* om een data-analysetool te bouwen die helpt bij prijsbepaling, veiligheid, fraudedetectie en navigatiebeslissingen.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - gebruikt data (over ophaal- en afleverlocaties, ritduur, voorkeursroutes, etc.) verzameld uit miljoenen Uber-ritten *dagelijks* om een data-analysetool te bouwen die helpt bij prijsstelling, veiligheid, fraudedetectie en navigatiebeslissingen.
* [Sportanalyse](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - richt zich op _voorspellende analyse_ (team- en spelersanalyse - denk aan [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - en fanbeheer) en _datavisualisatie_ (team- en fandashboards, games, etc.) met toepassingen zoals talent scouting, sportweddenschappen en voorraad-/locatiebeheer.
* [Sportanalyse](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - richt zich op _voorspellende analyse_ (team- en spelersanalyse - denk aan [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - en fanbeheer) en _datavisualisatie_ (team- en fandashboards, wedstrijden, etc.) met toepassingen zoals talent scouting, sportgokken en inventaris-/locatiebeheer.
* [Datawetenschap in de Bankensector](https://data-flair.training/blogs/data-science-in-banking/) - benadrukt de waarde van datawetenschap in de financiële sector met toepassingen variërend van risicomodellering en fraudedetectie tot klantsegmentatie, realtime voorspellingen en aanbevelingssystemen. Voorspellende analyses drijven ook kritieke maatregelen zoals [kredietscores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Datawetenschap in de Bankensector](https://data-flair.training/blogs/data-science-in-banking/) - benadrukt de waarde van datawetenschap in de financiële sector met toepassingen variërend van risicomodellering en fraudedetectie tot klantsegmentatie, realtime voorspellingen en aanbevelingssystemen. Voorspellende analyse drijft ook kritieke maatregelen zoals [kredietscores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Datawetenschap in de Gezondheidszorg](https://data-flair.training/blogs/data-science-in-healthcare/) - benadrukt toepassingen zoals medische beeldvorming (bijv. MRI, röntgenfoto's, CT-scans), genomica (DNA-sequencing), medicijnontwikkeling (risicobeoordeling, succesvoorspelling), voorspellende analyses (patiëntenzorg en logistiek), ziekteopsporing en -preventie, etc.
* [Datawetenschap in de Gezondheidszorg](https://data-flair.training/blogs/data-science-in-healthcare/) - benadrukt toepassingen zoals medische beeldvorming (bijv. MRI, röntgenfoto, CT-scan), genomica (DNA-sequencing), medicijnontwikkeling (risicobeoordeling, succesvoorspelling), voorspellende analyse (patiëntenzorg en logistiek), ziekteopsporing en -preventie, etc.
 Afbeeldingsbron: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Afbeeldingscredit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
De afbeelding toont andere domeinen en voorbeelden van het toepassen van datawetenschappelijke technieken. Wil je meer toepassingen verkennen? Bekijk de sectie [Review & Zelfstudie](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) hieronder.
De afbeelding toont andere domeinen en voorbeelden van het toepassen van technieken uit de datawetenschap. Wil je meer toepassingen verkennen? Bekijk de sectie [Review & Zelfstudie](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) hieronder.
## Datawetenschap + Onderzoek
@ -51,28 +51,28 @@ De afbeelding toont andere domeinen en voorbeelden van het toepassen van datawet
| Datawetenschap & Onderzoek - _Sketchnote door [@nitya](https://twitter.com/nitya)_ |
Hoewel toepassingen in de praktijk vaak gericht zijn op industriële use-cases op schaal, kunnen _onderzoeks_-toepassingen en projecten nuttig zijn vanuit twee perspectieven:
Hoewel toepassingen in de praktijk vaak gericht zijn op grootschalige gebruikssituaties in de industrie, kunnen _onderzoeks_toepassingen en projecten nuttig zijn vanuit twee perspectieven:
* _Innovatiekansen_ - snelle prototyping van geavanceerde concepten en het testen van gebruikerservaringen voor toepassingen van de volgende generatie.
* _Implementatie-uitdagingen_ - onderzoek naar mogelijke schade of onbedoelde gevolgen van datawetenschappelijke technologieën in de praktijk.
* _innovatiekansen_ - verken snel prototypen van geavanceerde concepten en test gebruikerservaringen voor toepassingen van de volgende generatie.
* _uitdagingen bij implementatie_ - onderzoek mogelijke schade of onbedoelde gevolgen van technologieën uit de datawetenschap in echte situaties.
Voor studenten kunnen deze onderzoeksprojecten zowel leer- als samenwerkingsmogelijkheden bieden die je begrip van het onderwerp verbeteren en je bewustzijn en betrokkenheid vergroten bij relevante mensen of teams die werken in interessegebieden. Hoe zien onderzoeksprojecten eruit en hoe kunnen ze impact maken?
Laten we een voorbeeld bekijken - de [MIT Gender Shades Study](http://gendershades.org/overview.html) van Joy Buolamwini (MIT Media Labs) met een [belangrijk onderzoeksartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) mede-auteur van Timnit Gebru (destijds bij Microsoft Research) dat zich richtte op:
Laten we een voorbeeld bekijken - de [MIT Gender Shades Study](http://gendershades.org/overview.html) van Joy Buolamwini (MIT Media Labs) met een [belangrijk onderzoeksartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) mede geschreven door Timnit Gebru (destijds bij Microsoft Research) dat zich richtte op:
* **Wat:** Het doel van het onderzoeksproject was om _de vooringenomenheid in geautomatiseerde gezichtsanalysesystemen en datasets_ te evalueren op basis van geslacht en huidskleur.
* **Waarom:** Gezichtsanalyse wordt gebruikt in gebieden zoals wetshandhaving, luchthavenbeveiliging, wervingssystemen en meer - contexten waarin onnauwkeurige classificaties (bijv. door vooringenomenheid) economische en sociale schade kunnen veroorzaken voor getroffen individuen of groepen. Het begrijpen (en elimineren of verminderen) van vooringenomenheid is essentieel voor eerlijk gebruik.
* **Wat:** Het doel van het onderzoeksproject was om _bias in geautomatiseerde gezichtsanalyse-algoritmen en datasets_ te evalueren op basis van geslacht en huidskleur.
* **Waarom:** Gezichtsanalyse wordt gebruikt in gebieden zoals wetshandhaving, luchthavenbeveiliging, wervingssystemen en meer - contexten waarin onnauwkeurige classificaties (bijv. door bias) economische en sociale schade kunnen veroorzaken voor getroffen individuen of groepen. Het begrijpen (en elimineren of verminderen) van bias is essentieel voor eerlijk gebruik.
* **Hoe:** Onderzoekers erkenden dat bestaande benchmarks voornamelijk lichtere huidtypes gebruikten en stelden een nieuwe dataset samen (1000+ afbeeldingen) die _meer gebalanceerd_ was qua geslacht en huidskleur. De dataset werd gebruikt om de nauwkeurigheid van drie geslachtsclassificatieproducten (van Microsoft, IBM & Face++) te evalueren.
De resultaten toonden aan dat hoewel de algehele classificatienauwkeurigheid goed was, er een merkbaar verschil was in foutpercentages tussen verschillende subgroepen - met **misclassificatie** die hoger was voor vrouwen of personen met een donkere huidskleur, wat wijst op vooringenomenheid.
Resultaten toonden aan dat hoewel de algehele classificatienauwkeurigheid goed was, er een merkbaar verschil was in foutpercentages tussen verschillende subgroepen - met **misgendering** die hoger was voor vrouwen of personen met een donkere huidskleur, wat wijst op bias.
**Belangrijke Resultaten:** Het onderzoek bracht bewustzijn dat datawetenschap meer _representatieve datasets_ (gebalanceerde subgroepen) en meer _inclusieve teams_ (diverse achtergronden) nodig heeft om dergelijke vooringenomenheid eerder in AI-oplossingen te herkennen en te elimineren of te verminderen. Onderzoeksinspanningen zoals deze zijn ook van cruciaal belang voor veel organisaties bij het definiëren van principes en praktijken voor _verantwoordelijke AI_ om eerlijkheid in hun AI-producten en -processen te verbeteren.
**Belangrijke Resultaten:** Het onderzoek bracht bewustzijn dat datawetenschap meer _representatieve datasets_ (gebalanceerde subgroepen) en meer _inclusieve teams_ (diverse achtergronden) nodig heeft om dergelijke biases eerder in AI-oplossingen te herkennen en te elimineren of te verminderen. Onderzoeksinspanningen zoals deze zijn ook instrumenteel in het definiëren van principes en praktijken voor _verantwoordelijke AI_ om eerlijkheid te verbeteren in AI-producten en -processen.
**Wil je meer leren over relevante onderzoeksinspanningen bij Microsoft?**
* Bekijk [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) op het gebied van Kunstmatige Intelligentie.
* Verken studentenprojecten van de [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Bekijk het [Fairlearn](https://fairlearn.org/) project en de [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiatieven.
* Bekijk [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) over Kunstmatige Intelligentie.
* Verken studentenprojecten van [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Bekijk het [Fairlearn](https://fairlearn.org/) project en [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiatieven.
## Datawetenschap + Geesteswetenschappen
@ -82,19 +82,19 @@ De resultaten toonden aan dat hoewel de algehele classificatienauwkeurigheid goe
Digitale Geesteswetenschappen [worden gedefinieerd](https://digitalhumanities.stanford.edu/about-dh-stanford) als "een verzameling van praktijken en benaderingen die computationele methoden combineren met humanistische vraagstukken". [Stanford-projecten](https://digitalhumanities.stanford.edu/projects) zoals _"rebooting history"_ en _"poetic thinking"_ illustreren de verbinding tussen [Digitale Geesteswetenschappen en Datawetenschap](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - met nadruk op technieken zoals netwerkanalyse, informatievisualisatie, ruimtelijke en tekstanalyse die ons kunnen helpen historische en literaire datasets opnieuw te bekijken om nieuwe inzichten en perspectieven te verkrijgen.
*Wil je een project in dit domein verkennen en uitbreiden?*
*Wil je een project in dit gebied verkennen en uitbreiden?*
Bekijk ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - een geweldig voorbeeld van [Jen Looper](https://twitter.com/jenlooper) dat onderzoekt hoe we datawetenschap kunnen gebruiken om bekende poëzie opnieuw te bekijken en de betekenis en bijdragen van de auteur in een nieuwe context te herwaarderen. Bijvoorbeeld, _kunnen we het seizoen voorspellen waarin een gedicht is geschreven door de toon of het sentiment te analyseren_ - en wat zegt dit over de gemoedstoestand van de auteur in die periode?
Bekijk ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - een geweldig voorbeeld van [Jen Looper](https://twitter.com/jenlooper) dat vraagt hoe we datawetenschap kunnen gebruiken om bekende poëzie opnieuw te bekijken en de betekenis en bijdragen van de auteur in nieuwe contexten te herwaarderen. Bijvoorbeeld, _kunnen we het seizoen voorspellen waarin een gedicht is geschreven door de toon of het sentiment te analyseren_ - en wat vertelt dit ons over de gemoedstoestand van de auteur in de betreffende periode?
Om die vraag te beantwoorden, volgen we de stappen van onze datawetenschappelijke levenscyclus:
* [`Data Verzamelen`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - om een relevante dataset voor analyse te verzamelen. Opties zijn onder andere het gebruik van een API (bijv. [Poetry DB API](https://poetrydb.org/index.html)) of het scrapen van webpagina's (bijv. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) met tools zoals [Scrapy](https://scrapy.org/).
Om die vraag te beantwoorden, volgen we de stappen van onze datawetenschapslevenscyclus:
* [`Data Verzameling`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - om een relevante dataset voor analyse te verzamelen. Opties zijn onder andere het gebruik van een API (bijv. [Poetry DB API](https://poetrydb.org/index.html)) of het scrapen van webpagina's (bijv. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) met tools zoals [Scrapy](https://scrapy.org/).
* [`Data Schoonmaken`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - legt uit hoe tekst kan worden geformatteerd, geschoond en vereenvoudigd met basisgereedschappen zoals Visual Studio Code en Microsoft Excel.
* [`Data Analyseren`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - legt uit hoe we de dataset nu kunnen importeren in "Notebooks" voor analyse met behulp van Python-pakketten (zoals pandas, numpy en matplotlib) om de data te organiseren en te visualiseren.
* [`Data Analyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - legt uit hoe we de dataset nu kunnen importeren in "Notebooks" voor analyse met Python-pakketten (zoals pandas, numpy en matplotlib) om de data te organiseren en te visualiseren.
* [`Sentimentanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - legt uit hoe we cloudservices zoals Text Analytics kunnen integreren, met behulp van low-code tools zoals [Power Automate](https://flow.microsoft.com/en-us/) voor geautomatiseerde dataverwerkingsworkflows.
Met deze workflow kunnen we de seizoensinvloeden op het sentiment van de gedichten verkennen en ons eigen perspectief op de auteur vormen. Probeer het zelf - en breid vervolgens de notebook uit om andere vragen te stellen of de data op nieuwe manieren te visualiseren!
Met deze workflow kunnen we de seizoensinvloeden op het sentiment van de gedichten verkennen en ons eigen perspectief op de auteur vormen. Probeer het zelf - en breid de notebook uit om andere vragen te stellen of de data op nieuwe manieren te visualiseren!
> Je kunt enkele tools uit de [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) gebruiken om deze onderzoekspaden te volgen.
> Je kunt enkele tools uit de [Digitale Geesteswetenschappen toolkit](https://github.com/Digital-Humanities-Toolkit) gebruiken om deze onderzoekspaden te volgen.
## Datawetenschap + Duurzaamheid
@ -102,48 +102,49 @@ Met deze workflow kunnen we de seizoensinvloeden op het sentiment van de gedicht
| Datawetenschap & Duurzaamheid - _Sketchnote door [@nitya](https://twitter.com/nitya)_ |
De [Agenda 2030 voor Duurzame Ontwikkeling](https://sdgs.un.org/2030agenda) - aangenomen door alle leden van de Verenigde Naties in 2015 - identificeert 17 doelen, waaronder doelen die zich richten op **het beschermen van de planeet** tegen degradatie en de impact van klimaatverandering. Het [Microsoft Duurzaamheidsinitiatief](https://www.microsoft.com/en-us/sustainability) ondersteunt deze doelen door te onderzoeken hoe technologische oplossingen duurzamere toekomsten kunnen ondersteunen en bouwen met een [focus op 4 doelen](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - koolstofnegatief, waterpositief, nul afval en biodivers tegen 2030.
De [Agenda 2030 voor Duurzame Ontwikkeling](https://sdgs.un.org/2030agenda) - aangenomen door alle leden van de Verenigde Naties in 2015 - identificeert 17 doelen, waaronder doelen die gericht zijn op **het beschermen van de planeet** tegen degradatie en de impact van klimaatverandering. Het [Microsoft Duurzaamheid](https://www.microsoft.com/en-us/sustainability) initiatief ondersteunt deze doelen door manieren te verkennen waarop technologische oplossingen kunnen bijdragen aan en bouwen aan duurzamere toekomsten met een [focus op 4 doelen](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - koolstofnegatief, waterpositief, nul afval en biodivers tegen 2030.
Het aanpakken van deze uitdagingen op schaalbare en tijdige wijze vereist denken op cloudschaal - en grootschalige data. Het [Planetary Computer](https://planetarycomputer.microsoft.com/) initiatief biedt 4 componenten om datawetenschappers en ontwikkelaars hierbij te helpen:
Het aanpakken van deze uitdagingen op een schaalbare en tijdige manier vereist denken op cloud-schaal - en grootschalige data. Het [Planetary Computer](https://planetarycomputer.microsoft.com/) initiatief biedt 4 componenten om datawetenschappers en ontwikkelaars hierbij te helpen:
* [Data Catalogus](https://planetarycomputer.microsoft.com/catalog) - met petabytes aan Earth Systems-data (gratis en gehost op Azure).
* [Data Catalogus](https://planetarycomputer.microsoft.com/catalog) - met petabytes aan data over aardesystemen (gratis & Azure-gehost).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - om gebruikers te helpen relevante data te zoeken over ruimte en tijd.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - beheerde omgeving voor wetenschappers om enorme geospatiale datasets te verwerken.
* [Toepassingen](https://planetarycomputer.microsoft.com/applications) - toont use-cases en tools voor duurzaamheidsinzichten.
**Het Planetary Computer Project is momenteel in preview (vanaf september 2021)** - hier is hoe je kunt beginnen met bijdragen aan duurzame oplossingen met behulp van datawetenschap.
* [Toepassingen](https://planetarycomputer.microsoft.com/applications) - toont gebruikssituaties en tools voor inzichten in duurzaamheid.
**Het Planetary Computer Project is momenteel in preview (vanaf september 2021)** - hier is hoe je kunt beginnen met bijdragen aan duurzame oplossingen met behulp van data science.
* [Vraag toegang aan](https://planetarycomputer.microsoft.com/account/request) om te starten met verkennen en in contact te komen met anderen.
* [Verken de documentatie](https://planetarycomputer.microsoft.com/docs/overview/about) om inzicht te krijgen in de ondersteunde datasets en API's.
* Ontdek toepassingen zoals [Ecosysteem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) voor inspiratie voor applicatie-ideeën.
* [Vraag toegang aan](https://planetarycomputer.microsoft.com/account/request) om te starten met verkennen en contact te maken met anderen.
* [Bekijk de documentatie](https://planetarycomputer.microsoft.com/docs/overview/about) om meer te leren over ondersteunde datasets en API's.
* Verken toepassingen zoals [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) voor inspiratie voor applicatie-ideeën.
Denk na over hoe je datavisualisatie kunt gebruiken om relevante inzichten over onderwerpen zoals klimaatverandering en ontbossing te onthullen of te versterken. Of denk na over hoe inzichten kunnen worden gebruikt om nieuwe gebruikerservaringen te creëren die gedragsveranderingen stimuleren voor een duurzamere levensstijl.
Denk na over hoe je datavisualisatie kunt gebruiken om relevante inzichten in gebieden zoals klimaatverandering en ontbossing bloot te leggen of te versterken. Of denk na over hoe inzichten kunnen worden gebruikt om nieuwe gebruikerservaringen te creëren die gedragsveranderingen stimuleren voor een duurzamer leven.
## Datawetenschap + Studenten
## Data Science + Studenten
We hebben gesproken over toepassingen in de praktijk binnen de industrie en onderzoek, en voorbeelden van datawetenschapstoepassingen in digitale geesteswetenschappen en duurzaamheid verkend. Maar hoe kun je als beginnende datawetenschapper je vaardigheden ontwikkelen en je expertise delen?
We hebben gesproken over toepassingen in de praktijk binnen de industrie en onderzoek, en voorbeelden van data science-toepassingen in digitale geesteswetenschappen en duurzaamheid verkend. Dus hoe kun je je vaardigheden ontwikkelen en je expertise delen als beginnende data scientists?
Hier zijn enkele voorbeelden van datawetenschapsprojecten voor studenten om je te inspireren.
Hier zijn enkele voorbeelden van data science-studentenprojecten om je te inspireren.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) met GitHub [projecten](https://github.com/msr-ds3) die onderwerpen verkennen zoals:
- [Raciale vooroordelen in politiegeweld](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Betrouwbaarheid van het NYC-metrosysteem](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisering van Materiële Cultuur: Onderzoek naar sociaal-economische verdelingen in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - van [Ornella Altunyan](https://twitter.com/ornelladotcom) en haar team in Claremont, met behulp van [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
- [Raciale vooringenomenheid in politiegeweld](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Betrouwbaarheid van het NYC Subway-systeem](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisering van materiële cultuur: Onderzoek naar sociaal-economische verdelingen in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - van [Ornella Altunyan](https://twitter.com/ornelladotcom) en team bij Claremont, met behulp van [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Uitdaging
Zoek naar artikelen die datawetenschapsprojecten aanbevelen die geschikt zijn voor beginners - zoals [deze 50 onderwerpen](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) of [deze 21 projectideeën](https://www.intellspot.com/data-science-project-ideas) of [deze 16 projecten met broncode](https://data-flair.training/blogs/data-science-project-ideas/) die je kunt analyseren en aanpassen. En vergeet niet om te bloggen over je leerervaringen en je inzichten met ons allemaal te delen.
Zoek naar artikelen die data science-projecten aanbevelen die geschikt zijn voor beginners - zoals [deze 50 onderwerpen](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) of [deze 21 projectideeën](https://www.intellspot.com/data-science-project-ideas) of [deze 16 projecten met broncode](https://data-flair.training/blogs/data-science-project-ideas/) die je kunt analyseren en aanpassen. Vergeet niet om te bloggen over je leerproces en je inzichten met ons allemaal te delen.
## Quiz na de lezing
## Quiz na de les
## [Quiz na de lezing](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## [Quiz na de les](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## Herziening& Zelfstudie
## Review& Zelfstudie
Wil je meer use cases verkennen? Hier zijn een paar relevante artikelen:
* [17 Data Science-toepassingen en voorbeelden](https://builtin.com/data-science/data-science-applications-examples) - juli 2021
* [17 Data Science-toepassingen en voorbeelden](https://builtin.com/data-science/data-science-applications-examples) - jul 2021
* [11 Adembenemende Data Science-toepassingen in de echte wereld](https://myblindbird.com/data-science-applications-real-world/) - mei 2021
* [Data Science in de echte wereld](https://towardsdatascience.com/data-science-in-the-real-world/home) - Artikelcollectie
* Data Science in: [Onderwijs](https://data-flair.training/blogs/data-science-in-education/), [Landbouw](https://data-flair.training/blogs/data-science-in-agriculture/), [Financiën](https://data-flair.training/blogs/data-science-in-finance/), [Films](https://data-flair.training/blogs/data-science-at-movies/) & meer.
* [12 Data Science-toepassingen in de echte wereld met voorbeelden](https://www.scaler.com/blog/data-science-applications/) - mei 2024
* Data Science in: [Onderwijs](https://data-flair.training/blogs/data-science-in-education/), [Landbouw](https://data-flair.training/blogs/data-science-in-agriculture/), [Financiën](https://data-flair.training/blogs/data-science-in-finance/), [Films](https://data-flair.training/blogs/data-science-at-movies/), [Gezondheidszorg](https://onlinedegrees.sandiego.edu/data-science-health-care/) en meer.
## Opdracht
@ -152,4 +153,4 @@ Wil je meer use cases verkennen? Hier zijn een paar relevante artikelen:
---
**Disclaimer**:
Dit document is vertaald met behulp van de AI-vertalingsservice [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, willen we u erop wijzen dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling.
Dit document is vertaald met behulp van de AI-vertalingsservice [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u zich ervan bewust te zijn dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in zijn oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor cruciale informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling.
| Data Science i den Virkelige Verden - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
| Data Science i den virkelige verden - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
Vi nærmer oss slutten av denne læringsreisen!
Vi startet med definisjoner av data science og etikk, utforsket ulike verktøy og teknikker for dataanalyse og visualisering, gjennomgikk livssyklusen for data science, og så på hvordan man kan skalere og automatisere arbeidsflyter for data science med skytjenester. Så du lurer kanskje: _"Hvordan kan jeg egentlig koble alt dette til virkelige sammenhenger?"_
Vi startet med definisjoner av data science og etikk, utforsket ulike verktøy og teknikker for dataanalyse og visualisering, gjennomgikk livssyklusen for data science, og så på hvordan man kan skalere og automatisere arbeidsflyter for data science med skytjenester. Så du lurer kanskje: _"Hvordan kan jeg egentlig koble all denne læringen til virkelige kontekster?"_
I denne leksjonen skal vi utforske virkelige anvendelser av data science på tvers av bransjer og dykke ned i spesifikke eksempler innen forskning, digitale humaniora og bærekraft. Vi skal også se på studentprosjektmuligheter og avslutte med nyttige ressurser som kan hjelpe deg med å fortsette læringsreisen din!
I denne leksjonen skal vi utforske virkelige anvendelser av data science på tvers av ulike bransjer og dykke ned i spesifikke eksempler innen forskning, digitale humaniora og bærekraft. Vi skal se på studentprosjektmuligheter og avslutte med nyttige ressurser som kan hjelpe deg med å fortsette din læringsreise!
## Quiz før forelesning
@ -25,25 +25,25 @@ I denne leksjonen skal vi utforske virkelige anvendelser av data science på tve
## Data Science + Industri
Takket være demokratiseringen av AI, finner utviklere det nå enklere å designe og integrere AI-drevne beslutningsprosesser og datadrevne innsikter i brukeropplevelser og utviklingsarbeidsflyter. Her er noen eksempler på hvordan data science "brukes" i virkelige applikasjoner på tvers av bransjer:
Takket være demokratiseringen av AI, finner utviklere det nå enklere å designe og integrere AI-drevne beslutningsprosesser og datadrevne innsikter i brukeropplevelser og utviklingsarbeidsflyter. Her er noen eksempler på hvordan data science "anvendes" i virkelige applikasjoner på tvers av bransjer:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) brukte data science for å korrelere søketermer med influensatrender. Selv om tilnærmingen hadde svakheter, skapte den bevissthet om mulighetene (og utfordringene) ved datadrevne helseprediksjoner.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) brukte data science for å korrelere søketermer med influensatrender. Selv om tilnærmingen hadde svakheter, skapte den oppmerksomhet rundt mulighetene (og utfordringene) med datadrevne helseprediksjoner.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - forklarer hvordan UPS bruker data science og maskinlæring for å forutsi optimale leveringsruter, med hensyn til værforhold, trafikkmønstre, leveringsfrister og mer.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data samlet inn ved hjelp av [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) bidro til å visualisere en dag i livet til NYC-taxier, og hjalp oss med å forstå hvordan de navigerer i den travle byen, hvor mye de tjener, og varigheten av turer over en 24-timers periode.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data samlet inn ved hjelp av [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hjalp med å visualisere en dag i livet til NYC-taxier, og ga innsikt i hvordan de navigerer i den travle byen, pengene de tjener, og varigheten av turer over en 24-timers periode.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - bruker data (om hente- og leveringssteder, turvarighet, foretrukne ruter osv.) samlet fra millioner av Uber-turer *daglig* for å bygge et dataanalytisk verktøy som hjelper med prissetting, sikkerhet, svindeldeteksjon og navigasjonsbeslutninger.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - bruker data (om hente- og leveringssteder, turvarighet, foretrukne ruter osv.) samlet fra millioner av Uber-turer *daglig* for å bygge et dataanalyseverktøy som hjelper med prissetting, sikkerhet, svindeldeteksjon og navigasjonsbeslutninger.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokuserer på _prediktiv analyse_ (lag- og spilleranalyse - tenk [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - og fanhåndtering) og _datavisualisering_ (lag- og fandashboards, spill osv.) med applikasjoner som talentspeiding, sportsbetting og inventar-/arenaadministrasjon.
* [Data Science i Banksektoren](https://data-flair.training/blogs/data-science-in-banking/) - fremhever verdien av data science i finansindustrien med applikasjoner som risikomodellering og svindeldeteksjon, kundesegmentering, sanntidsprediksjon og anbefalingssystemer. Prediktiv analyse driver også kritiske tiltak som [kredittscore](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science i banksektoren](https://data-flair.training/blogs/data-science-in-banking/) - fremhever verdien av data science i finansindustrien med applikasjoner som risikomodellering og svindeldeteksjon, kundesegmentering, sanntidsprediksjon og anbefalingssystemer. Prediktiv analyse driver også kritiske tiltak som [kredittscore](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science i Helsevesenet](https://data-flair.training/blogs/data-science-in-healthcare/) - fremhever applikasjoner som medisinsk bildediagnostikk (f.eks. MR, røntgen, CT-skanning), genomikk (DNA-sekvensering), legemiddelutvikling (risikovurdering, suksessprediksjon), prediktiv analyse (pasientbehandling og logistikk), sykdomssporing og forebygging.
* [Data Science i helsevesenet](https://data-flair.training/blogs/data-science-in-healthcare/) - fremhever applikasjoner som medisinsk bildediagnostikk (f.eks. MR, røntgen, CT-skanning), genomikk (DNA-sekvensering), legemiddelutvikling (risikovurdering, suksessprediksjon), prediktiv analyse (pasientomsorg og logistikk), sykdomssporing og forebygging osv.
 Bildekreditt: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Bildekreditt: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Figuren viser andre domener og eksempler på bruk av data science-teknikker. Vil du utforske andre applikasjoner? Sjekk ut [Gjennomgang og Selvstudium](../../../../6-Data-Science-In-Wild/20-Real-World-Examples)-seksjonen nedenfor.
Figuren viser andre domener og eksempler på anvendelse av data science-teknikker. Vil du utforske andre applikasjoner? Sjekk ut [Gjennomgang og selvstudium](../../../../6-Data-Science-In-Wild/20-Real-World-Examples)-seksjonen nedenfor.
## Data Science + Forskning
@ -51,28 +51,28 @@ Figuren viser andre domener og eksempler på bruk av data science-teknikker. Vil
| Data Science & Forskning - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
Mens virkelige applikasjoner ofte fokuserer på bruksområder i industrien i stor skala, kan _forskningsapplikasjoner_ og prosjekter være nyttige fra to perspektiver:
Mens virkelige applikasjoner ofte fokuserer på bruksområder i stor skala, kan _forskningsprosjekter_ være nyttige fra to perspektiver:
* _innovasjonsmuligheter_ - utforske rask prototyping av avanserte konsepter og testing av brukeropplevelser for neste generasjons applikasjoner.
* _utfordringer ved implementering_ - undersøke potensielle skader eller utilsiktede konsekvenser av data science-teknologier i virkelige sammenhenger.
* _utfordringer ved implementering_ - undersøke potensielle skader eller utilsiktede konsekvenser av data science-teknologier i virkelige kontekster.
For studenter kan disse forskningsprosjektene gi både lærings- og samarbeidsmuligheter som kan forbedre forståelsen av emnet og utvide bevisstheten og engasjementet med relevante personer eller team som jobber innen interesseområder. Hvordan ser forskningsprosjekter ut, og hvordan kan de ha en innvirkning?
For studenter kan disse forskningsprosjektene gi både lærings- og samarbeidsmuligheter som kan forbedre forståelsen av emnet og utvide bevisstheten og engasjementet med relevante personer eller team som jobber innen interesseområder. Så hvordan ser forskningsprosjekter ut, og hvordan kan de ha en innvirkning?
La oss se på ett eksempel - [MIT Gender Shades Study](http://gendershades.org/overview.html) av Joy Buolamwini (MIT Media Labs) med en [signaturforskningsartikkel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) medforfattet av Timnit Gebru (den gang ved Microsoft Research) som fokuserte på:
La oss se på ett eksempel - [MIT Gender Shades Study](http://gendershades.org/overview.html) fra Joy Buolamwini (MIT Media Labs) med en [signaturforskningsartikkel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) medforfattet av Timnit Gebru (da ved Microsoft Research) som fokuserte på:
* **Hva:** Målet med forskningsprosjektet var å _evaluere skjevheter i automatiserte ansiktsanalysealgoritmer og datasett_ basert på kjønn og hudtype.
* **Hvorfor:** Ansiktsanalyse brukes i områder som rettshåndhevelse, flyplassikkerhet, ansettelsessystemer og mer - sammenhenger der unøyaktige klassifiseringer (f.eks. på grunn av skjevheter) kan forårsake økonomiske og sosiale skader for berørte individer eller grupper. Å forstå (og eliminere eller redusere) skjevheter er nøkkelen til rettferdighet i bruk.
* **Hvordan:** Forskerne oppdaget at eksisterende referansedata hovedsakelig brukte personer med lysere hud, og kuraterte et nytt datasett (1000+ bilder) som var _mer balansert_ med hensyn til kjønn og hudtype. Datasettet ble brukt til å evaluere nøyaktigheten til tre kjønnsklassifiseringsprodukter (fra Microsoft, IBM og Face++).
* **Hva:** Målet med forskningsprosjektet var å _evaluere bias i automatiserte ansiktsanalysealgoritmer og datasett_ basert på kjønn og hudtype.
* **Hvorfor:** Ansiktsanalyse brukes i områder som rettshåndhevelse, flyplassikkerhet, ansettelsessystemer og mer - kontekster der unøyaktige klassifiseringer (f.eks. på grunn av bias) kan forårsake potensielle økonomiske og sosiale skader for berørte individer eller grupper. Å forstå (og eliminere eller redusere) bias er nøkkelen til rettferdighet i bruk.
* **Hvordan:** Forskerne anerkjente at eksisterende benchmarks hovedsakelig brukte lysere hudtoner, og kuraterte et nytt datasett (1000+ bilder) som var _mer balansert_ etter kjønn og hudtype. Datasettet ble brukt til å evaluere nøyaktigheten til tre kjønnsklassifiseringsprodukter (fra Microsoft, IBM & Face++).
Resultatene viste at selv om den generelle klassifiseringsnøyaktigheten var god, var det en merkbar forskjell i feilrater mellom ulike undergrupper - med **feilkjønning** som var høyere for kvinner eller personer med mørkere hudtyper, noe som indikerte skjevheter.
Resultatene viste at selv om den totale klassifiseringsnøyaktigheten var god, var det en merkbar forskjell i feilrater mellom ulike undergrupper - med **feilkjønning** som var høyere for kvinner eller personer med mørkere hudtoner, noe som indikerer bias.
**Viktige Resultater:** Økt bevissthet om at data science trenger mer _representative datasett_ (balanserte undergrupper) og mer_inkluderende team_ (mangfoldige bakgrunner) for å oppdage og eliminere eller redusere slike skjevheter tidligere i AI-løsninger. Forskningsinnsatser som dette er også avgjørende for at mange organisasjoner kan definere prinsipper og praksiser for _ansvarlig AI_ for å forbedre rettferdighet i deres AI-produkter og prosesser.
**Viktige resultater:** Skapte oppmerksomhet rundt behovet for _representative datasett_ (balanserte undergrupper) og _inkluderende team_ (mangfoldige bakgrunner) for å gjenkjenne og eliminere eller redusere slike bias tidlig i AI-løsninger. Forskningsinnsats som dette er også avgjørende for at mange organisasjoner kan definere prinsipper og praksis for _ansvarlig AI_ for å forbedre rettferdighet i deres AI-produkter og prosesser.
**Vil du lære om relevante forskningsinnsatser hos Microsoft?**
* Sjekk ut [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) innen kunstig intelligens.
* Utforsk studentprosjekter fra [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Sjekk ut [Fairlearn](https://fairlearn.org/)-prosjektet og [Ansvarlig AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6)-initiativene.
* Sjekk ut [Fairlearn](https://fairlearn.org/) prosjektet og [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) initiativer.
## Data Science + Humaniora
@ -80,21 +80,21 @@ Resultatene viste at selv om den generelle klassifiseringsnøyaktigheten var god
| Data Science & Digitale Humaniora - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
Digitale Humaniora [er definert](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling av praksiser og tilnærminger som kombinerer beregningsmetoder med humanistisk undersøkelse". [Stanford-prosjekter](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ og _"poetic thinking"_ illustrerer koblingen mellom [Digitale Humaniora og Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med vekt på teknikker som nettverksanalyse, informasjonsvisualisering, romlig og tekstanalyse som kan hjelpe oss med å gjenbesøke historiske og litterære datasett for å utlede nye innsikter og perspektiver.
Digitale humaniora [er definert](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling av praksiser og tilnærminger som kombinerer beregningsmetoder med humanistisk forskning". [Stanford-prosjekter](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ og _"poetic thinking"_ illustrerer koblingen mellom [Digitale Humaniora og Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med vekt på teknikker som nettverksanalyse, informasjonsvisualisering, romlig og tekstanalyse som kan hjelpe oss med å gjenbesøke historiske og litterære datasett for å utlede nye innsikter og perspektiver.
*Vil du utforske og utvide et prosjekt innen dette området?*
Sjekk ut ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - et flott eksempel fra [Jen Looper](https://twitter.com/jenlooper) som spør hvordan vi kan bruke data science til å gjenbesøke kjent poesi og revurdere dens betydning og bidragene fra forfatteren i nye sammenhenger. For eksempel, _kan vi forutsi hvilken årstid et dikt ble skrevet i ved å analysere tonen eller sentimentet_ - og hva forteller dette oss om forfatterens sinnstilstand i den aktuelle perioden?
Sjekk ut ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - et flott eksempel fra [Jen Looper](https://twitter.com/jenlooper) som spør hvordan vi kan bruke data science til å gjenbesøke kjent poesi og revurdere dens betydning og bidrag fra forfatteren i nye kontekster. For eksempel, _kan vi forutsi hvilken sesong et dikt ble skrevet i ved å analysere tonen eller sentimentet_ - og hva forteller dette oss om forfatterens sinnstilstand i den aktuelle perioden?
For å svare på det spørsmålet følger vi trinnene i livssyklusen for data science:
* [`Dataanskaffelse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - for å samle inn et relevant datasett for analyse. Alternativer inkluderer bruk av en API (f.eks. [Poetry DB API](https://poetrydb.org/index.html)) eller skraping av nettsider (f.eks. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) ved hjelp av verktøy som [Scrapy](https://scrapy.org/).
* [`Datavask`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - forklarer hvordan tekst kan formateres, renses og forenkles ved hjelp av grunnleggende verktøy som Visual Studio Code og Microsoft Excel.
* [`Dataanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - forklarer hvordan vi nå kan importere datasettet til "Notebooks" for analyse ved hjelp av Python-pakker (som pandas, numpy og matplotlib) for å organisere og visualisere dataene.
* [`Sentimentanalyse`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - forklarer hvordan vi kan integrere skytjenester som Text Analytics, ved hjelp av lavkodeverktøy som [Power Automate](https://flow.microsoft.com/en-us/) for automatiserte databehandlingsarbeidsflyter.
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - for å samle inn et relevant datasett for analyse. Alternativer inkluderer bruk av en API (f.eks. [Poetry DB API](https://poetrydb.org/index.html)) eller scraping av nettsider (f.eks. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) ved hjelp av verktøy som [Scrapy](https://scrapy.org/).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - forklarer hvordan tekst kan formateres, renses og forenkles ved hjelp av grunnleggende verktøy som Visual Studio Code og Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - forklarer hvordan vi nå kan importere datasettet til "Notebooks" for analyse ved hjelp av Python-pakker (som pandas, numpy og matplotlib) for å organisere og visualisere dataene.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - forklarer hvordan vi kan integrere skytjenester som Text Analytics, ved hjelp av lavkodeverktøy som [Power Automate](https://flow.microsoft.com/en-us/) for automatiserte databehandlingsarbeidsflyter.
Ved å bruke denne arbeidsflyten kan vi utforske sesongmessige påvirkninger på sentimentet i diktene og hjelpe oss med å forme våre egne perspektiver på forfatteren. Prøv det selv - og utvid deretter notatboken for å stille andre spørsmål eller visualisere dataene på nye måter!
Ved å bruke denne arbeidsflyten kan vi utforske sesongmessige påvirkninger på sentimentet i diktene, og hjelpe oss med å forme våre egne perspektiver på forfatteren. Prøv det selv - og utvid deretter notatboken for å stille andre spørsmål eller visualisere dataene på nye måter!
> Du kan bruke noen av verktøyene i [Digital Humanities Toolkit](https://github.com/Digital-Humanities-Toolkit) for å forfølge disse undersøkelsene.
> Du kan bruke noen av verktøyene i [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) for å forfølge disse undersøkelsesområdene.
## Data Science + Bærekraft
@ -102,48 +102,49 @@ Ved å bruke denne arbeidsflyten kan vi utforske sesongmessige påvirkninger på
| Data Science & Bærekraft - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
[2030 Agenda for Bærekraftig Utvikling](https://sdgs.un.org/2030agenda) - vedtatt av alle FN-medlemmer i 2015 - identifiserer 17 mål, inkludert mål som fokuserer på **å beskytte planeten** mot degradering og virkningen av klimaendringer. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability)-initiativet støtter disse målene ved å utforske måter teknologiløsninger kan støtte og bygge mer bærekraftige fremtider med et [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - å være karbonnegative, vannpositive, null avfall og biologisk mangfoldige innen 2030.
[2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - vedtatt av alle FN-medlemmer i 2015 - identifiserer 17 mål, inkludert de som fokuserer på **beskytte planeten** mot nedbrytning og virkningen av klimaendringer. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability)-initiativet støtter disse målene ved å utforske måter teknologiløsninger kan bidra til å bygge mer bærekraftige fremtider med et [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - være karbonnegative, vannpositive, null avfall og biologisk mangfoldige innen 2030.
Å takle disse utfordringene på en skalerbar og tidsriktig måte krever tenkning i skyskala - og store mengder data. [Planetary Computer](https://planetarycomputer.microsoft.com/)-initiativet gir 4 komponenter for å hjelpe dataforskere og utviklere i denne innsatsen:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - med petabyte av data om jordens systemer (gratis og Azure-hostet).
Å takle disse utfordringene på en skalerbar og tidsriktig måte krever tenkning i sky-skala - og store mengder data. [Planetary Computer](https://planetarycomputer.microsoft.com/)-initiativet gir 4 komponenter for å hjelpe dataforskere og utviklere i denne innsatsen:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - med petabyte av Earth Systems-data (gratis og Azure-hostet).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - for å hjelpe brukere med å søke etter relevante data på tvers av rom og tid.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - et administrert miljø for forskere til å behandle massive geospatiale datasett.
* [Applikasjoner](https://planetarycomputer.microsoft.com/applications) - viser bruksområder og verktøy for bærekraftige innsikter.
**Planetary Computer-prosjektet er for øyeblikket i forhåndsvisning (per september 2021)** – her er hvordan du kan komme i gang med å bidra til bærekraftige løsninger ved hjelp av dataanalyse.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - administrert miljø for forskere til å behandle massive geospatiale datasett.
* [Applications](https://planetarycomputer.microsoft.com/applications) - viser bruksområder og verktøy for bærekraftige innsikter.
**Planetary Computer-prosjektet er for øyeblikket i forhåndsvisning (per september 2021)** - her er hvordan du kan komme i gang med å bidra til bærekraftige løsninger ved hjelp av dataanalyse.
* [Be om tilgang](https://planetarycomputer.microsoft.com/account/request) for å starte utforskningen og koble deg til andre.
* [Utforsk dokumentasjonen](https://planetarycomputer.microsoft.com/docs/overview/about) for å forstå hvilke datasett og API-er som støttes.
* [Be om tilgang](https://planetarycomputer.microsoft.com/account/request) for å starte utforskning og koble deg til andre.
* [Utforsk dokumentasjon](https://planetarycomputer.microsoft.com/docs/overview/about) for å forstå støttede datasett og API-er.
* Utforsk applikasjoner som [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) for inspirasjon til applikasjonsideer.
Tenk på hvordan du kan bruke datavisualisering for å avdekke eller forsterke relevante innsikter innen områder som klimaendringer og avskoging. Eller vurder hvordan innsikter kan brukes til å skape nye brukeropplevelser som motiverer til atferdsendringer for et mer bærekraftig liv.
## Dataanalyse + Studenter
Vi har snakket om virkelige applikasjoner i industrien og forskningen, og utforsket eksempler på dataanalyseapplikasjoner innen digital humaniora og bærekraft. Så hvordan kan du bygge ferdighetene dine og dele ekspertisen din som nybegynner innen dataanalyse?
Vi har snakket om virkelige applikasjoner i industri og forskning, og utforsket eksempler på dataanalyseapplikasjoner innen digitale humaniora og bærekraft. Så hvordan kan du bygge ferdighetene dine og dele ekspertisen din som nybegynner innen dataanalyse?
Her er noen eksempler på studentprosjekter innen dataanalyse for å inspirere deg.
Her er noen eksempler på studentprosjekter innen dataanalyse for inspirasjon.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) med GitHub [prosjekter](https://github.com/msr-ds3) som utforsker temaer som:
- [Rasistisk skjevhet i politiets bruk av makt](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Rasistisk bias i politiets bruk av makt](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Påliteligheten til New Yorks T-banesystem](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisering av materiell kultur: Utforsking av sosioøkonomiske fordelinger i Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) – fra [Ornella Altunyan](https://twitter.com/ornelladotcom) og teamet ved Claremont, ved bruk av [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitalisering av materiell kultur: Utforsking av sosioøkonomiske fordelinger i Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - fra [Ornella Altunyan](https://twitter.com/ornelladotcom) og teamet ved Claremont, ved bruk av [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Utfordring
Søk etter artikler som anbefaler nybegynnervennlige dataanalyseprosjekter – som [disse 50 temaområdene](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [disse 21 prosjektideene](https://www.intellspot.com/data-science-project-ideas) eller [disse 16 prosjektene med kildekode](https://data-flair.training/blogs/data-science-project-ideas/) som du kan dekonstruere og remikse. Og ikke glem å blogge om læringsreisen din og dele innsiktene dine med oss alle.
Søk etter artikler som anbefaler dataanalyseprosjekter som er nybegynnervennlige - som [disse 50 temaområdene](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [disse 21 prosjektideene](https://www.intellspot.com/data-science-project-ideas) eller [disse 16 prosjektene med kildekode](https://data-flair.training/blogs/data-science-project-ideas/) som du kan dekonstruere og remikse. Og ikke glem å blogge om læringsreisen din og dele innsiktene dine med oss alle.
## Quiz etter forelesning
## [Quiz etter forelesning](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## Gjennomgang og selvstudium
## Gjennomgang & Selvstudium
Vil du utforske flere bruksområder? Her er noen relevante artikler:
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) – juli 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) – mai 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) – Artikkelsamling
* Dataanalyse innen: [Utdanning](https://data-flair.training/blogs/data-science-in-education/), [Landbruk](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/) og mer.
* [17 applikasjoner og eksempler innen dataanalyse](https://builtin.com/data-science/data-science-applications-examples) - juli 2021
* [11 imponerende applikasjoner innen dataanalyse i den virkelige verden](https://myblindbird.com/data-science-applications-real-world/) - mai 2021
* [Dataanalyse i den virkelige verden](https://towardsdatascience.com/data-science-in-the-real-world/home) - artikkelsamling
* [12 virkelige applikasjoner innen dataanalyse med eksempler](https://www.scaler.com/blog/data-science-applications/) - mai 2024
* Dataanalyse innen: [Utdanning](https://data-flair.training/blogs/data-science-in-education/), [Landbruk](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/), [Helsevesen](https://onlinedegrees.sandiego.edu/data-science-health-care/) og mer.
## Oppgave
@ -152,4 +153,4 @@ Vil du utforske flere bruksområder? Her er noen relevante artikler:
---
**Ansvarsfraskrivelse**:
Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi tilstreber nøyaktighet, vennligst vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.
Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiserte oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.
| Data Science w Rzeczywistym Świecie - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science w Rzeczywistym Świecie - _Sketchnote autorstwa [@nitya](https://twitter.com/nitya)_ |
Jesteśmy prawie na końcu tej podróży edukacyjnej!
Zaczęliśmy od definicji data science i etyki, zgłębiliśmy różne narzędzia i techniki analizy oraz wizualizacji danych, przeanalizowaliśmy cykl życia data science, a także omówiliśmy skalowanie i automatyzację procesów data science za pomocą usług chmurowych. Pewnie zastanawiasz się: _"Jak dokładnie mogę przełożyć te wszystkie nauki na rzeczywiste konteksty?"_
Zaczęliśmy od definicji data science i etyki, zgłębiliśmy różne narzędzia i techniki analizy oraz wizualizacji danych, przeanalizowaliśmy cykl życia data science, a także przyjrzeliśmy się skalowaniu i automatyzacji procesów data science za pomocą usług chmurowych. Pewnie zastanawiasz się: _"Jak dokładnie przełożyć te wszystkie nauki na rzeczywiste konteksty?"_
W tej lekcji przyjrzymy się zastosowaniom data science w różnych branżach i zagłębimy się w konkretne przykłady z obszarów badań, humanistyki cyfrowej i zrównoważonego rozwoju. Omówimy również możliwości projektów studenckich i zakończymy przydatnymi zasobami, które pomogą Ci kontynuować naukę!
@ -25,48 +25,48 @@ W tej lekcji przyjrzymy się zastosowaniom data science w różnych branżach i
## Data Science + Przemysł
Dzięki demokratyzacji AI, programistom jest teraz łatwiej projektować i integrować decyzje oparte na sztucznej inteligencji oraz wgląd w dane w doświadczenia użytkowników i procesy rozwojowe. Oto kilka przykładów, jak data science jest "stosowane" w rzeczywistych aplikacjach w przemyśle:
Dzięki demokratyzacji AI, programistom jest teraz łatwiej projektować i integrować decyzje oparte na sztucznej inteligencji oraz wgląd w dane w doświadczenia użytkowników i procesy deweloperskie. Oto kilka przykładów, jak data science jest "stosowane" w rzeczywistych aplikacjach w przemyśle:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) wykorzystało data science do korelacji wyszukiwanych haseł z trendami grypy. Choć podejście miało swoje wady, zwróciło uwagę na możliwości (i wyzwania) związane z prognozowaniem zdrowotnym opartym na danych.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) wykorzystało data science do korelacji wyszukiwanych haseł z trendami grypy. Choć podejście miało swoje wady, zwróciło uwagę na możliwości (i wyzwania) związane z predykcjami zdrowotnymi opartymi na danych.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - opisuje, jak UPS wykorzystuje data science i uczenie maszynowe do przewidywania optymalnych tras dostaw, uwzględniając warunki pogodowe, wzorce ruchu, terminy dostaw i inne czynniki.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - dane zebrane dzięki [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) pomogły zwizualizować dzień z życia nowojorskich taksówek, pokazując, jak poruszają się po zatłoczonym mieście, ile zarabiają i jak długo trwają ich kursy w ciągu 24 godzin.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - wykorzystuje dane (o miejscach odbioru i wysiadania, czasie trwania podróży, preferowanych trasach itp.) zebrane z milionów codziennych przejazdów Ubera do budowy narzędzia analitycznego wspierającego wyceny, bezpieczeństwo, wykrywanie oszustw i decyzje nawigacyjne.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - wykorzystuje dane (o miejscach odbioru i wysiadania, czasie trwania podróży, preferowanych trasach itp.) zbierane codziennie z milionów przejazdów Ubera do budowy narzędzia analitycznego wspierającego wyceny, bezpieczeństwo, wykrywanie oszustw i decyzje nawigacyjne.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - koncentruje się na _analizie predykcyjnej_ (analiza drużyn i zawodników - np. [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - oraz zarządzanie fanami) i _wizualizacji danych_ (dashboardy drużyn i fanów, gry itp.) z zastosowaniami takimi jak scouting talentów, zakłady sportowe i zarządzanie obiektami/wydarzeniami.
* [Analiza Sportowa](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - koncentruje się na _analizie predykcyjnej_ (analiza drużyn i zawodników - np. [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - oraz zarządzanie fanami) i _wizualizacji danych_ (pulpity drużyn i fanów, gry itp.) z zastosowaniami takimi jak scouting talentów, zakłady sportowe i zarządzanie obiektami/wydarzeniami.
* [Data Science w Bankowości](https://data-flair.training/blogs/data-science-in-banking/) - podkreśla wartość data science w branży finansowej, z zastosowaniami od modelowania ryzyka i wykrywania oszustw, po segmentację klientów, prognozowanie w czasie rzeczywistym i systemy rekomendacji. Analiza predykcyjna napędza również kluczowe wskaźniki, takie jak [oceny kredytowe](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science w Bankowości](https://data-flair.training/blogs/data-science-in-banking/) - podkreśla wartość data science w branży finansowej, z zastosowaniami od modelowania ryzyka i wykrywania oszustw, po segmentację klientów, predykcję w czasie rzeczywistym i systemy rekomendacyjne. Analiza predykcyjna napędza również kluczowe wskaźniki, takie jak [oceny kredytowe](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science w Ochronie Zdrowia](https://data-flair.training/blogs/data-science-in-healthcare/) - podkreśla zastosowania takie jak obrazowanie medyczne (np. MRI, RTG, tomografia komputerowa), genomika (sekwencjonowanie DNA), rozwój leków (ocena ryzyka, prognozowanie sukcesu), analiza predykcyjna (opieka nad pacjentem i logistyka dostaw), śledzenie i zapobieganie chorobom itp.
* [Data Science w Ochronie Zdrowia](https://data-flair.training/blogs/data-science-in-healthcare/) - podkreśla zastosowania takie jak obrazowanie medyczne (np. MRI, RTG, tomografia komputerowa), genomika (sekwencjonowanie DNA), rozwój leków (ocena ryzyka, przewidywanie sukcesu), analiza predykcyjna (opieka nad pacjentem i logistyka dostaw), śledzenie i zapobieganie chorobom itp.
 Źródło obrazu: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Źródło obrazu: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Grafika pokazuje inne dziedziny i przykłady zastosowania technik data science. Chcesz odkryć inne zastosowania? Sprawdź sekcję [Przegląd i Samodzielna Nauka](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) poniżej.
Rysunek pokazuje inne dziedziny i przykłady zastosowania technik data science. Chcesz odkryć inne zastosowania? Sprawdź sekcję [Przegląd i Samodzielna Nauka](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) poniżej.
## Data Science + Badania
|  ](../../sketchnotes/20-DataScience-Research.png) |
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Data Science i Badania - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science & Badania - _Sketchnote autorstwa [@nitya](https://twitter.com/nitya)_ |
Podczas gdy rzeczywiste zastosowania często koncentrują się na przypadkach użycia w przemyśle na dużą skalę, zastosowania i projekty badawcze mogą być przydatne z dwóch perspektyw:
Podczas gdy rzeczywiste zastosowania często koncentrują się na przypadkach użycia w przemyśle na dużą skalę, zastosowania i projekty badawcze mogą być użyteczne z dwóch perspektyw:
* _możliwości innowacji_ - eksploracja szybkiego prototypowania zaawansowanych koncepcji i testowanie doświadczeń użytkowników dla aplikacji nowej generacji.
* _możliwości innowacji_ - eksploracja szybkiego prototypowania zaawansowanych koncepcji i testowanie doświadczeń użytkowników dla aplikacji przyszłości.
* _wyzwania wdrożeniowe_ - badanie potencjalnych szkód lub niezamierzonych konsekwencji technologii data science w rzeczywistych kontekstach.
Dla studentów projekty badawcze mogą dostarczyć zarówno możliwości nauki, jak i współpracy, które poprawią zrozumienie tematu oraz poszerzą świadomość i zaangażowanie w pracę z odpowiednimi ludźmi lub zespołami działającymi w obszarach zainteresowań. Jak więc wyglądają projekty badawcze i jaki mogą mieć wpływ?
Dla studentów projekty badawcze mogą dostarczyć zarówno możliwości nauki, jak i współpracy, które poprawią zrozumienie tematu oraz poszerzą świadomość i zaangażowanie w pracę z odpowiednimi ludźmi lub zespołami w obszarach zainteresowań. Jak więc wyglądają projekty badawcze i jaki mogą mieć wpływ?
Przyjrzyjmy się jednemu przykładowi - [MIT Gender Shades Study](http://gendershades.org/overview.html) autorstwa Joy Buolamwini (MIT Media Labs) z [kluczowym artykułem badawczym](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) współautorstwa Timnit Gebru (wówczas w Microsoft Research), który koncentrował się na:
* **Co:** Celem projektu badawczego była _ocena uprzedzeń obecnych w algorytmach i zbiorach danych do analizy twarzy_ w zależności od płci i koloru skóry.
* **Co:** Celem projektu badawczego była _ocena uprzedzeń obecnych w algorytmach i zbiorach danych do analizy twarzy_ w oparciu o płeć i typ skóry.
* **Dlaczego:** Analiza twarzy jest wykorzystywana w takich obszarach jak egzekwowanie prawa, bezpieczeństwo na lotniskach, systemy rekrutacyjne i inne - konteksty, w których błędne klasyfikacje (np. z powodu uprzedzeń) mogą powodować potencjalne szkody ekonomiczne i społeczne dla dotkniętych osób lub grup. Zrozumienie (i eliminacja lub łagodzenie) uprzedzeń jest kluczowe dla sprawiedliwego użytkowania.
* **Jak:** Badacze zauważyli, że istniejące benchmarki wykorzystywały głównie osoby o jaśniejszej karnacji, i stworzyli nowy zbiór danych (ponad 1000 obrazów), który był _bardziej zrównoważony_ pod względem płci i koloru skóry. Zbiór danych został użyty do oceny dokładności trzech produktów do klasyfikacji płci (od Microsoft, IBM i Face++).
* **Jak:** Badacze zauważyli, że istniejące benchmarki wykorzystywały głównie osoby o jaśniejszej karnacji, i stworzyli nowy zbiór danych (ponad 1000 obrazów), który był _bardziej zrównoważony_ pod względem płci i typu skóry. Zbiór danych został wykorzystany do oceny dokładności trzech produktów do klasyfikacji płci (od Microsoft, IBM i Face++).
Wyniki pokazały, że choć ogólna dokładność klasyfikacji była dobra, zauważono znaczną różnicę w wskaźnikach błędów między różnymi podgrupami - z **większym błędem w klasyfikacji płci** dla kobiet i osób o ciemniejszej karnacji, co wskazuje na obecność uprzedzeń.
Wyniki pokazały, że choć ogólna dokładność klasyfikacji była dobra, zauważono znaczną różnicę w wskaźnikach błędów między różnymi podgrupami - z **błędnym przypisaniem płci** częściej występującym u kobiet lub osób o ciemniejszej karnacji, co wskazuje na uprzedzenia.
**Kluczowe Wyniki:** Zwrócono uwagę na to, że data science potrzebuje bardziej _reprezentatywnych zbiorów danych_ (zrównoważonych podgrup) i bardziej _inkluzjiwnych zespołów_ (zróżnicowane tła), aby wcześniej rozpoznawać i eliminować lub łagodzić takie uprzedzenia w rozwiązaniach AI. Takie badania są również kluczowe dla organizacji w definiowaniu zasad i praktyk dotyczących_odpowiedzialnej AI_, aby poprawić sprawiedliwość w ich produktach i procesach AI.
**Kluczowe Wyniki:** Zwrócono uwagę na to, że data science potrzebuje bardziej _reprezentatywnych zbiorów danych_ (zrównoważone podgrupy) i bardziej _inkluzji w zespołach_ (różnorodne tła), aby wcześniej rozpoznawać i eliminować lub łagodzić takie uprzedzenia w rozwiązaniach AI. Takie badania są również kluczowe dla wielu organizacji w definiowaniu zasad i praktyk dla_odpowiedzialnej AI_, aby poprawić sprawiedliwość w ich produktach i procesach AI.
**Chcesz dowiedzieć się więcej o badaniach w Microsoft?**
@ -76,20 +76,20 @@ Wyniki pokazały, że choć ogólna dokładność klasyfikacji była dobra, zauw
## Data Science + Humanistyka
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Data Science i Humanistyka Cyfrowa - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science & Humanistyka Cyfrowa - _Sketchnote autorstwa [@nitya](https://twitter.com/nitya)_ |
Humanistyka Cyfrowa [została zdefiniowana](https://digitalhumanities.stanford.edu/about-dh-stanford) jako "zbiór praktyk i podejść łączących metody obliczeniowe z badaniami humanistycznymi". [Projekty Stanforda](https://digitalhumanities.stanford.edu/projects) takie jak _"rebooting history"_ i _"poetic thinking"_ ilustrują powiązanie między [Humanistyką Cyfrową a Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - podkreślając techniki takie jak analiza sieci, wizualizacja informacji, analiza przestrzenna i tekstowa, które mogą pomóc nam ponownie przeanalizować historyczne i literackie zbiory danych, aby uzyskać nowe wglądy i perspektywy.
*Chcesz odkryć i rozwinąć projekt w tej dziedzinie?*
*Chcesz zbadać i rozwinąć projekt w tej dziedzinie?*
Sprawdź ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - świetny przykład od [Jen Looper](https://twitter.com/jenlooper), który zadaje pytanie, jak możemy wykorzystać data science, aby ponownie przeanalizować znaną poezję i ocenić jej znaczenie oraz wkład autora w nowych kontekstach. Na przykład, _czy możemy przewidzieć porę roku, w której wiersz został napisany, analizując jego ton lub nastrój_ - i co to mówi nam o stanie umysłu autora w danym okresie?
Sprawdź ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - świetny przykład od [Jen Looper](https://twitter.com/jenlooper), który pyta, jak możemy wykorzystać data science, aby ponownie przeanalizować znaną poezję i zrewidować jej znaczenie oraz wkład autora w nowych kontekstach. Na przykład, _czy możemy przewidzieć porę roku, w której wiersz został napisany, analizując jego ton lub nastrój_ - i co to mówi nam o stanie umysłu autora w danym okresie?
Aby odpowiedzieć na to pytanie, podążamy za krokami cyklu życia data science:
* [`Pozyskiwanie Danych`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - aby zebrać odpowiedni zbiór danych do analizy. Opcje obejmują korzystanie z API (np. [Poetry DB API](https://poetrydb.org/index.html)) lub skrobanie stron internetowych (np. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) za pomocą narzędzi takich jak [Scrapy](https://scrapy.org/).
* [`Czyszczenie Danych`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - wyjaśnia, jak tekst może być formatowany, oczyszczany i upraszczany za pomocą podstawowych narzędzi, takich jak Visual Studio Code i Microsoft Excel.
* [`Analiza Danych`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - wyjaśnia, jak możemy teraz zaimportować zbiór danych do "Notebooks" w celu analizy za pomocą pakietów Python (takich jak pandas, numpy i matplotlib) do organizowania i wizualizacji danych.
* [`Analiza Danych`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - wyjaśnia, jak możemy teraz zaimportować zbiór danych do "Notebooks" w celu analizy za pomocą pakietów Python (takich jak pandas, numpy i matplotlib) do organizacji i wizualizacji danych.
* [`Analiza Nastroju`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - wyjaśnia, jak możemy zintegrować usługi chmurowe, takie jak Text Analytics, używając narzędzi niskokodowych, takich jak [Power Automate](https://flow.microsoft.com/en-us/) do automatyzacji przepływów pracy związanych z przetwarzaniem danych.
Korzystając z tego przepływu pracy, możemy zbadać sezonowe wpływy na nastrój wierszy i pomóc nam wyrobić własne perspektywy na temat autora. Wypróbuj to sam - a następnie rozbuduj notebook, aby zadać inne pytania lub zwizualizować dane w nowy sposób!
@ -98,21 +98,21 @@ Korzystając z tego przepływu pracy, możemy zbadać sezonowe wpływy na nastr
## Data Science + Zrównoważony Rozwój
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Data Science i Zrównoważony Rozwój - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| Data Science & Zrównoważony Rozwój - _Sketchnote autorstwa [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 na rzecz Zrównoważonego Rozwoju](https://sdgs.un.org/2030agenda) - przyjęta przez wszystkich członków ONZ w 2015 roku - identyfikuje 17 celów, w tym te, które koncentrują się na **ochronie planety** przed degradacją i skutkami zmian klimatycznych. Inicjatywa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) wspiera te cele, badając, w jaki sposób rozwiązania technologiczne mogą wspierać i budować bardziej zrównoważoną przyszłość, koncentrując się na [4 głównych celach](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - bycie neutralnym węglowo, dodatnim pod względem wody, bezodpadowym i bioróżnorodnym do 2030 roku.
[Agenda 2030 na rzecz Zrównoważonego Rozwoju](https://sdgs.un.org/2030agenda) - przyjęta przez wszystkich członków ONZ w 2015 roku - identyfikuje 17 celów, w tym te, które koncentrują się na **Ochronie Planety** przed degradacją i skutkami zmian klimatycznych. Inicjatywa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) wspiera te cele, badając, w jaki sposób rozwiązania technologiczne mogą wspierać i budować bardziej zrównoważoną przyszłość, koncentrując się na [4 celach](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - bycie neutralnym węglowo, dodatnim pod względem wody, bezodpadowym i bioróżnorodnym do 2030 roku.
Rozwiązywanie tych wyzwań w sposób skalowalny i terminowy wymaga myślenia w skali chmurowej - i dużych zbiorów danych. Inicjatywa [Planetary Computer](https://planetarycomputer.microsoft.com/) oferuje 4 komponenty, które pomagają data scientistom i programistom w tym wysiłku:
Rozwiązywanie tych wyzwań w sposób skalowalny i terminowy wymaga myślenia na skalę chmury - i dużych zbiorów danych. Inicjatywa [Planetary Computer](https://planetarycomputer.microsoft.com/) oferuje 4 komponenty, które pomagają data scientistom i deweloperom w tym wysiłku:
* [Katalog Danych](https://planetarycomputer.microsoft.com/catalog) - z petabajtami danych o systemach Ziemi (dostępnych za darmo i hostowanych na Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - umożliwiające użytkownikom wyszukiwanie odpowiednich danych w przestrzeni i czasie.
* [Katalog Danych](https://planetarycomputer.microsoft.com/catalog) - z petabajtami danych o systemach Ziemi (darmowe i hostowane na Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - aby pomóc użytkownikom w wyszukiwaniu odpowiednich danych w przestrzeni i czasie.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - zarządzane środowisko dla naukowców do przetwarzania ogromnych zbiorów danych geoprzestrzennych.
* [Aplikacje](https://planetarycomputer.microsoft.com/applications) - prezentujące przypadki użycia i narzędzia do uzyskiwania wglądu w zrównoważony rozwój.
* [Aplikacje](https://planetarycomputer.microsoft.com/applications) - prezentują przypadki użycia i narzędzia do uzyskiwania wglądu w zrównoważony rozwój.
**Projekt Planetary Computer jest obecnie w fazie podglądu (stan na wrzesień 2021)** - oto jak możesz zacząć przyczyniać się do rozwiązań na rzecz zrównoważonego rozwoju, korzystając z nauki o danych.
* [Poproś o dostęp](https://planetarycomputer.microsoft.com/account/request), aby rozpocząć eksplorację i nawiązać kontakt z innymi.
* [Poproś o dostęp](https://planetarycomputer.microsoft.com/account/request), aby rozpocząć eksplorację i nawiązać kontakt z innymi użytkownikami.
* [Przeglądaj dokumentację](https://planetarycomputer.microsoft.com/docs/overview/about), aby zrozumieć obsługiwane zestawy danych i interfejsy API.
* Odkrywaj aplikacje, takie jak [Monitorowanie Ekosystemów](https://analytics-lab.org/ecosystemmonitoring/), aby znaleźć inspirację do tworzenia własnych pomysłów na aplikacje.
@ -124,10 +124,10 @@ Rozmawialiśmy o rzeczywistych zastosowaniach w przemyśle i badaniach oraz przy
Oto kilka przykładów projektów studenckich z zakresu nauki o danych, które mogą Cię zainspirować.
* [Letnia Szkoła Nauki o Danych MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) z projektami na GitHubie [projects](https://github.com/msr-ds3), które eksplorują tematy takie jak:
* [Letnia Szkoła Nauki o Danych MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) z projektami na GitHubie [projects](https://github.com/msr-ds3), które eksplorują tematy takie jak:
- [Rasowe uprzedzenia w użyciu siły przez policję](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Niezawodność systemu metra w Nowym Jorku](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Cyfryzacja kultury materialnej: Badanie rozkładów społeczno-ekonomicznych w Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - projekt [Ornelli Altunyan](https://twitter.com/ornelladotcom) i zespołu z Claremont, wykorzystujący [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Cyfryzacja kultury materialnej: Badanie rozkładów społeczno-ekonomicznych w Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - projekt [Ornelli Altunyan](https://twitter.com/ornelladotcom) i zespołu z Claremont, wykorzystujący [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Wyzwanie
@ -140,10 +140,11 @@ Poszukaj artykułów, które polecają projekty z zakresu nauki o danych przyjaz
## Przegląd i samodzielna nauka
Chcesz poznać więcej przypadków użycia? Oto kilka odpowiednich artykułów:
* [17 zastosowań i przykładów nauki o danych](https://builtin.com/data-science/data-science-applications-examples) - lipiec 2021
* [11 zapierających dech w piersiach zastosowań nauki o danych w rzeczywistości](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [Nauka o danych w rzeczywistym świecie](https://towardsdatascience.com/data-science-in-the-real-world/home) - kolekcja artykułów
* Nauka o danych w: [Edukacji](https://data-flair.training/blogs/data-science-in-education/), [Rolnictwie](https://data-flair.training/blogs/data-science-in-agriculture/), [Finansach](https://data-flair.training/blogs/data-science-in-finance/), [Filmach](https://data-flair.training/blogs/data-science-at-movies/) i innych.
* [17 zastosowań i przykładów nauki o danych](https://builtin.com/data-science/data-science-applications-examples) - lipiec 2021
* [11 zapierających dech w piersiach zastosowań nauki o danych w rzeczywistym świecie](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [Nauka o danych w rzeczywistym świecie](https://towardsdatascience.com/data-science-in-the-real-world/home) - kolekcja artykułów
* [12 rzeczywistych zastosowań nauki o danych z przykładami](https://www.scaler.com/blog/data-science-applications/) - maj 2024
* Nauka o danych w: [Edukacji](https://data-flair.training/blogs/data-science-in-education/), [Rolnictwie](https://data-flair.training/blogs/data-science-in-agriculture/), [Finansach](https://data-flair.training/blogs/data-science-in-finance/), [Filmach](https://data-flair.training/blogs/data-science-at-movies/), [Opiece zdrowotnej](https://onlinedegrees.sandiego.edu/data-science-health-care/) i innych.
## Zadanie
@ -152,4 +153,4 @@ Chcesz poznać więcej przypadków użycia? Oto kilka odpowiednich artykułów:
---
**Zastrzeżenie**:
Ten dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Chociaż dokładamy wszelkich starań, aby tłumaczenie było precyzyjne, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego języku źródłowym powinien być uznawany za autorytatywne źródło. W przypadku informacji o kluczowym znaczeniu zaleca się skorzystanie z profesjonalnego tłumaczenia przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.
Ten dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Chociaż dokładamy wszelkich starań, aby tłumaczenie było precyzyjne, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego rodzimym języku powinien być uznawany za źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zaleca się skorzystanie z profesjonalnego tłumaczenia przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.
@ -37,11 +37,11 @@ Graças à democratização da IA, os desenvolvedores estão a encontrar formas
* [Análise Desportiva](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - foca-se em _análise preditiva_ (análise de equipas e jogadores - pensa em [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - e gestão de fãs) e _visualização de dados_ (dashboards de equipas e fãs, jogos, etc.) com aplicações como recrutamento de talentos, apostas desportivas e gestão de inventário/locais.
* [Ciência de Dados na Banca](https://data-flair.training/blogs/data-science-in-banking/) - destaca o valor da ciência de dados na indústria financeira com aplicações que vão desde modelagem de risco e deteção de fraudes, até segmentação de clientes, previsão em tempo real e sistemas de recomendação. A análise preditiva também impulsiona medidas críticas como [scores de crédito](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Ciência de Dados na Banca](https://data-flair.training/blogs/data-science-in-banking/) - destaca o valor da ciência de dados na indústria financeira com aplicações que vão desde modelagem de risco e deteção de fraudes, até segmentação de clientes, previsão em tempo real e sistemas de recomendação. A análise preditiva também impulsiona medidas críticas como [pontuações de crédito](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Ciência de Dados na Saúde](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicações como imagiologia médica (e.g., ressonância magnética, raio-X, tomografia), genómica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados ao paciente e logística de fornecimento), rastreamento e prevenção de doenças, entre outros.
* [Ciência de Dados na Saúde](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicações como imagiologia médica (e.g., ressonância magnética, raio-X, tomografia), genómica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados ao paciente e logística de fornecimento), rastreamento e prevenção de doenças, etc.
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
A figura mostra outros domínios e exemplos de aplicação de técnicas de ciência de dados. Queres explorar outras aplicações? Consulta a secção [Revisão e Autoestudo](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) abaixo.
@ -51,26 +51,26 @@ A figura mostra outros domínios e exemplos de aplicação de técnicas de ciên
| Ciência de Dados & Investigação - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Embora as aplicações do mundo real frequentemente se concentrem em casos de uso na indústria em grande escala, as aplicações e projetos de _investigação_ podem ser úteis de duas perspetivas:
Embora as aplicações do mundo real frequentemente se concentrem em casos de uso na indústria em larga escala, as aplicações e projetos de _investigação_ podem ser úteis de duas perspetivas:
* _oportunidades de inovação_ - explorar protótipos rápidos de conceitos avançados e testar experiências de utilizadores para aplicações de próxima geração.
* _desafios de implementação_ - investigar possíveis danos ou consequências não intencionais das tecnologias de ciência de dados em contextos reais.
Para os estudantes, estes projetos de investigação podem proporcionar tanto oportunidades de aprendizagem como de colaboração, melhorando a compreensão do tema e ampliando a consciência e o envolvimento com pessoas ou equipas relevantes que trabalham em áreas de interesse. Então, como são os projetos de investigação e como podem ter impacto?
Para estudantes, estes projetos de investigação podem proporcionar oportunidades de aprendizagem e colaboração que melhoram a compreensão do tema e ampliam a consciência e o envolvimento com pessoas ou equipas relevantes que trabalham em áreas de interesse. Então, como são os projetos de investigação e como podem ter impacto?
Vamos analisar um exemplo - o [MIT Gender Shades Study](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) com um [artigo de investigação de referência](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) coautorado com Timnit Gebru (então na Microsoft Research) que se focou em:
* **O quê:** O objetivo do projeto de investigação era _avaliar o viés presente em algoritmos e conjuntos de dados de análise facial automatizada_ com base no género e tipo de pele.
* **Porquê:** A análise facial é usada em áreas como aplicação da lei, segurança em aeroportos, sistemas de contratação e mais - contextos onde classificações imprecisas (e.g., devido a viés) podem causar danos económicos e sociais a indivíduos ou grupos afetados. Compreender (e eliminar ou mitigar) os vieses é essencial para a equidade no uso.
* **Como:** Os investigadores reconheceram que os benchmarks existentes utilizavam predominantemente sujeitos de pele mais clara e criaram um novo conjunto de dados (mais de 1000 imagens) que era _mais equilibrado_ em termos de género e tipo de pele. O conjunto de dados foi usado para avaliar a precisão de três produtos de classificação de género (da Microsoft, IBM e Face++).
* **Porquê:** A análise facial é usada em áreas como aplicação da lei, segurança em aeroportos, sistemas de contratação e mais - contextos onde classificações imprecisas (e.g., devido a viés) podem causar potenciais danos económicos e sociais a indivíduos ou grupos afetados. Compreender (e eliminar ou mitigar) os vieses é essencial para a equidade no uso.
* **Como:** Os investigadores reconheceram que os benchmarks existentes utilizavam predominantemente sujeitos de pele mais clara e criaram um novo conjunto de dados (1000+ imagens) que era _mais equilibrado_ em termos de género e tipo de pele. O conjunto de dados foi usado para avaliar a precisão de três produtos de classificação de género (da Microsoft, IBM e Face++).
Os resultados mostraram que, embora a precisão geral da classificação fosse boa, havia uma diferença notável nas taxas de erro entre vários subgrupos - com **erros de classificação de género** sendo mais elevados para mulheres ou pessoas com pele mais escura, indicativo de viés.
Os resultados mostraram que, embora a precisão geral da classificação fosse boa, havia uma diferença notável nas taxas de erro entre vários subgrupos - com **erros de classificação de género** sendo mais altos para mulheres ou pessoas com pele mais escura, indicativo de viés.
**Principais Resultados:** Destacou a necessidade de conjuntos de dados mais _representativos_ (subgrupos equilibrados) e equipas mais _inclusivas_ (diversidade de origens) para reconhecer e eliminar ou mitigar esses vieses mais cedo nas soluções de IA. Esforços de investigação como este também são fundamentais para muitas organizações definirem princípios e práticas para _IA responsável_visando melhorar a equidade nos seus produtos e processos de IA.
**Principais Resultados:** Destacou a necessidade de conjuntos de dados mais _representativos_ (subgrupos equilibrados) e equipas mais _inclusivas_ (diversidade de origens) para reconhecer e eliminar ou mitigar esses vieses mais cedo em soluções de IA. Esforços de investigação como este também são fundamentais para muitas organizações definirem princípios e práticas para _IA responsável_para melhorar a equidade nos seus produtos e processos de IA.
**Queres saber mais sobre esforços de investigação relevantes na Microsoft?**
**Queres saber mais sobre esforços de investigação relevantes na Microsoft?**
* Consulta os [Projetos de Investigação da Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) em Inteligência Artificial.
* Consulta [Projetos de Investigação da Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) em Inteligência Artificial.
* Explora projetos de estudantes da [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Consulta o projeto [Fairlearn](https://fairlearn.org/) e as iniciativas de [IA Responsável](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
@ -80,7 +80,7 @@ Os resultados mostraram que, embora a precisão geral da classificação fosse b
| Ciência de Dados & Humanidades Digitais - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
Humanidades Digitais [são definidas](https://digitalhumanities.stanford.edu/about-dh-stanford) como "uma coleção de práticas e abordagens que combinam métodos computacionais com investigação humanística". Projetos da [Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ e _"poetic thinking"_ ilustram a ligação entre [Humanidades Digitais e Ciência de Dados](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizando técnicas como análise de redes, visualização de informação, análise espacial e textual que podem ajudar-nos a revisitar conjuntos de dados históricos e literários para obter novos insights e perspetivas.
Humanidades Digitais [foram definidas](https://digitalhumanities.stanford.edu/about-dh-stanford) como "uma coleção de práticas e abordagens que combinam métodos computacionais com investigação humanística". Projetos da [Stanford](https://digitalhumanities.stanford.edu/projects) como _"rebooting history"_ e _"poetic thinking"_ ilustram a ligação entre [Humanidades Digitais e Ciência de Dados](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - enfatizando técnicas como análise de redes, visualização de informação, análise espacial e textual que podem ajudar-nos a revisitar conjuntos de dados históricos e literários para obter novos insights e perspetivas.
*Queres explorar e expandir um projeto nesta área?*
@ -104,34 +104,34 @@ Usando este fluxo de trabalho, podemos explorar os impactos sazonais no sentimen
A [Agenda 2030 para o Desenvolvimento Sustentável](https://sdgs.un.org/2030agenda) - adotada por todos os membros das Nações Unidas em 2015 - identifica 17 objetivos, incluindo aqueles que se concentram em **Proteger o Planeta** da degradação e do impacto das mudanças climáticas. A iniciativa [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) apoia esses objetivos ao explorar formas de como soluções tecnológicas podem ajudar a construir futuros mais sustentáveis com um [foco em 4 metas](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - ser carbono negativo, positivo em água, zero desperdício e biodiverso até 2030.
Abordar esses desafios de forma escalável e oportuna requer pensamento em escala de nuvem - e dados em grande escala. A iniciativa [Planetary Computer](https://planetarycomputer.microsoft.com/) fornece 4 componentes para ajudar cientistas de dados e desenvolvedores nesse esforço:
Enfrentar esses desafios de forma escalável e oportuna requer pensamento em escala de nuvem - e dados em grande escala. A iniciativa [Planetary Computer](https://planetarycomputer.microsoft.com/) fornece 4 componentes para ajudar cientistas de dados e desenvolvedores neste esforço:
* [Catálogo de Dados](https://planetarycomputer.microsoft.com/catalog) - com petabytes de dados de sistemas terrestres (gratuitos e hospedados no Azure).
* [API Planetária](https://planetarycomputer.microsoft.com/docs/reference/stac/) - para ajudar os utilizadores a procurar dados relevantes no espaço e no tempo.
* [API Planetária](https://planetarycomputer.microsoft.com/docs/reference/stac/) - para ajudar os utilizadores a pesquisar dados relevantes no espaço e no tempo.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - ambiente gerido para cientistas processarem conjuntos de dados geoespaciais massivos.
* [Aplicações](https://planetarycomputer.microsoft.com/applications) - mostram casos de uso e ferramentas para insights de sustentabilidade.
**O Projeto Planetary Computer está atualmente em fase de pré-visualização (a partir de setembro de 2021)** - aqui está como pode começar a contribuir para soluções de sustentabilidade utilizando ciência de dados.
**O Projeto Planetary Computer está atualmente em fase de pré-visualização (a partir de setembro de 2021)** - veja como pode começar a contribuir para soluções de sustentabilidade utilizando ciência de dados.
* [Solicite acesso](https://planetarycomputer.microsoft.com/account/request) para iniciar a exploração e conectar-se com colegas.
* [Solicite acesso](https://planetarycomputer.microsoft.com/account/request) para iniciar a exploração e conectar-se com outros utilizadores.
* [Explore a documentação](https://planetarycomputer.microsoft.com/docs/overview/about) para compreender os conjuntos de dados e APIs suportados.
* Explore aplicações como [Monitorização de Ecossistemas](https://analytics-lab.org/ecosystemmonitoring/) para inspiração em ideias de aplicações.
Pense em como pode usar a visualização de dados para expor ou amplificar insights relevantes em áreas como alterações climáticas e desflorestação. Ou reflita sobre como esses insights podem ser utilizados para criar novas experiências de utilizador que motivem mudanças comportamentais para um estilo de vida mais sustentável.
Pense em como pode usar visualização de dados para expor ou amplificar insights relevantes em áreas como alterações climáticas e desflorestação. Ou reflita sobre como esses insights podem ser utilizados para criar novas experiências de utilizador que motivem mudanças comportamentais para um estilo de vida mais sustentável.
## Ciência de Dados + Estudantes
Já falámos sobre aplicações reais na indústria e na investigação, e explorámos exemplos de aplicações de ciência de dados nas humanidades digitais e na sustentabilidade. Então, como pode desenvolver as suas competências e partilhar a sua experiência como principiante em ciência de dados?
Falámos sobre aplicações reais na indústria e na investigação, e explorámos exemplos de aplicações de ciência de dados nas humanidades digitais e na sustentabilidade. Então, como pode desenvolver as suas competências e partilhar a sua experiência como principiante em ciência de dados?
Aqui estão alguns exemplos de projetos de estudantes em ciência de dados para inspirá-lo.
* [Escola de Verão de Ciência de Dados da MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) com [projetos](https://github.com/msr-ds3) no GitHub que exploram tópicos como:
- [Viés racial no uso da força pela polícia](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilidade do sistema de metro de Nova Iorque](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
- [Preconceito Racial no Uso da Força pela Polícia](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilidade do Sistema de Metro de Nova Iorque](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalização da Cultura Material: Explorando distribuições socioeconómicas em Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de [Ornella Altunyan](https://twitter.com/ornelladotcom) e equipa em Claremont, utilizando [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Desafio
Procure artigos que recomendem projetos de ciência de dados adequados para principiantes - como [estas 50 áreas temáticas](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [estas 21 ideias de projetos](https://www.intellspot.com/data-science-project-ideas) ou [estes 16 projetos com código fonte](https://data-flair.training/blogs/data-science-project-ideas/) que pode desconstruir e remixar. E não se esqueça de escrever no seu blog sobre as suas jornadas de aprendizagem e partilhar os seus insights connosco.
Procure artigos que recomendem projetos de ciência de dados adequados para principiantes - como [estas 50 áreas temáticas](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [estas 21 ideias de projetos](https://www.intellspot.com/data-science-project-ideas) ou [estes 16 projetos com código fonte](https://data-flair.training/blogs/data-science-project-ideas/) que pode desconstruir e adaptar. E não se esqueça de escrever sobre as suas jornadas de aprendizagem e partilhar os seus insights connosco.
## Questionário Pós-Aula
@ -143,7 +143,8 @@ Quer explorar mais casos de uso? Aqui estão alguns artigos relevantes:
* [17 Aplicações e Exemplos de Ciência de Dados](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [11 Aplicações Impressionantes de Ciência de Dados no Mundo Real](https://myblindbird.com/data-science-applications-real-world/) - Mai 2021
* [Ciência de Dados no Mundo Real](https://towardsdatascience.com/data-science-in-the-real-world/home) - Coleção de Artigos
* Ciência de Dados em: [Educação](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanças](https://data-flair.training/blogs/data-science-in-finance/), [Filmes](https://data-flair.training/blogs/data-science-at-movies/) e mais.
* [12 Aplicações de Ciência de Dados no Mundo Real com Exemplos](https://www.scaler.com/blog/data-science-applications/) - Mai 2024
* Ciência de Dados em: [Educação](https://data-flair.training/blogs/data-science-in-education/), [Agricultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Finanças](https://data-flair.training/blogs/data-science-in-finance/), [Filmes](https://data-flair.training/blogs/data-science-at-movies/), [Cuidados de Saúde](https://onlinedegrees.sandiego.edu/data-science-health-care/) e mais.
## Tarefa
@ -152,4 +153,4 @@ Quer explorar mais casos de uso? Aqui estão alguns artigos relevantes:
---
**Aviso Legal**:
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original no seu idioma nativo deve ser considerado a fonte oficial. Para informações críticas, recomenda-se uma tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte oficial. Para informações críticas, recomenda-se uma tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.
Suntem aproape de finalul acestei călătorii de învățare!
Am început cu definiții ale științei datelor și eticii, am explorat diverse instrumente și tehnici pentru analiza și vizualizarea datelor, am revizuit ciclul de viață al științei datelor și am analizat scalarea și automatizarea fluxurilor de lucru ale științei datelor cu servicii de cloud computing. Așadar, probabil te întrebi: _"Cum pot aplica toate aceste cunoștințe în contexte reale?"_
Am început cu definiții ale științei datelor și eticii, am explorat diverse instrumente și tehnici pentru analiza și vizualizarea datelor, am revizuit ciclul de viață al științei datelor și am analizat scalarea și automatizarea fluxurilor de lucru ale științei datelor cu servicii de cloud computing. Așadar, probabil te întrebi: _"Cum pot să aplic toate aceste cunoștințe în contexte reale?"_
În această lecție, vom explora aplicațiile reale ale științei datelor în industrie și vom analiza exemple specifice în cercetare, umanistică digitală și sustenabilitate. Vom discuta despre oportunități de proiecte pentru studenți și vom încheia cu resurse utile pentru a-ți continua călătoria de învățare!
@ -25,25 +25,25 @@ Am început cu definiții ale științei datelor și eticii, am explorat diverse
## Știința Datelor + Industrie
Datorită democratizării AI, dezvoltatorii găsesc acum mai ușor să proiecteze și să integreze decizii bazate pe AI și informații bazate pe date în experiențele utilizatorilor și fluxurile de lucru de dezvoltare. Iată câteva exemple despre cum este "aplicată" știința datelor în aplicații reale din industrie:
Datorită democratizării AI, dezvoltatorii găsesc acum mai ușor să proiecteze și să integreze decizii bazate pe AI și perspective bazate pe date în experiențele utilizatorilor și fluxurile de lucru de dezvoltare. Iată câteva exemple despre cum știința datelor este "aplicată" în aplicații reale din industrie:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) a utilizat știința datelor pentru a corela termenii de căutare cu tendințele gripei. Deși abordarea a avut defecte, a atras atenția asupra posibilităților (și provocărilor) predicțiilor bazate pe date în domeniul sănătății.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) a utilizat știința datelor pentru a corela termenii de căutare cu tendințele gripei. Deși abordarea a avut defecte, a crescut conștientizarea posibilităților (și provocărilor) predicțiilor bazate pe date în domeniul sănătății.
* [Predicții de rutare UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explică modul în care UPS folosește știința datelor și învățarea automată pentru a prezice rute optime de livrare, ținând cont de condițiile meteo, traficul, termenele de livrare și altele.
* [Predicțiile de rutare UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - explică modul în care UPS folosește știința datelor și învățarea automată pentru a prezice rute optime de livrare, luând în considerare condițiile meteorologice, traficul, termenele de livrare și altele.
* [Vizualizarea rutelor taxiurilor din NYC](http://chriswhong.github.io/nyctaxi/) - datele obținute prin [Legile Libertății de Informare](https://chriswhong.com/open-data/foil_nyc_taxi/) au ajutat la vizualizarea unei zile din viața taxiurilor din NYC, ajutându-ne să înțelegem cum navighează prin orașul aglomerat, câți bani câștigă și durata călătoriilor pe parcursul fiecărei perioade de 24 de ore.
* [Vizualizarea rutelor taxiurilor din NYC](http://chriswhong.github.io/nyctaxi/) - datele colectate folosind [Legile Libertății de Informare](https://chriswhong.com/open-data/foil_nyc_taxi/) au ajutat la vizualizarea unei zile din viața taxiurilor din NYC, ajutându-ne să înțelegem cum navighează prin orașul aglomerat, câți bani câștigă și durata călătoriilor pe parcursul fiecărei perioade de 24 de ore.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - folosește date (despre locațiile de preluare și predare, durata călătoriilor, rutele preferate etc.) colectate din milioane de călătorii Uber *zilnic* pentru a construi un instrument de analiză a datelor care ajută la stabilirea prețurilor, siguranță, detectarea fraudei și decizii de navigare.
* [Analiza sportivă](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - se concentrează pe _analiza predictivă_ (analiza echipelor și jucătorilor - gândiți-vă la [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - și gestionarea fanilor) și _vizualizarea datelor_ (tablouri de bord pentru echipe și fani, jocuri etc.) cu aplicații precum scouting-ul de talente, pariurile sportive și gestionarea inventarului/locațiilor.
* [Analitica sportivă](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - se concentrează pe _analitica predictivă_ (analiza echipelor și jucătorilor - gândește-te la [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - și gestionarea fanilor) și _vizualizarea datelor_ (tablouri de bord pentru echipe și fani, jocuri etc.) cu aplicații precum recrutarea de talente, pariurile sportive și gestionarea inventarului/locațiilor.
* [Știința datelor în sectorul bancar](https://data-flair.training/blogs/data-science-in-banking/) - evidențiază valoarea științei datelor în industria financiară, cu aplicații variind de la modelarea riscurilor și detectarea fraudei, la segmentarea clienților, predicții în timp real și sisteme de recomandare. Analiza predictivă susține, de asemenea, măsuri critice precum [scorurile de credit](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Știința datelor în sectorul bancar](https://data-flair.training/blogs/data-science-in-banking/) - evidențiază valoarea științei datelor în industria financiară, cu aplicații variind de la modelarea riscurilor și detectarea fraudei, la segmentarea clienților, predicții în timp real și sisteme de recomandare. Analitica predictivă susține, de asemenea, măsuri critice precum [scorurile de credit](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Știința datelor în sănătate](https://data-flair.training/blogs/data-science-in-healthcare/) - evidențiază aplicații precum imagistica medicală (de exemplu, RMN, radiografie, tomografie), genomica (secvențiere ADN), dezvoltarea medicamentelor (evaluarea riscurilor, predicția succesului), analiza predictivă (îngrijirea pacienților și logistica aprovizionării), urmărirea și prevenirea bolilor etc.
* [Știința datelor în sănătate](https://data-flair.training/blogs/data-science-in-healthcare/) - evidențiază aplicații precum imagistica medicală (de exemplu, RMN, radiografie, tomografie), genomica (secvențierea ADN-ului), dezvoltarea medicamentelor (evaluarea riscurilor, predicția succesului), analitica predictivă (îngrijirea pacienților și logistica aprovizionării), urmărirea și prevenirea bolilor etc.
 Credit imagine: [Data Flair: 6 Aplicații Uimitoare ale Științei Datelor ](https://data-flair.training/blogs/data-science-applications/)
 Credit imagine: [Data Flair: 6 Aplicații Uimitoare ale Științei Datelor ](https://data-flair.training/blogs/data-science-applications/)
Figura arată alte domenii și exemple de aplicare a tehnicilor de știință a datelor. Vrei să explorezi alte aplicații? Verifică secțiunea [Revizuire & Studiu Individual](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) de mai jos.
Figura arată alte domenii și exemple de aplicare a tehnicilor de știința datelor. Vrei să explorezi alte aplicații? Consultă secțiunea [Revizuire & Studiu Individual](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) de mai jos.
## Știința Datelor + Cercetare
@ -53,26 +53,26 @@ Figura arată alte domenii și exemple de aplicare a tehnicilor de știință a
Deși aplicațiile reale se concentrează adesea pe cazuri de utilizare industriale la scară, aplicațiile și proiectele de _cercetare_ pot fi utile din două perspective:
* _oportunități de inovație_ - explorarea prototipării rapide a conceptelor avansate și testarea experiențelor utilizatorilor pentru aplicații de generație următoare.
* _provocări de implementare_ - investigarea potențialelor daune sau consecințe neintenționate ale tehnologiilor de știință a datelor în contexte reale.
* _oportunități de inovare_ - explorarea prototipării rapide a conceptelor avansate și testarea experiențelor utilizatorilor pentru aplicații de generație următoare.
* _provocări de implementare_ - investigarea potențialelor daune sau consecințe neintenționate ale tehnologiilor de știința datelor în contexte reale.
Pentru studenți, aceste proiecte de cercetare pot oferi atât oportunități de învățare, cât și de colaborare, care pot îmbunătăți înțelegerea subiectului și pot extinde conștientizarea și implicarea cu persoane sau echipe relevante care lucrează în domenii de interes. Deci, cum arată proiectele de cercetare și cum pot avea un impact?
Pentru studenți, aceste proiecte de cercetare pot oferi atât oportunități de învățare, cât și de colaborare, care pot îmbunătăți înțelegerea subiectului și pot extinde conștientizarea și implicarea cu persoane sau echipe relevante care lucrează în domenii de interes. Cum arată proiectele de cercetare și cum pot avea impact?
Să analizăm un exemplu - [MIT Gender Shades Study](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) cu un [articol de cercetare semnificativ](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) co-autor cu Timnit Gebru (pe atunci la Microsoft Research) care s-a concentrat pe:
Să analizăm un exemplu - [MIT Gender Shades Study](http://gendershades.org/overview.html) de Joy Buolamwini (MIT Media Labs) cu un [articol de cercetare semnătură](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) co-autor cu Timnit Gebru (pe atunci la Microsoft Research) care s-a concentrat pe:
* **Ce:** Obiectivul proiectului de cercetare a fost să _evalueze prejudecățile prezente în algoritmii și seturile de date de analiză facială automată_ bazate pe gen și tipul de piele.
* **De ce:** Analiza facială este utilizată în domenii precum aplicarea legii, securitatea aeroporturilor, sistemele de angajare și altele - contexte în care clasificările inexacte (de exemplu, din cauza prejudecăților) pot provoca daune economice și sociale potențiale persoanelor sau grupurilor afectate. Înțelegerea (și eliminarea sau atenuarea) prejudecăților este esențială pentru echitate în utilizare.
* **Ce:** Obiectivul proiectului de cercetare a fost să _evalueze prejudecățile prezente în algoritmii și seturile de date de analiză facială automatizată_ bazate pe gen și tipul de piele.
* **De ce:** Analiza facială este utilizată în domenii precum aplicarea legii, securitatea aeroporturilor, sistemele de angajare și altele - contexte în care clasificările inexacte (de exemplu, din cauza prejudecăților) pot cauza daune economice și sociale potențiale indivizilor sau grupurilor afectate. Înțelegerea (și eliminarea sau atenuarea) prejudecăților este esențială pentru echitate în utilizare.
* **Cum:** Cercetătorii au recunoscut că reperele existente utilizau predominant subiecți cu piele mai deschisă și au creat un nou set de date (1000+ imagini) care era _mai echilibrat_ în funcție de gen și tipul de piele. Setul de date a fost utilizat pentru a evalua acuratețea a trei produse de clasificare a genului (de la Microsoft, IBM & Face++).
Rezultatele au arătat că, deși acuratețea generală a clasificării era bună, exista o diferență notabilă în ratele de eroare între diverse subgrupuri - cu **clasificări greșite** mai frecvente pentru femei sau persoane cu pielea mai închisă, indicând prejudecăți.
**Rezultate cheie:** A atras atenția asupra faptului că știința datelor are nevoie de seturi de date mai _reprezentative_ (subgrupuri echilibrate) și echipe mai _incluzive_ (diverse din punct de vedere al background-ului) pentru a recunoaște și elimina sau atenua astfel de prejudecăți mai devreme în soluțiile AI. Eforturile de cercetare precum acesta sunt, de asemenea, instrumentale în definirea principiilor și practicilor pentru _AI responsabil_ în multe organizații, pentru a îmbunătăți echitatea în produsele și procesele lor AI.
**Rezultate cheie:** A crescut conștientizarea că știința datelor are nevoie de _seturi de date mai reprezentative_ (subgrupuri echilibrate) și de _echipe mai incluzive_ (diverse din punct de vedere al background-ului) pentru a recunoaște și elimina sau atenua astfel de prejudecăți mai devreme în soluțiile AI. Eforturile de cercetare precum acesta sunt, de asemenea, instrumentale în definirea principiilor și practicilor pentru _AI responsabil_ în multe organizații, pentru a îmbunătăți echitatea produselor și proceselor AI.
**Vrei să afli despre eforturile de cercetare relevante la Microsoft?**
* Verifică [Proiectele de Cercetare Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) în domeniul Inteligenței Artificiale.
* Consultă [Proiectele de Cercetare Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) în Inteligența Artificială.
* Explorează proiectele studenților din [Școala de Vară Microsoft Research Data Science](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Verifică proiectul [Fairlearn](https://fairlearn.org/) și inițiativele [AI Responsabil](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Consultă proiectul [Fairlearn](https://fairlearn.org/) și inițiativele [AI Responsabil](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Știința Datelor + Umanistică
@ -84,12 +84,12 @@ Umanistica Digitală [a fost definită](https://digitalhumanities.stanford.edu/a
*Vrei să explorezi și să extinzi un proiect în acest domeniu?*
Verifică ["Emily Dickinson și Metrul Stării de Spirit"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un exemplu excelent de la [Jen Looper](https://twitter.com/jenlooper) care întreabă cum putem folosi știința datelor pentru a revizita poezia familiară și a reevalua semnificația acesteia și contribuțiile autorului în noi contexte. De exemplu, _putem prezice sezonul în care a fost scrisă o poezie analizând tonul sau sentimentul acesteia_ - și ce ne spune acest lucru despre starea de spirit a autorului în perioada respectivă?
Consultă ["Emily Dickinson și Metrul Stării de Spirit"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - un exemplu excelent de la [Jen Looper](https://twitter.com/jenlooper) care întreabă cum putem folosi știința datelor pentru a revizita poezia familiară și a reevalua semnificația acesteia și contribuțiile autorului în noi contexte. De exemplu, _putem prezice sezonul în care a fost scrisă o poezie analizând tonul sau sentimentul acesteia_ - și ce ne spune acest lucru despre starea de spirit a autorului în perioada respectivă?
Pentru a răspunde la această întrebare, urmăm pașii ciclului de viață al științei datelor:
* [`Achiziția Datelor`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - pentru a colecta un set de date relevant pentru analiză. Opțiunile includ utilizarea unui API (de exemplu, [Poetry DB API](https://poetrydb.org/index.html)) sau scraping-ul paginilor web (de exemplu, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) folosind instrumente precum [Scrapy](https://scrapy.org/).
* [`Achiziția Datelor`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - pentru a colecta un set de date relevant pentru analiză. Opțiunile includ utilizarea unui API (de exemplu, [Poetry DB API](https://poetrydb.org/index.html)) sau extragerea paginilor web (de exemplu, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) folosind instrumente precum [Scrapy](https://scrapy.org/).
* [`Curățarea Datelor`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - explică modul în care textul poate fi formatat, igienizat și simplificat folosind instrumente de bază precum Visual Studio Code și Microsoft Excel.
* [`Analiza Datelor`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - explică modul în care putem importa setul de date în "Notebooks" pentru analiză folosind pachete Python (precum pandas, numpy și matplotlib) pentru a organiza și vizualiza datele.
* [`Analiza Datelor`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - explică modul în care putem importa setul de date în "Notebooks" pentru analiză folosind pachete Python (precum pandas, numpy și matplotlib) pentru organizarea și vizualizarea datelor.
* [`Analiza Sentimentului`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - explică modul în care putem integra servicii cloud precum Text Analytics, folosind instrumente low-code precum [Power Automate](https://flow.microsoft.com/en-us/) pentru fluxuri de lucru automate de procesare a datelor.
Folosind acest flux de lucru, putem explora impactul sezonier asupra sentimentului poeziilor și ne putem forma propriile perspective asupra autorului. Încearcă-l singur - apoi extinde notebook-ul pentru a pune alte întrebări sau pentru a vizualiza datele în moduri noi!
@ -106,36 +106,36 @@ Folosind acest flux de lucru, putem explora impactul sezonier asupra sentimentul
Abordarea acestor provocări într-un mod scalabil și oportun necesită gândire la scară cloud - și date la scară largă. Inițiativa [Planetary Computer](https://planetarycomputer.microsoft.com/) oferă 4 componente pentru a ajuta oamenii de știință și dezvoltatorii în acest efort:
* [Catalog de Date](https://planetarycomputer.microsoft.com/catalog) - cu petabytes de date despre Sistemele Terestre (gratuit și găzduit pe Azure).
* [API Planetary](https://planetarycomputer.microsoft.com/docs/reference/stac/) - pentru a ajuta utilizatorii să caute date relevante în funcție de spațiu și timp.
* [Catalogul de Date](https://planetarycomputer.microsoft.com/catalog) - cu petabytes de date despre Sistemele Terestre (gratuit și găzduit pe Azure).
* [API-ul Planetary](https://planetarycomputer.microsoft.com/docs/reference/stac/) - pentru a ajuta utilizatorii să caute date relevante în funcție de spațiu și timp.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - mediu gestionat pentru oamenii de știință pentru a procesa seturi masive de date geospațiale.
* [Aplicații](https://planetarycomputer.microsoft.com/applications) - prezintă cazuri de utilizare și instrumente pentru perspective de sustenabilitate.
**Proiectul Planetary Computer este în faza de previzualizare (din septembrie 2021)** - iată cum poți începe să contribui la soluții de sustenabilitate folosind știința datelor.
**Proiectul Planetary Computer este în prezent în faza de previzualizare (din septembrie 2021)** - iată cum poți începe să contribui la soluții pentru sustenabilitate folosind știința datelor.
* [Solicită acces](https://planetarycomputer.microsoft.com/account/request) pentru a începe explorarea și a te conecta cu colegii.
* [Explorează documentația](https://planetarycomputer.microsoft.com/docs/overview/about) pentru a înțelege seturile de date și API-urile suportate.
* Explorează aplicații precum [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) pentru inspirație în dezvoltarea de idei de aplicații.
* Explorează aplicații precum [Monitorizarea Ecosistemelor](https://analytics-lab.org/ecosystemmonitoring/) pentru inspirație în dezvoltarea de idei de aplicații.
Gândește-te cum poți utiliza vizualizarea datelor pentru a expune sau amplifica perspective relevante în domenii precum schimbările climatice și defrișările. Sau gândește-te cum pot fi utilizate aceste perspective pentru a crea noi experiențe pentru utilizatori care să motiveze schimbări comportamentale pentru un stil de viață mai sustenabil.
Gândește-te cum poți utiliza vizualizarea datelor pentru a dezvălui sau amplifica perspective relevante în domenii precum schimbările climatice și defrișările. Sau gândește-te cum pot fi utilizate aceste perspective pentru a crea noi experiențe pentru utilizatori care să motiveze schimbări comportamentale pentru un stil de viață mai sustenabil.
## Știința Datelor + Studenți
Am discutat despre aplicații reale în industrie și cercetare și am explorat exemple de aplicații ale științei datelor în domeniul umanistic digital și sustenabilitate. Deci, cum îți poți dezvolta abilitățile și împărtăși expertiza ca începător în știința datelor?
Am discutat despre aplicații din lumea reală în industrie și cercetare și am explorat exemple de aplicații ale științei datelor în domeniul umanisticii digitale și al sustenabilității. Așadar, cum îți poți dezvolta abilitățile și împărtăși expertiza ca începător în știința datelor?
Iată câteva exemple de proiecte studențești în știința datelor pentru inspirație.
Iată câteva exemple de proiecte studențești în știința datelor pentru a te inspira.
* [Școala de Vară MSR în Știința Datelor](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) cu [proiecte](https://github.com/msr-ds3) pe GitHub care explorează subiecte precum:
- [Bias rasial în utilizarea forței de către poliție](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
* [Școala de Vară în Știința Datelor MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) cu [proiecte](https://github.com/msr-ds3) pe GitHub care explorează subiecte precum:
- [Părtinirea rasială în utilizarea forței de către poliție](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Fiabilitatea sistemului de metrou din NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalizarea Culturii Materiale: Explorarea distribuțiilor socio-economice în Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de la [Ornella Altunyan](https://twitter.com/ornelladotcom) și echipa sa de la Claremont, folosind [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitalizarea Culturii Materiale: Explorarea distribuțiilor socio-economice în Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - de la [Ornella Altunyan](https://twitter.com/ornelladotcom) și echipa sa de la Claremont, utilizând [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Provocare
Caută articole care recomandă proiecte de știința datelor prietenoase pentru începători - precum [aceste 50 de domenii](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) sau [aceste 21 de idei de proiecte](https://www.intellspot.com/data-science-project-ideas) sau [aceste 16 proiecte cu cod sursă](https://data-flair.training/blogs/data-science-project-ideas/) pe care le poți analiza și adapta. Și nu uita să scrii pe blog despre călătoria ta de învățare și să împărtășești perspectivele tale cu noi toți.
Caută articole care recomandă proiecte de știința datelor prietenoase pentru începători - precum [aceste 50 de domenii tematice](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) sau [aceste 21 de idei de proiecte](https://www.intellspot.com/data-science-project-ideas) sau [aceste 16 proiecte cu cod sursă](https://data-flair.training/blogs/data-science-project-ideas/) pe care le poți deconstrui și remixa. Și nu uita să scrii pe blog despre călătoriile tale de învățare și să împărtășești perspectivele tale cu noi toți.
## Test de evaluare post-lectură
## Chestionar Post-Lecție
## [Test de evaluare post-lectură](https://ff-quizzes.netlify.app/en/ds/quiz/39)
[Explorează un set de date Planetary Computer](assignment.md)
[Explorează un Set de Date Planetary Computer](assignment.md)
---
**Declinare de responsabilitate**:
Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). Deși ne străduim să asigurăm acuratețea, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa natală ar trebui considerat sursa autoritară. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm responsabilitatea pentru eventualele neînțelegeri sau interpretări greșite care pot apărea din utilizarea acestei traduceri.
**Declinarea responsabilității**:
Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). Deși depunem eforturi pentru a asigura acuratețea, vă rugăm să aveți în vedere că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă ar trebui considerat sursa autoritară. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm răspunderea pentru eventualele neînțelegeri sau interpretări greșite care pot apărea din utilizarea acestei traduceri.
| Data Science в реальном мире - _Sketchnote от [@nitya](https://twitter.com/nitya)_ |
| Data Science в реальном мире - _Скетчноут от [@nitya](https://twitter.com/nitya)_ |
Мы почти подошли к концу этого учебного путешествия!
Мы начали с определения Data Science и этики, изучили различные инструменты и методы анализа и визуализации данных, рассмотрели жизненный цикл Data Science и узнали, как масштабировать и автоматизировать рабочие процессы Data Science с помощью облачных сервисов. И теперь вы, вероятно, задаетесь вопросом: _"Как именно применить все эти знания в реальных контекстах?"_
Мы начали с определения науки о данных и этики, изучили различные инструменты и методы анализа и визуализации данных, рассмотрели жизненный цикл науки о данных и узнали, как масштабировать и автоматизировать рабочие процессы науки о данных с помощью облачных сервисов. Вероятно, вы задаетесь вопросом: _"Как именно применить все эти знания в реальных контекстах?"_
В этом уроке мы исследуем реальные приложения Data Science в различных отраслях, а также рассмотрим конкретные примеры в области исследований, цифровых гуманитарных наук и устойчивого развития. Мы обсудим возможности студенческих проектов и завершим полезными ресурсами, которые помогут вам продолжить обучение!
В этом уроке мы исследуем реальные приложения науки о данных в различных отраслях и рассмотрим конкретные примеры в области исследований, цифровых гуманитарных наук и устойчивого развития. Мы также обсудим возможности студенческих проектов и завершим полезными ресурсами, которые помогут вам продолжить обучение!
## Предварительный тест
@ -25,50 +25,50 @@ CO_OP_TRANSLATOR_METADATA:
## Data Science + Индустрия
Благодаря демократизации ИИ разработчикам стало проще проектировать и интегрировать решения на основе ИИ и данные для принятия решений в пользовательские интерфейсы и рабочие процессы разработки. Вот несколько примеров того, как Data Science применяется в реальных задачах в различных отраслях:
Благодаря демократизации ИИ разработчикам стало проще проектировать и интегрировать решения на основе ИИ и инсайты, основанные на данных, в пользовательский опыт и рабочие процессы разработки. Вот несколько примеров того, как наука о данных применяется в реальных приложениях в различных отраслях:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) использовал Data Science для корреляции поисковых запросов с трендами гриппа. Несмотря на недостатки подхода, проект привлек внимание к возможностям (и вызовам) прогнозирования в здравоохранении на основе данных.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) использовал науку о данных для корреляции поисковых запросов с тенденциями распространения гриппа. Хотя подход имел недостатки, он привлек внимание к возможностям (и вызовам) прогнозирования в области здравоохранения на основе данных.
* [Прогнозирование маршрутов UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - объясняет, как UPS использует Data Science и машинное обучение для прогнозирования оптимальных маршрутов доставки с учетом погодных условий, трафика, сроков доставки и других факторов.
* [Прогнозирование маршрутов UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - объясняет, как UPS использует науку о данных и машинное обучение для прогнозирования оптимальных маршрутов доставки с учетом погодных условий, трафика, сроков доставки и других факторов.
* [Визуализация маршрутов такси в Нью-Йорке](http://chriswhong.github.io/nyctaxi/) - данные, собранные с использованием [законов о свободе информации](https://chriswhong.com/open-data/foil_nyc_taxi/), помогли визуализировать день из жизни такси Нью-Йорка, что позволило понять, как они передвигаются по городу, сколько зарабатывают и какова продолжительность поездок за 24 часа.
* [Визуализация маршрутов такси в Нью-Йорке](http://chriswhong.github.io/nyctaxi/) - данные, собранные с использованием [Законов о свободе информации](https://chriswhong.com/open-data/foil_nyc_taxi/), помогли визуализировать день из жизни такси Нью-Йорка, показывая, как они перемещаются по городу, сколько зарабатывают и сколько времени занимают поездки за 24 часа.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - использует данные (о местах посадки и высадки, продолжительности поездок, предпочтительных маршрутах и т.д.), собранные с миллионов поездок Uber ежедневно, для создания аналитического инструмента, помогающего в ценообразовании, обеспечении безопасности, обнаружении мошенничества и принятии навигационных решений.
* [Рабочая платформа Uber для науки о данных](https://eng.uber.com/dsw/) - использует данные (о местах посадки и высадки, продолжительности поездок, предпочтительных маршрутах и т.д.), собранные ежедневно из миллионов поездок Uber, для создания аналитического инструмента, который помогает в ценообразовании, обеспечении безопасности, обнаружении мошенничества и навигационных решениях.
* [Аналитика в спорте](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - включает _предиктивную аналитику_ (анализ команд и игроков - например, [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - и управление фанатами) и _визуализацию данных_ (дашборды команд и фанатов, игры и т.д.) с применением в таких областях, как поиск талантов, спортивные ставки и управление инвентарем/местами проведения.
* [Аналитика в спорте](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - сосредоточена на _предиктивной аналитике_ (анализ команд и игроков - например, [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - и управление фанатами) и _визуализации данных_ (панели управления для команд и фанатов, игры и т.д.) с приложениями, такими как поиск талантов, спортивные ставки и управление инвентарем/местами проведения.
* [Data Science в банковской сфере](https://data-flair.training/blogs/data-science-in-banking/) - подчеркивает ценность Data Science в финансовой индустрии с применением от моделирования рисков и обнаружения мошенничества до сегментации клиентов, прогнозирования в реальном времени и рекомендательных систем. Предиктивная аналитика также используется для таких критически важных показателей, как [кредитные рейтинги](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Наука о данных в банковской сфере](https://data-flair.training/blogs/data-science-in-banking/) - подчеркивает ценность науки о данных в финансовой отрасли с приложениями, начиная от моделирования рисков и обнаружения мошенничества, до сегментации клиентов, прогнозирования в реальном времени и рекомендательных систем. Предиктивная аналитика также играет ключевую роль в таких мерах, как [кредитные рейтинги](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science в здравоохранении](https://data-flair.training/blogs/data-science-in-healthcare/) - включает такие приложения, как медицинская визуализация (например, МРТ, рентген, КТ), геномика (секвенирование ДНК), разработка лекарств (оценка рисков, прогнозирование успеха), предиктивная аналитика (уход за пациентами и логистика поставок), отслеживание и предотвращение заболеваний и т.д.
* [Наука о данных в здравоохранении](https://data-flair.training/blogs/data-science-in-healthcare/) - выделяет такие приложения, как медицинская визуализация (например, МРТ, рентген, КТ-сканирование), геномика (секвенирование ДНК), разработка лекарств (оценка рисков, прогнозирование успеха), предиктивная аналитика (уход за пациентами и логистика поставок), отслеживание и предотвращение заболеваний и т.д.
 Источник изображения: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Источник изображения: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
На рисунке показаны другие области и примеры применения методов Data Science. Хотите изучить другие приложения? Ознакомьтесь с разделом [Обзор и самостоятельное изучение](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) ниже.
На рисунке показаны другие области и примеры применения методов науки о данных. Хотите изучить другие приложения? Ознакомьтесь с разделом [Обзор и самостоятельное изучение](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) ниже.
## Data Science + Исследования
|  ](../../sketchnotes/20-DataScience-Research.png) |
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Data Science и исследования - _Sketchnote от [@nitya](https://twitter.com/nitya)_ |
| Наука о данных и исследования - _Скетчноут от [@nitya](https://twitter.com/nitya)_ |
Хотя реальные приложения часто сосредоточены на масштабных задачах индустрии, _исследовательские_ проекты могут быть полезны с двух точек зрения:
Хотя реальные приложения часто сосредоточены на масштабных отраслевых кейсах, _исследовательские_ приложения и проекты могут быть полезны с двух точек зрения:
* _возможности для инноваций_ - исследование прототипирования передовых концепций и тестирование пользовательского опыта для приложений следующего поколения.
* _вызовы внедрения_ - изучение потенциального вреда или непредвиденных последствий технологий Data Science в реальных контекстах.
* _возможности для инноваций_ - исследование быстрого прототипирования передовых концепций и тестирование пользовательского опыта для приложений следующего поколения.
* _вызовы внедрения_ - изучение потенциальных вредных последствий или непреднамеренных эффектов технологий науки о данных в реальных контекстах.
Для студентов такие исследовательские проекты могут предоставить как возможности для обучения, так и для сотрудничества, что улучшит понимание темы и расширит осведомленность и взаимодействие с людьми или командами, работающими в интересующих областях. Как выглядят исследовательские проекты и как они могут повлиять?
Для студентов такие исследовательские проекты могут предоставить возможности для обучения и сотрудничества, которые улучшат ваше понимание темы и расширят ваше осознание и взаимодействие с людьми или командами, работающими в интересующих вас областях. Как выглядят исследовательские проекты и как они могут повлиять на мир?
Рассмотрим один пример - [MIT Gender Shades Study](http://gendershades.org/overview.html) от Джой Буоламвини (MIT Media Labs) с [основной исследовательской статьей](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), написанной в соавторстве с Тимнит Гебру (тогда в Microsoft Research), которая сосредоточилась на:
Рассмотрим один пример - [MIT Gender Shades Study](http://gendershades.org/overview.html) от Джой Буоламвини (MIT Media Labs) с [знаковым исследовательским документом](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), написанным в соавторстве с Тимнит Гебру (тогда в Microsoft Research), который сосредоточен на:
* **Что:** Целью исследования было _оценить предвзятость в алгоритмах и наборах данных для автоматического анализа лиц_ на основе пола и типа кожи.
* **Почему:** Анализ лиц используется в таких областях, как правоохранительные органы, безопасность в аэропортах, системы найма и другие - контексты, где неточные классификации (например, из-за предвзятости) могут нанести экономический и социальный вред затронутым лицам или группам. Понимание (и устранение или смягчение) предвзятости является ключом к справедливости в использовании.
* **Как:** Исследователи обнаружили, что существующие эталоны в основном использовали светлокожих субъектов, и создали новый набор данных (1000+ изображений), который был _болеесбалансирован_ по полу и типу кожи. Этот набор данных использовался для оценки точности трех продуктов классификации пола (от Microsoft, IBM и Face++).
* **Что:** Целью исследовательского проекта было _оценить предвзятость, присутствующую в алгоритмах и наборах данных автоматического анализа лиц_ на основе пола и типа кожи.
* **Почему:** Анализ лиц используется в таких областях, как правоохранительные органы, безопасность в аэропортах, системы найма и другие - контексты, где неточные классификации (например, из-за предвзятости) могут причинить экономический и социальный вред затронутым лицам или группам. Понимание (и устранение или смягчение) предвзятости является ключом к справедливости в использовании.
* **Как:** Исследователи заметили, что существующие эталонные наборы данных использовали преимущественно светлокожих субъектов, и создали новый набор данных (1000+ изображений), который был _болеесбалансирован_ по полу и типу кожи. Этот набор данных использовался для оценки точности трех продуктов классификации пола (от Microsoft, IBM и Face++).
Результаты показали, что, хотя общая точность классификации была хорошей, наблюдалась заметная разница в уровне ошибок между различными подгруппами - с**ошибками определения пола**, которые были выше для женщин или людей с более темным типом кожи, что указывает на предвзятость.
Результаты показали, что хотя общая точность классификации была хорошей, наблюдалась заметная разница в уровнях ошибок между различными подгруппами - с**ошибками определения пола**, которые были выше для женщин или людей с более темным типом кожи, что указывает на предвзятость.
**Ключевые результаты:** Исследование подчеркнуло необходимость более _репрезентативных наборов данных_ (сбалансированных подгрупп) и более _инклюзивных команд_ (разнообразных по происхождению), чтобы распознавать и устранять или смягчать такие предвзятости на ранних этапах разработки решений на основе ИИ. Такие исследования также способствуют разработке принципов и практик _ответственного ИИ_в организациях для повышения справедливости их продуктов и процессов.
**Основные результаты:** Исследование подчеркнуло необходимость более _репрезентативных наборов данных_ (сбалансированных подгрупп) и более _инклюзивных команд_ (разнообразных по происхождению), чтобы распознавать и устранять или смягчать такие предвзятости на ранних этапах разработки решений на основе ИИ. Такие исследовательские усилия также играют важную роль в определении принципов и практик _ответственного ИИ_ для повышения справедливости в продуктах и процессах ИИ.
**Хотите узнать о соответствующих исследованиях в Microsoft?**
**Хотите узнать о соответствующих исследовательских усилиях в Microsoft?**
* Ознакомьтесь с [исследовательскими проектами Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) в области искусственного интеллекта.
* Изучите студенческие проекты из [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -76,62 +76,62 @@ CO_OP_TRANSLATOR_METADATA:
## Data Science + Гуманитарные науки
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Data Science и цифровые гуманитарные науки - _Sketchnote от [@nitya](https://twitter.com/nitya)_ |
| Наука о данных и цифровые гуманитарные науки - _Скетчноут от [@nitya](https://twitter.com/nitya)_ |
Цифровые гуманитарные науки [определяются](https://digitalhumanities.stanford.edu/about-dh-stanford) как "набор практик и подходов, сочетающих вычислительные методы с гуманитарным исследованием". [Проекты Стэнфорда](https://digitalhumanities.stanford.edu/projects), такие как _"перезагрузка истории"_ и _"поэтическое мышление"_, иллюстрируют связь между [цифровыми гуманитарными науками и Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - подчеркивая такие методы, как анализ сетей, визуализация информации, пространственный и текстовый анализ, которые помогают нам пересматривать исторические и литературные наборы данных, чтобы извлекать новые инсайты и перспективы.
Цифровые гуманитарные науки [определяются](https://digitalhumanities.stanford.edu/about-dh-stanford) как "совокупность практик и подходов, объединяющих вычислительные методы с гуманитарным исследованием". [Проекты Стэнфорда](https://digitalhumanities.stanford.edu/projects), такие как _"перезагрузка истории"_ и _"поэтическое мышление"_, иллюстрируют связь между [цифровыми гуманитарными науками и наукой о данных](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - подчеркивая такие методы, как анализ сетей, визуализация информации, пространственный и текстовый анализ, которые помогают нам переосмыслить исторические и литературные наборы данных, чтобы получить новые инсайты и перспективы.
*Хотите изучить и расширить проект в этой области?*
Ознакомьтесь с ["Эмили Дикинсон и метр настроения"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - отличным примером от [Джен Лупер](https://twitter.com/jenlooper), который задается вопросом, как мы можем использовать Data Science, чтобы пересмотреть знакомую поэзию и переоценить ее значение и вклад автора в новых контекстах. Например, _можем ли мы предсказать сезон, в который было написано стихотворение, анализируя его тон или настроение_ - и что это говорит нам о состоянии автора в соответствующий период?
Ознакомьтесь с ["Эмили Дикинсон и метром настроения"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - отличным примером от [Джен Лупер](https://twitter.com/jenlooper), который задается вопросом, как мы можем использовать науку о данных, чтобы переосмыслить знакомую поэзию и переоценить ее значение и вклад автора в новых контекстах. Например, _можем ли мы предсказать сезон, в который было написано стихотворение, анализируя его тон или настроение_ - и что это говорит нам о состоянии автора в соответствующий период?
Чтобы ответить на этот вопрос, мы следуем шагам жизненного цикла Data Science:
* [`Сбор данных`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - для сбора релевантного набора данных для анализа. Варианты включают использование API (например, [Poetry DB API](https://poetrydb.org/index.html)) или парсинг веб-страниц (например, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) с помощью инструментов, таких как [Scrapy](https://scrapy.org/).
Чтобы ответить на этот вопрос, мы следуем шагам жизненного цикла науки о данных:
* [`Получение данных`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - сбор релевантного набора данных для анализа. Варианты включают использование API (например, [Poetry DB API](https://poetrydb.org/index.html)) или скрапинг веб-страниц (например, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) с помощью инструментов, таких как [Scrapy](https://scrapy.org/).
* [`Очистка данных`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - объясняет, как текст может быть отформатирован, очищен и упрощен с использованием базовых инструментов, таких как Visual Studio Code и Microsoft Excel.
* [`Анализ данных`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - объясняет, как мы можем импортировать набор данных в "ноутбуки" для анализа с использованием Python-библиотек (таких как pandas, numpy и matplotlib) для организации и визуализации данных.
* [`Анализ настроений`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - объясняет, как мы можем интегрировать облачные сервисы, такие как Text Analytics, используя инструменты с низким кодом, такие как [Power Automate](https://flow.microsoft.com/en-us/) для автоматизации рабочих процессов обработки данных.
* [`Анализ данных`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - объясняет, как мы можем импортировать набор данных в "ноутбуки" для анализа с использованием Python-пакетов (таких как pandas, numpy и matplotlib) для организации и визуализации данных.
* [`Анализ настроений`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - объясняет, как мы можем интегрировать облачные сервисы, такие как Text Analytics, используя инструменты с низким кодом, такие как [Power Automate](https://flow.microsoft.com/en-us/) для автоматизированных рабочих процессов обработки данных.
Используя этот рабочий процесс, мы можем исследовать сезонные влияния на настроение стихотворений и помочь нам сформировать собственные взгляды на автора. Попробуйте сами - затем расширьте ноутбук, чтобы задать другие вопросы или визуализировать данные новыми способами!
> Вы можете использовать некоторые инструменты из [набор инструментов цифровых гуманитарных наук](https://github.com/Digital-Humanities-Toolkit) для изучения этих направлений.
> Вы можете использовать некоторые инструменты из [набор инструментов цифровых гуманитарных наук](https://github.com/Digital-Humanities-Toolkit), чтобы продолжить исследование.
## Data Science + Устойчивое развитие
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Data Science и устойчивое развитие - _Sketchnote от [@nitya](https://twitter.com/nitya)_ |
| Наука о данных и устойчивое развитие - _Скетчноут от [@nitya](https://twitter.com/nitya)_ |
[Повестка дня на 2030 год в области устойчивого развития](https://sdgs.un.org/2030agenda) - принятая всеми членами ООН в 2015 году - определяет 17 целей, включая те, которые направлены на **защиту планеты** от деградации и воздействия изменения климата. Инициатива [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) поддерживает эти цели, исследуя способы, которыми технологические решения могут способствовать созданию более устойчивого будущего,с [фокусом на 4 цели](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - быть углеродно-отрицательными, водоположительными, безотходными и биоразнообразными к 2030 году.
[Повестка дня на 2030 год в области устойчивого развития](https://sdgs.un.org/2030agenda) - принятая всеми членами ООН в 2015 году - определяет 17 целей, включая те, которые сосредоточены на **защите планеты** от деградации и воздействия изменения климата. Инициатива [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) поддерживает эти цели, исследуя способы, которыми технологические решения могут способствовать созданию более устойчивого будущего с [фокусом на 4 цели](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - быть углеродно-отрицательными, водоположительными, безотходными и биоразнообразными к 2030 году.
Решение этих задач в масштабах и в срок требует облачного подхода и работы с большими данными. Инициатива [Planetary Computer](https://planetarycomputer.microsoft.com/) предоставляет 4 компонента, которые помогут специалистам по данным и разработчикам в этом направлении:
Решение этих задач в масштабах и в своевременной манере требует облачного мышления и больших объемов данных. Инициатива [Planetary Computer](https://planetarycomputer.microsoft.com/) предоставляет 4 компонента, которые помогают ученым данных и разработчикам в этом усилии:
* [Каталог данных](https://planetarycomputer.microsoft.com/catalog) - с петабайтами данных обэкосистемах Земли (бесплатно и размещено в Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - для поиска релевантных данных по пространству и времени.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - управляемая среда для ученых для обработки массивных геопространственных наборов данных.
* [Приложения](https://planetarycomputer.microsoft.com/applications) - демонстрируют примеры использования и инструменты для получения инсайтов в области устойчивого развития.
**Проект Planetary Computer находится в стадии предварительного просмотра (по состоянию на сентябрь 2021 года)** - вот как вы можете начать вносить вклад в устойчивые решения с помощью науки о данных.
* [Каталог данных](https://planetarycomputer.microsoft.com/catalog) - с петабайтами данных о системах Земли (бесплатно и размещено на Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - помогает пользователям искать релевантные данные по пространству и времени.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - управляемая среда для ученых, чтобы обрабатывать массивные геопространственные наборы данных.
* [Приложения](https://planetarycomputer.microsoft.com/applications) - демонстрируют кейсы использования и инструменты для получения инсайтов в области устойчивого развития.
**Проект Planetary Computer находится в стадии предварительного просмотра (по состоянию на сентябрь 2021 года)** - вот как вы можете начать вносить вклад в устойчивые решения с помощью анализа данных.
* [Запросите доступ](https://planetarycomputer.microsoft.com/account/request), чтобы начать исследование и наладить связь с единомышленниками.
* [Запросите доступ](https://planetarycomputer.microsoft.com/account/request), чтобы начать исследование и взаимодействовать с коллегами.
* [Изучите документацию](https://planetarycomputer.microsoft.com/docs/overview/about), чтобы понять, какие наборы данных и API поддерживаются.
* Ознакомьтесь с приложениями, такими как [Мониторинг экосистем](https://analytics-lab.org/ecosystemmonitoring/), чтобы найти вдохновение для идей приложений.
* Ознакомьтесь с приложениями, такими как [Мониторинг экосистем](https://analytics-lab.org/ecosystemmonitoring/), чтобы вдохновиться идеями для приложений.
Подумайте, как вы можете использовать визуализацию данных, чтобы выявить или усилить важные инсайты в таких областях, как изменение климата и вырубка лесов. Или подумайте, как эти инсайты могут быть использованы для создания новых пользовательских опытов, которые мотивируют на изменения поведения для более устойчивого образа жизни.
Подумайте, как вы можете использовать визуализацию данных, чтобы выявить или усилить важные инсайты в таких областях, как изменение климата и вырубка лесов. Или подумайте, как эти инсайты могут быть использованы для создания новых пользовательских интерфейсов, которые мотивируют изменения поведения для более устойчивого образа жизни.
## Наука о данных + студенты
## Анализ данных + студенты
Мы обсудили реальные приложения в индустрии и исследованиях, а также рассмотрели примеры применения науки о данных в цифровых гуманитарных науках и устойчивом развитии. Так как же вам развивать свои навыки и делиться своим опытом, если вы только начинаете изучать науку о данных?
Мы обсудили реальные приложения в индустрии и исследованиях, а также рассмотрели примеры использования анализа данных в цифровых гуманитарных науках и устойчивом развитии. Так как же вы можете развивать свои навыки и делиться своим опытом как начинающие специалисты в области анализа данных?
Вот несколько примеров студенческих проектов в области науки о данных, которые могут вас вдохновить.
Вот несколько примеров студенческих проектов в области анализа данных, которые могут вас вдохновить.
* [Летняя школа науки о данных MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) с проектами на [GitHub](https://github.com/msr-ds3), исследующими такие темы, как:
* [Летняя школа анализа данных MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) с проектами на [GitHub](https://github.com/msr-ds3), исследующими такие темы, как:
- [Расовая предвзятость в применении силы полицией](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Надежность системы метро Нью-Йорка](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Оцифровка материальной культуры: исследование социально-экономических распределений в Сиркапе](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - проект [Орнеллы Алтуньян](https://twitter.com/ornelladotcom) и команды из Клермонта, выполненныйс использованием [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Оцифровка материальной культуры: исследование социально-экономических распределений в Сиркапе](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - от [Орнеллы Алтуньян](https://twitter.com/ornelladotcom) и команды из Клермонта, с использованием [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Задание
## 🚀 Задача
Найдите статьи, которые рекомендуют проекты по науке о данных для начинающих, например, [эти 50 тем](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [эти 21 идею проекта](https://www.intellspot.com/data-science-project-ideas) или [эти 16 проектов с исходным кодом](https://data-flair.training/blogs/data-science-project-ideas/), которые вы можете разобрать и переработать. И не забудьте вести блог о своем обучении и делиться своими инсайтами с нами.
Ищите статьи, которые рекомендуют проекты в области анализа данных, подходящие для начинающих, например [эти 50 тем](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) или [эти 21 идея проекта](https://www.intellspot.com/data-science-project-ideas) или [эти 16 проектов с исходным кодом](https://data-flair.training/blogs/data-science-project-ideas/), которые вы можете разобрать и переработать. И не забудьте вести блог о своем обучении и делиться своими инсайтами с нами.
## Викторина после лекции
@ -140,10 +140,11 @@ CO_OP_TRANSLATOR_METADATA:
## Обзор и самостоятельное изучение
Хотите изучить больше примеров использования? Вот несколько полезных статей:
* [17 примеров и приложений науки о данных](https://builtin.com/data-science/data-science-applications-examples) - июль 2021
* [11 впечатляющих примеров применения науки о данных в реальном мире](https://myblindbird.com/data-science-applications-real-world/) - май 2021
* [Наука о данных в реальном мире](https://towardsdatascience.com/data-science-in-the-real-world/home) - сборник статей
* Наука о данных в: [образовании](https://data-flair.training/blogs/data-science-in-education/), [сельском хозяйстве](https://data-flair.training/blogs/data-science-in-agriculture/), [финансах](https://data-flair.training/blogs/data-science-in-finance/), [кино](https://data-flair.training/blogs/data-science-at-movies/) и других областях.
* [17 приложений и примеров анализа данных](https://builtin.com/data-science/data-science-applications-examples) - июль 2021
* [11 впечатляющих приложений анализа данных в реальном мире](https://myblindbird.com/data-science-applications-real-world/) - май 2021
* [Анализ данных в реальном мире](https://towardsdatascience.com/data-science-in-the-real-world/home) - коллекция статей
* [12 реальных приложений анализа данных с примерами](https://www.scaler.com/blog/data-science-applications/) - май 2024
* Анализ данных в: [образовании](https://data-flair.training/blogs/data-science-in-education/), [сельском хозяйстве](https://data-flair.training/blogs/data-science-in-agriculture/), [финансах](https://data-flair.training/blogs/data-science-in-finance/), [киноиндустрии](https://data-flair.training/blogs/data-science-at-movies/), [здравоохранении](https://onlinedegrees.sandiego.edu/data-science-health-care/) и других областях.
Začali sme definíciami dátovej vedy a etiky, preskúmali rôzne nástroje a techniky na analýzu a vizualizáciu dát, prešli životný cyklus dátovej vedy a pozreli sa na škálovanie a automatizáciu pracovných postupov dátovej vedy pomocou cloudových služieb. Pravdepodobne sa pýtate: _"Ako presne môžem všetky tieto poznatky aplikovať v reálnom svete?"_
Začali sme definíciami dátovej vedy a etiky, preskúmali rôzne nástroje a techniky na analýzu a vizualizáciu dát, prešli životný cyklus dátovej vedy a pozreli sa na škálovanie a automatizáciu pracovných postupov dátovej vedy pomocou cloudových služieb. Možno sa teraz pýtate: _"Ako presne môžem tieto poznatky aplikovať v reálnych situáciách?"_
V tejto lekcii preskúmame reálne aplikácie dátovej vedy v rôznych odvetviach a ponoríme sa do konkrétnych príkladov v oblasti výskumu, digitálnych humanitných vied a udržateľnosti. Pozrieme sa na príležitosti pre študentské projekty a zakončíme užitočnými zdrojmi, ktoré vám pomôžu pokračovať vo vašej vzdelávacej ceste!
@ -27,13 +27,13 @@ V tejto lekcii preskúmame reálne aplikácie dátovej vedy v rôznych odvetviac
Vďaka demokratizácii AI je pre vývojárov teraz jednoduchšie navrhovať a integrovať rozhodovanie poháňané AI a poznatky založené na dátach do používateľských skúseností a vývojových pracovných postupov. Tu je niekoľko príkladov, ako sa dátová veda "aplikuje" v reálnych aplikáciách naprieč priemyslom:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) využíval dátovú vedu na koreláciu vyhľadávacích termínov s trendmi chrípky. Hoci prístup mal nedostatky, zvýšil povedomie o možnostiach (a výzvach) predpovedí v zdravotníctve založených na dátach.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) využíval dátovú vedu na koreláciu vyhľadávacích výrazov s trendmi chrípky. Hoci prístup mal nedostatky, zvýšil povedomie o možnostiach (a výzvách) predpovedí v zdravotníctve založených na dátach.
* [Predikcie trás UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - vysvetľuje, ako UPS využíva dátovú vedu a strojové učenie na predpovedanie optimálnych trás pre doručovanie, pričom zohľadňuje poveternostné podmienky, dopravné vzory, termíny doručenia a ďalšie faktory.
* [Vizualizácia trás taxíkov v NYC](http://chriswhong.github.io/nyctaxi/) - dáta získané pomocou [zákonov o slobode informácií](https://chriswhong.com/open-data/foil_nyc_taxi/) pomohli vizualizovať deň v živote taxíkov v NYC, čo nám umožňuje pochopiť, ako sa pohybujú po rušnom meste, koľko zarábajú a aké sú trvania jázd počas každého 24-hodinového obdobia.
* [Vizualizácia trás taxíkov v NYC](http://chriswhong.github.io/nyctaxi/) - dáta získané pomocou [zákonov o slobode informácií](https://chriswhong.com/open-data/foil_nyc_taxi/) pomohli vizualizovať jeden deň v živote taxíkov v NYC, čo nám umožňuje pochopiť, ako sa pohybujú po rušnom meste, koľko zarábajú a aké sú trvania jázd počas každého 24-hodinového obdobia.
* [Pracovná plocha dátovej vedy Uber](https://eng.uber.com/dsw/) - využíva dáta (o miestach vyzdvihnutia a vysadenia, trvaní jázd, preferovaných trasách atď.) získané z miliónov jázd Uber *denne* na vytvorenie nástroja na analýzu dát, ktorý pomáha s cenotvorbou, bezpečnosťou, detekciou podvodov a navigačnými rozhodnutiami.
* [Pracovná plocha dátovej vedy Uber](https://eng.uber.com/dsw/) - využíva dáta (o miestach vyzdvihnutia a odovzdania, trvaní jázd, preferovaných trasách atď.) získané z miliónov jázd Uber *denne* na vytvorenie nástroja na analýzu dát, ktorý pomáha s cenotvorbou, bezpečnosťou, detekciou podvodov a navigačnými rozhodnutiami.
* [Analytika v športe](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - zameriava sa na _prediktívnu analytiku_ (analýza tímov a hráčov - napr. [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - a manažment fanúšikov) a _vizualizáciu dát_ (dashboardy tímov a fanúšikov, hry atď.) s aplikáciami ako scouting talentov, športové stávkovanie a manažment inventára/miest.
@ -41,7 +41,7 @@ Vďaka demokratizácii AI je pre vývojárov teraz jednoduchšie navrhovať a in
* [Dátová veda v zdravotníctve](https://data-flair.training/blogs/data-science-in-healthcare/) - zdôrazňuje aplikácie ako medicínske zobrazovanie (napr. MRI, röntgen, CT-sken), genomika (sekvenovanie DNA), vývoj liekov (hodnotenie rizík, predikcia úspechu), prediktívna analytika (starostlivosť o pacientov a logistika zásob), sledovanie a prevencia chorôb atď.
 Zdroj obrázku: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Zdroj obrázku: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Obrázok ukazuje ďalšie oblasti a príklady aplikácie techník dátovej vedy. Chcete preskúmať ďalšie aplikácie? Pozrite si sekciu [Recenzia a samostatné štúdium](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) nižšie.
@ -58,17 +58,17 @@ Zatiaľ čo aplikácie v reálnom svete sa často zameriavajú na priemyselné p
Pre študentov môžu tieto výskumné projekty poskytnúť príležitosti na učenie a spoluprácu, ktoré zlepšia vaše pochopenie témy a rozšíria vaše povedomie a zapojenie sa s relevantnými ľuďmi alebo tímami pracujúcimi v oblastiach záujmu. Ako teda vyzerajú výskumné projekty a aký môžu mať dopad?
Pozrime sa na jeden príklad - [MIT Gender Shades Study](http://gendershades.org/overview.html) od Joy Buolamwini (MIT Media Labs) s [významným výskumným článkom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) spoluautorky Timnit Gebru (vtedy v Microsoft Research), ktorý sa zameriaval na:
Pozrime sa na jeden príklad - [MIT Gender Shades Study](http://gendershades.org/overview.html) od Joy Buolamwini (MIT Media Labs) s [významným výskumným článkom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) spoluautorky Timnit Gebru (vtedy v Microsoft Research), ktorý sa zameral na:
* **Čo:** Cieľom výskumného projektu bolo _vyhodnotiť predsudky prítomné v algoritmoch a dátových súboroch automatizovanej analýzy tváre_ na základe pohlavia a typu pokožky.
* **Čo:** Cieľom výskumného projektu bolo _hodnotiť predsudky prítomné v algoritmoch a dátových súboroch automatizovanej analýzy tváre_ na základe pohlavia a typu pokožky.
* **Prečo:** Analýza tváre sa používa v oblastiach ako presadzovanie práva, bezpečnosť na letiskách, systémy na prijímanie zamestnancov a ďalšie - kontexty, kde nepresné klasifikácie (napr. kvôli predsudkom) môžu spôsobiť potenciálne ekonomické a sociálne škody dotknutým jednotlivcom alebo skupinám. Pochopenie (a eliminácia alebo zmiernenie) predsudkov je kľúčom k spravodlivosti pri používaní.
* **Ako:** Výskumníci si uvedomili, že existujúce benchmarky používali prevažne subjekty so svetlejšou pokožkou, a vytvorili nový dátový súbor (1000+ obrázkov), ktorý bol _vyváženejší_ podľa pohlavia a typu pokožky. Tento dátový súbor bol použitý na vyhodnotenie presnosti troch produktov na klasifikáciu pohlavia (od Microsoftu, IBM a Face++).
* **Ako:** Výskumníci si uvedomili, že existujúce benchmarky používali prevažne subjekty so svetlejšou pokožkou, a vytvorili nový dátový súbor (1000+ obrázkov), ktorý bol _viac vyvážený_ podľa pohlavia a typu pokožky. Tento dátový súbor bol použitý na hodnotenie presnosti troch produktov na klasifikáciu pohlavia (od Microsoftu, IBM a Face++).
Výsledky ukázali, že hoci celková presnosť klasifikácie bola dobrá, existoval výrazný rozdiel v chybovosti medzi rôznymi podskupinami - s **nesprávnym určením pohlavia** častejším u žien alebo osôb s tmavšou pokožkou, čo naznačuje predsudky.
Výsledky ukázali, že hoci celková presnosť klasifikácie bola dobrá, existoval výrazný rozdiel v chybovosti medzi rôznymi podskupinami - s **nesprávnym určením pohlavia** častejším u žien alebo osôb s tmavším typom pokožky, čo naznačuje predsudky.
**Kľúčové výsledky:** Zvýšenie povedomia, že dátová veda potrebuje viac _reprezentatívnych dátových súborov_ (vyvážené podskupiny) a viac _inkluzívnych tímov_ (rôznorodé pozadie), aby sa takéto predsudky rozpoznali a eliminovali alebo zmiernili skôr v AI riešeniach. Výskumné úsilie ako toto je tiež zásadné pre mnohé organizácie pri definovaní princípov a postupov pre _zodpovednú AI_, aby sa zlepšila spravodlivosť ich AI produktov a procesov.
**Kľúčové výsledky:** Zvýšenie povedomia o tom, že dátová veda potrebuje viac _reprezentatívnych dátových súborov_ (vyvážené podskupiny) a viac _inkluzívnych tímov_ (rôznorodé pozadie), aby sa takéto predsudky rozpoznali a eliminovali alebo zmiernili skôr v AI riešeniach. Výskumné úsilie ako toto je tiež zásadné pre mnohé organizácie pri definovaní princípov a praktík pre _zodpovednú AI_, aby sa zlepšila spravodlivosť ich AI produktov a procesov.
**Chcete sa dozvedieť o relevantných výskumných aktivitách v Microsoft?**
**Chcete sa dozvedieť o relevantných výskumných snahách v Microsoft?**
* Pozrite si [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) v oblasti umelej inteligencie.
* Preskúmajte študentské projekty z [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -88,7 +88,7 @@ Pozrite si ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlo
Na zodpovedanie tejto otázky postupujeme podľa krokov životného cyklu dátovej vedy:
* [`Získavanie dát`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - na zhromaždenie relevantného dátového súboru na analýzu. Možnosti zahŕňajú použitie API (napr. [Poetry DB API](https://poetrydb.org/index.html)) alebo scraping webových stránok (napr. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) pomocou nástrojov ako [Scrapy](https://scrapy.org/).
* [`Čistenie dát`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - vysvetľuje, ako môže byť text formátovaný, sanitovaný a zjednodušený pomocou základných nástrojov ako Visual Studio Code a Microsoft Excel.
* [`Čistenie dát`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - vysvetľuje, ako môže byť text formátovaný, sanitizovaný a zjednodušený pomocou základných nástrojov ako Visual Studio Code a Microsoft Excel.
* [`Analýza dát`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - vysvetľuje, ako môžeme teraz importovať dátový súbor do "Notebooks" na analýzu pomocou Python balíkov (ako pandas, numpy a matplotlib) na organizáciu a vizualizáciu dát.
* [`Analýza sentimentu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - vysvetľuje, ako môžeme integrovať cloudové služby ako Text Analytics, pomocou nástrojov s nízkym kódom ako [Power Automate](https://flow.microsoft.com/en-us/) na automatizované pracovné postupy spracovania dát.
@ -104,29 +104,29 @@ Pomocou tohto pracovného postupu môžeme preskúmať sezónne vplyvy na sentim
[Agenda 2030 pre udržateľný rozvoj](https://sdgs.un.org/2030agenda) - prijatá všetkými členmi OSN v roku 2015 - identifikuje 17 cieľov vrátane tých, ktoré sa zameriavajú na **ochranu planéty** pred degradáciou a dopadmi klimatických zmien. Iniciatíva [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) podporuje tieto ciele skúmaním spôsobov, ako technologické riešenia môžu podporovať a budovať udržateľnejšiu budúcnosť so [zameraním na 4 ciele](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - byť uhlíkovo negatívny, vodne pozitívny, bez odpadu a biodiverzný do roku 2030.
Riešenie týchto výziev v škálovateľnom a včasnom meradle si vyžaduje cloudové myslenie - a veľké množstvo dát. Iniciatíva [Planetary Computer](https://planetarycomputer.microsoft.com/) poskytuje 4 komponenty, ktoré pomáhajú dátovým vedcom a vývojárom v tomto úsilí:
Riešenie týchto výziev v škálovateľnom a včasnom meradle si vyžaduje myslenie na úrovni cloudu - a veľké množstvo dát. Iniciatíva [Planetary Computer](https://planetarycomputer.microsoft.com/) poskytuje 4 komponenty, ktoré pomáhajú dátovým vedcom a vývojárom v tomto úsilí:
* [Katalóg dát](https://planetarycomputer.microsoft.com/catalog) - s petabajtmi dát o systémoch Zeme (bezplatné a hostované na Azure).
* [Planetárne API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - na pomoc používateľom pri hľadaní relevantných dát naprieč priestorom a časom.
**Projekt Planetary Computer je momentálne v náhľade (k septembru 2021)** - tu je návod, ako začať prispievať k riešeniam udržateľnosti pomocou dátovej vedy.
* [Požiadajte o prístup](https://planetarycomputer.microsoft.com/account/request) na začatie prieskumu a spojenie sa s kolegami.
* [Preskúmajte dokumentáciu](https://planetarycomputer.microsoft.com/docs/overview/about) na pochopenie podporovaných datasetov a API.
* Preskúmajte aplikácie ako [Monitorovanie ekosystémov](https://analytics-lab.org/ecosystemmonitoring/) pre inšpiráciu na nápady aplikácií.
* [Preskúmajte dokumentáciu](https://planetarycomputer.microsoft.com/docs/overview/about), aby ste pochopili podporované dátové súbory a API.
* Preskúmajte aplikácie ako [Monitorovanie ekosystému](https://analytics-lab.org/ecosystemmonitoring/) pre inšpiráciu na nápady aplikácií.
Premýšľajte o tom, ako môžete použiť vizualizáciu dát na odhalenie alebo zvýraznenie relevantných poznatkov v oblastiach ako klimatické zmeny a odlesňovanie. Alebo premýšľajte o tom, ako môžu byť poznatky použité na vytvorenie nových užívateľských zážitkov, ktoré motivujú k zmenám správania pre udržateľnejší život.
Premýšľajte o tom, ako môžete použiť vizualizáciu dát na odhalenie alebo zvýraznenie relevantných poznatkov v oblastiach ako klimatické zmeny a odlesňovanie. Alebo premýšľajte o tom, ako môžu byť poznatky použité na vytvorenie nových používateľských zážitkov, ktoré motivujú k zmene správania pre udržateľnejší život.
## Dátová veda + Študenti
## Dátová veda + študenti
Hovorili sme o aplikáciách v reálnom svete v priemysle a výskume a preskúmali sme príklady aplikácií dátovej vedy v digitálnych humanitných vedách a udržateľnosti. Tak ako si môžete rozvíjať svoje zručnosti a zdieľať svoje odborné znalosti ako začiatočníci v dátovej vede?
Hovorili sme o aplikáciách v reálnom svete v priemysle a výskume a preskúmali sme príklady aplikácií dátovej vedy v digitálnych humanitných vedách a udržateľnosti. Ako si teda môžete rozvíjať svoje zručnosti a zdieľať svoje odborné znalosti ako začiatočníci v dátovej vede?
Tu sú niektoré príklady študentských projektov z oblasti dátovej vedy, ktoré vás môžu inšpirovať.
Tu je niekoľko príkladov študentských projektov z oblasti dátovej vedy, ktoré vás môžu inšpirovať.
* [Letná škola dátovej vedy MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) s GitHub [projektmi](https://github.com/msr-ds3), ktoré skúmajú témy ako:
- [Rasová zaujatosť v používaní sily políciou](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Spoľahlivosť systému metra v NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalizácia materiálnej kultúry: Skúmanie socio-ekonomických rozložení v Sirkape](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - od [Ornella Altunyan](https://twitter.com/ornelladotcom) a tímu z Claremont, pomocou [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitalizácia materiálnej kultúry: Skúmanie socio-ekonomických rozložení v Sirkape](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - od [Ornella Altunyan](https://twitter.com/ornelladotcom) a tímu z Claremont, využívajúci [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Výzva
@ -136,19 +136,20 @@ Vyhľadajte články, ktoré odporúčajú projekty dátovej vedy vhodné pre za
## [Kvíz po prednáške](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## Prehľad & Samoštúdium
## Prehľad a samostatné štúdium
Chcete preskúmať viac prípadov použitia? Tu je niekoľko relevantných článkov:
* [17 aplikácií a príkladov dátovej vedy](https://builtin.com/data-science/data-science-applications-examples) - júl 2021
* [11 úžasných aplikácií dátovej vedy v reálnom svete](https://myblindbird.com/data-science-applications-real-world/) - máj 2021
* [Dátová veda v reálnom svete](https://towardsdatascience.com/data-science-in-the-real-world/home) - kolekcia článkov
* Dátová veda v: [Vzdelávaní](https://data-flair.training/blogs/data-science-in-education/), [Poľnohospodárstve](https://data-flair.training/blogs/data-science-in-agriculture/), [Financiách](https://data-flair.training/blogs/data-science-in-finance/), [Filmoch](https://data-flair.training/blogs/data-science-at-movies/) a ďalších.
* [11 ohromujúcich aplikácií dátovej vedy v reálnom svete](https://myblindbird.com/data-science-applications-real-world/) - máj 2021
* [Dátová veda v reálnom svete](https://towardsdatascience.com/data-science-in-the-real-world/home) - zbierka článkov
* [12 aplikácií dátovej vedy v reálnom svete s príkladmi](https://www.scaler.com/blog/data-science-applications/) - máj 2024
* Dátová veda v: [vzdelávaní](https://data-flair.training/blogs/data-science-in-education/), [poľnohospodárstve](https://data-flair.training/blogs/data-science-in-agriculture/), [financiách](https://data-flair.training/blogs/data-science-in-finance/), [filmoch](https://data-flair.training/blogs/data-science-at-movies/), [zdravotnej starostlivosti](https://onlinedegrees.sandiego.edu/data-science-health-care/) a ďalších.
[Preskúmajte dátový súbor Planetary Computer](assignment.md)
---
**Upozornenie**:
Tento dokument bol preložený pomocou služby AI prekladu [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nenesieme zodpovednosť za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.
Tento dokument bol preložený pomocou služby na automatický preklad [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, upozorňujeme, že automatické preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho pôvodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre dôležité informácie odporúčame profesionálny ľudský preklad. Nezodpovedáme za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.
| Podatkovna znanost v resničnem svetu - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Skoraj smo na koncu te učne poti!
Skoraj smo na koncu tega učnega potovanja!
Začeli smo z definicijami podatkovne znanosti in etike, raziskovali različna orodja in tehnike za analizo ter vizualizacijo podatkov, pregledali življenjski cikel podatkovne znanosti ter preučili možnosti za skaliranje in avtomatizacijo delovnih procesov podatkovne znanosti z uporabo storitev v oblaku. Verjetno se sprašujete: _"Kako lahko vse te nauke prenesem v resnične kontekste?"_
Začeli smo z definicijami podatkovne znanosti in etike, raziskali različna orodja in tehnike za analizo ter vizualizacijo podatkov, pregledali življenjski cikel podatkovne znanosti ter preučili skaliranje in avtomatizacijo delovnih procesov podatkovne znanosti s storitvami v oblaku. Verjetno se sprašujete: _"Kako lahko vse te nauke prenesem v resnične kontekste?"_
V tej lekciji bomo raziskali resnične aplikacije podatkovne znanosti v industriji ter se poglobili v konkretne primere v raziskovalnih, digitalno-humanističnih in trajnostnih kontekstih. Pogledali bomo priložnosti za študentske projekte ter zaključili z uporabnimi viri, ki vam bodo pomagali nadaljevati vašo učno pot!
V tej lekciji bomo raziskali resnične aplikacije podatkovne znanosti v industriji ter se poglobili v specifične primere v raziskovalnih, digitalno-humanističnih in trajnostnih kontekstih. Pogledali bomo priložnosti za študentske projekte in zaključili z uporabnimi viri, ki vam bodo pomagali nadaljevati vaše učno potovanje!
## Predhodni kviz
@ -29,19 +29,19 @@ Zaradi demokratizacije umetne inteligence razvijalci zdaj lažje oblikujejo in v
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) je uporabil podatkovno znanost za povezovanje iskalnih izrazov s trendi gripe. Čeprav je imel pristop pomanjkljivosti, je opozoril na možnosti (in izzive) napovedovanja zdravja na podlagi podatkov.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - pojasnjuje, kako UPS uporablja podatkovno znanost in strojno učenje za napovedovanje optimalnih poti za dostavo, pri čemer upošteva vremenske razmere, prometne vzorce, roke dostave in druge dejavnike.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - pojasnjuje, kako UPS uporablja podatkovno znanost in strojno učenje za napovedovanje optimalnih poti za dostavo, pri čemer upošteva vremenske razmere, prometne vzorce, roke dostave in drugo.
* [Vizualizacija poti taksijev v NYC](http://chriswhong.github.io/nyctaxi/) - podatki, zbrani z uporabo [zakonov o svobodi informacij](https://chriswhong.com/open-data/foil_nyc_taxi/), so pomagali vizualizirati dan v življenju taksijev v NYC, kar nam omogoča razumevanje, kako se premikajo po mestu, koliko zaslužijo in kako dolgo trajajo vožnje v 24-urnem obdobju.
* [Vizualizacija poti taksijev v NYC](http://chriswhong.github.io/nyctaxi/) - podatki, zbrani z uporabo [zakonov o svobodi informacij](https://chriswhong.com/open-data/foil_nyc_taxi/), so pomagali vizualizirati dan v življenju taksijev v NYC, kar nam omogoča razumevanje, kako se premikajo po mestu, koliko zaslužijo in trajanje voženj v 24-urnem obdobju.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - uporablja podatke (o lokacijah prevzemov in odložitev, trajanju voženj, prednostnih poteh itd.), zbrane iz milijonov Uber voženj *dnevno*, za izdelavo orodja za analizo podatkov, ki pomaga pri določanju cen, varnosti, odkrivanju goljufij in navigacijskih odločitvah.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - uporablja podatke (o lokacijah prevzemov in odhodov, trajanju voženj, prednostnih poteh itd.), zbrane iz milijonov Uber voženj *dnevno*, za izdelavo orodja za analizo podatkov, ki pomaga pri določanju cen, varnosti, odkrivanju goljufij in navigacijskih odločitvah.
* [Športna analitika](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - osredotoča se na _napovedno analitiko_ (analiza ekip in igralcev - pomislite na [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - ter upravljanje navijačev) in _vizualizacijo podatkov_ (nadzorne plošče ekip in navijačev, igre itd.) z aplikacijami, kot so iskanje talentov, športne stave in upravljanje zalog/objektov.
* [Športna analitika](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - se osredotoča na _napovedno analitiko_ (analiza ekip in igralcev - pomislite na [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - ter upravljanje navijačev) in _vizualizacijo podatkov_ (nadzorne plošče ekip in navijačev, igre itd.) z aplikacijami, kot so iskanje talentov, športne stave in upravljanje zalog/objektov.
* [Podatkovna znanost v bančništvu](https://data-flair.training/blogs/data-science-in-banking/) - poudarja vrednost podatkovne znanosti v finančni industriji z aplikacijami, ki segajo od modeliranja tveganj in odkrivanja goljufij do segmentacije strank, napovedovanja v realnem času in priporočilnih sistemov. Napovedna analitika prav tako poganja ključne ukrepe, kot so [kreditne ocene](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Podatkovna znanost v zdravstvu](https://data-flair.training/blogs/data-science-in-healthcare/) - poudarja aplikacije, kot so medicinsko slikanje (npr. MRI, rentgen, CT-skeniranje), genomika (sekvenciranje DNK), razvoj zdravil (ocena tveganja, napoved uspeha), napovedna analitika (oskrba pacientov in logistika oskrbe), sledenje boleznim in preprečevanje itd.
 Avtor slike: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Vir slike: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Slika prikazuje druge domene in primere uporabe tehnik podatkovne znanosti. Želite raziskati druge aplikacije? Oglejte si razdelek [Pregled in samostojno učenje](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) spodaj.
@ -56,23 +56,23 @@ Medtem ko se resnične aplikacije pogosto osredotočajo na industrijske primere
* _priložnosti za inovacije_ - raziskovanje hitrega prototipiranja naprednih konceptov in testiranje uporabniških izkušenj za aplikacije naslednje generacije.
* _izzivi pri implementaciji_ - preučevanje potencialnih škod ali nenamernih posledic tehnologij podatkovne znanosti v resničnih kontekstih.
Za študente lahko ti raziskovalni projekti nudijo priložnosti za učenje in sodelovanje, ki izboljšajo vaše razumevanje teme ter razširijo vašo ozaveščenost in angažiranost z relevantnimi ljudmi ali ekipami, ki delajo na področjih vašega interesa. Kako torej izgledajo raziskovalni projekti in kako lahko vplivajo?
Za študente lahko ti raziskovalni projekti nudijo priložnosti za učenje in sodelovanje, ki izboljšajo vaše razumevanje teme ter razširijo vašo ozaveščenost in angažiranost z relevantnimi ljudmi ali ekipami, ki delajo na področjih vašega interesa. Kako izgledajo raziskovalni projekti in kako lahko vplivajo?
Poglejmo en primer - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwini (MIT Media Labs) z [pomembnim raziskovalnim člankom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), ki ga je soavtorila s Timnit Gebru (takrat pri Microsoft Research), osredotočenim na:
Poglejmo en primer - [MIT Gender Shades Study](http://gendershades.org/overview.html) Joy Buolamwini (MIT Media Labs) s [pomembnim raziskovalnim člankom](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), ki ga je soavtorirala s Timnit Gebru (takrat pri Microsoft Research), osredotočenim na:
* **Kaj:** Cilj raziskovalnega projekta je bil _oceniti pristranskost v algoritmih in podatkovnih zbirkah za avtomatizirano analizo obrazov_ glede na spol in tip kože.
* **Zakaj:** Analiza obrazov se uporablja na področjih, kot so kazenski pregon, varnost na letališčih, sistemi za zaposlovanje in več - konteksti, kjer lahko netočne klasifikacije (npr. zaradi pristranskosti) povzročijo potencialne ekonomske in socialne škode prizadetim posameznikom ali skupinam. Razumevanje (in odpravljanje ali zmanjševanje) pristranskosti je ključno za pravičnost pri uporabi.
* **Kako:** Raziskovalci so ugotovili, da obstoječi referenčni podatki večinoma uporabljajo svetlopolte subjekte, in ustvarili novo podatkovno zbirko (1000+ slik), ki je bila _bolj uravnotežena_ glede na spol in tip kože. Podatkovna zbirka je bila uporabljena za oceno natančnosti treh produktov za klasifikacijo spola (Microsoft, IBM & Face++).
* **Zakaj:** Analiza obrazov se uporablja na področjih, kot so kazenski pregon, varnost na letališčih, sistemi zaposlovanja in drugo - konteksti, kjer lahko netočne klasifikacije (npr. zaradi pristranskosti) povzročijo potencialne ekonomske in socialne škode prizadetim posameznikom ali skupinam. Razumevanje (in odpravljanje ali zmanjševanje) pristranskosti je ključno za pravičnost pri uporabi.
* **Kako:** Raziskovalci so ugotovili, da obstoječi referenčni podatki večinoma uporabljajo osebe s svetlejšo poltjo, in ustvarili novo podatkovno zbirko (1000+ slik), ki je bila _bolj uravnotežena_ glede na spol in tip kože. Podatkovna zbirka je bila uporabljena za oceno natančnosti treh produktov za klasifikacijo spola (Microsoft, IBM & Face++).
Rezultati so pokazali, da je bila skupna natančnost klasifikacije dobra, vendar je bila opazna razlika v stopnjah napak med različnimi podskupinami - z **napačno klasifikacijo spola** pogostejšo pri ženskah ali osebah s temnejšo poltjo, kar kaže na pristranskost.
**Ključni rezultati:** Povečana ozaveščenost, da podatkovna znanost potrebuje bolj _reprezentativne podatkovne zbirke_ (uravnotežene podskupine) in bolj _vključujoče ekipe_ (raznolika ozadja), da se pristranskosti v rešitvah umetne inteligence prepoznajo in odpravijo ali zmanjšajo že zgodaj. Takšni raziskovalni napori so ključni tudi za številne organizacije pri določanju načel in praks za _odgovorno umetno inteligenco_, da izboljšajo pravičnost svojih produktov in procesov umetne inteligence.
**Ključni rezultati:** Povečana ozaveščenost, da podatkovna znanost potrebuje bolj _reprezentativne podatkovne zbirke_ (uravnotežene podskupine) in bolj _vključujoče ekipe_ (raznolika ozadja), da bi pristranskosti prepoznali in odpravili ali zmanjšali že zgodaj v rešitvah umetne inteligence. Takšni raziskovalni napori so ključni tudi za številne organizacije pri določanju načel in praks za _odgovorno umetno inteligenco_, da bi izboljšali pravičnost v svojih produktih in procesih umetne inteligence.
**Želite izvedeti več o relevantnih raziskovalnih prizadevanjih v Microsoftu?**
* Oglejte si [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) na področju umetne inteligence.
* Raziščite študentske projekte iz [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Oglejte si projekt [Fairlearn](https://fairlearn.org/) in pobude [Odgovorna umetna inteligenca](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Oglejte si projekt [Fairlearn](https://fairlearn.org/) in pobude [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Podatkovna znanost + Humanistika
@ -80,7 +80,7 @@ Rezultati so pokazali, da je bila skupna natančnost klasifikacije dobra, vendar
| Podatkovna znanost in digitalna humanistika - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Digitalna humanistika [je opredeljena](https://digitalhumanities.stanford.edu/about-dh-stanford) kot "zbirka praks in pristopov, ki združujejo računalniške metode s humanističnim raziskovanjem". [Stanfordovi projekti](https://digitalhumanities.stanford.edu/projects), kot sta _"rebooting history"_ in _"poetic thinking"_, ponazarjajo povezavo med [digitalno humanistiko in podatkovno znanostjo](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - poudarjajo tehnike, kot so analiza omrežij, vizualizacija informacij, prostorska in besedilna analiza, ki nam lahko pomagajo ponovno preučiti zgodovinske in literarne podatkovne zbirke ter pridobiti nove vpoglede in perspektive.
Digitalna humanistika [je opredeljena](https://digitalhumanities.stanford.edu/about-dh-stanford) kot "zbirka praks in pristopov, ki združujejo računalniške metode s humanističnim raziskovanjem". [Stanfordovi projekti](https://digitalhumanities.stanford.edu/projects), kot sta _"rebooting history"_ in _"poetic thinking"_, ilustrirajo povezavo med [digitalno humanistiko in podatkovno znanostjo](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - poudarjajo tehnike, kot so analiza omrežij, vizualizacija informacij, prostorska in besedilna analiza, ki nam lahko pomagajo ponovno preučiti zgodovinske in literarne podatkovne zbirke ter pridobiti nove vpoglede in perspektive.
*Želite raziskati in razširiti projekt na tem področju?*
@ -92,9 +92,9 @@ Da bi odgovorili na to vprašanje, sledimo korakom življenjskega cikla podatkov
* [`Analiza podatkov`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - pojasnjuje, kako lahko zdaj uvozimo podatkovno zbirko v "zvezke" za analizo z uporabo Pythonovih paketov (kot so pandas, numpy in matplotlib) za organizacijo in vizualizacijo podatkov.
* [`Analiza sentimenta`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - pojasnjuje, kako lahko vključimo storitve v oblaku, kot je Text Analytics, z uporabo orodij z malo kode, kot je [Power Automate](https://flow.microsoft.com/en-us/) za avtomatizirane delovne procese obdelave podatkov.
Z uporabo tega delovnega procesa lahko raziskujemo sezonske vplive na sentiment pesmi in si oblikujemo lastne perspektive o avtorici. Preizkusite sami - nato razširite zvezek, da postavite druga vprašanja ali vizualizirate podatke na nove načine!
S pomočjo tega delovnega procesa lahko raziskujemo sezonske vplive na sentiment pesmi in si oblikujemo lastne perspektive o avtorici. Preizkusite sami - nato razširite zvezek, da postavite druga vprašanja ali vizualizirate podatke na nove načine!
> Nekatera orodja iz [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) lahko uporabite za raziskovanje teh vprašanj.
> Nekatera orodja iz [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) lahko uporabite za raziskovanje teh poti.
## Podatkovna znanost + Trajnost
@ -102,17 +102,17 @@ Z uporabo tega delovnega procesa lahko raziskujemo sezonske vplive na sentiment
| Podatkovna znanost in trajnost - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 za trajnostni razvoj](https://sdgs.un.org/2030agenda) - sprejeta s strani vseh članic Združenih narodov leta 2015 - opredeljuje 17 ciljev, vključno s tistimi, ki se osredotočajo na **zaščito planeta** pred degradacijo in vplivi podnebnih sprememb. Pobuda [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) podpira te cilje z raziskovanjem načinov, kako lahko tehnološke rešitve podpirajo in gradijo bolj trajnostno prihodnost s [fokusom na 4 cilje](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - biti ogljično negativni, vodno pozitivni, brez odpadkov in biotsko raznoliki do leta 2030.
[Agenda 2030 za trajnostni razvoj](https://sdgs.un.org/2030agenda) - sprejeta s strani vseh članic Združenih narodov leta 2015 - opredeljuje 17 ciljev, vključno s tistimi, ki se osredotočajo na **zaščito planeta** pred degradacijo in vplivi podnebnih sprememb. Pobuda [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) podpira te cilje z raziskovanjem načinov, kako lahko tehnološke rešitve podpirajo in gradijo bolj trajnostno prihodnost s [fokusom na 4 cilje](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - biti ogljično negativni, vodno pozitivni, brez odpadkov in biotsko raznovrstni do leta 2030.
Reševanje teh izzivov na skalabilen in pravočasen način zahteva razmišljanje na ravni oblaka - in obsežne podatke. Pobuda [Planetary Computer](https://planetarycomputer.microsoft.com/) ponuja 4 komponente, ki pomagajo podatkovnim znanstvenikom in razvijalcem pri tem prizadevanju:
* [Katalog podatkov](https://planetarycomputer.microsoft.com/catalog) - s petabajti podatkov o zemeljskih sistemih (brezplačno in gostovano na Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - za pomoč uporabnikom pri iskanju relevantnih podatkov skozi prostor in čas.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - upravljano okolje za znanstvenike za obdelavo obsežnih geozemeljskih podatkovnih zbirk.
* [Aplikacije](https://planetarycomputer.microsoft.com/applications) - prikazujejo primere uporabe in orodja za vpoglede v trajnost.
* [Aplikacije](https://planetarycomputer.microsoft.com/applications) - prikaz primerov uporabe in orodij za vpoglede v trajnost.
**Projekt Planetary Computer je trenutno v predogledu (od septembra 2021)** - tukaj je, kako lahko začnete prispevati k trajnostnim rešitvam z uporabo podatkovne znanosti.
* [Zahtevajte dostop](https://planetarycomputer.microsoft.com/account/request), da začnete raziskovati in se povezovati z vrstniki.
* [Zahtevajte dostop](https://planetarycomputer.microsoft.com/account/request) za začetek raziskovanja in povezovanje z vrstniki.
* [Raziskujte dokumentacijo](https://planetarycomputer.microsoft.com/docs/overview/about), da razumete podprte podatkovne zbirke in API-je.
* Raziskujte aplikacije, kot je [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/), za navdih pri idejah za aplikacije.
@ -131,7 +131,7 @@ Tukaj je nekaj primerov študentskih projektov iz podatkovne znanosti, ki vas la
## 🚀 Izziv
Poiščite članke, ki priporočajo projekte podatkovne znanosti, primerni za začetnike - kot [teh 50 tematskih področij](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ali [teh 21 idej za projekte](https://www.intellspot.com/data-science-project-ideas) ali [teh 16 projektov z izvorno kodo](https://data-flair.training/blogs/data-science-project-ideas/), ki jih lahko razstavite in preoblikujete. Ne pozabite pisati blogov o svojih učnih poteh in deliti svoje vpoglede z nami.
Poiščite članke, ki priporočajo projekte podatkovne znanosti, primerni za začetnike - kot [teh 50 tematskih področij](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) ali [teh 21 idej za projekte](https://www.intellspot.com/data-science-project-ideas) ali [teh 16 projektov s kodo](https://data-flair.training/blogs/data-science-project-ideas/), ki jih lahko razstavite in preoblikujete. Ne pozabite pisati blogov o svojih učnih poteh in deliti svoje vpoglede z nami.
## Kviz po predavanju
@ -143,7 +143,8 @@ Poiščite članke, ki priporočajo projekte podatkovne znanosti, primerni za za
* [17 aplikacij in primerov uporabe podatkovne znanosti](https://builtin.com/data-science/data-science-applications-examples) - julij 2021
* [11 osupljivih aplikacij podatkovne znanosti v resničnem svetu](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [Podatkovna znanost v resničnem svetu](https://towardsdatascience.com/data-science-in-the-real-world/home) - zbirka člankov
* Podatkovna znanost v: [izobraževanju](https://data-flair.training/blogs/data-science-in-education/), [kmetijstvu](https://data-flair.training/blogs/data-science-in-agriculture/), [financah](https://data-flair.training/blogs/data-science-in-finance/), [filmih](https://data-flair.training/blogs/data-science-at-movies/) in več.
* [12 resničnih aplikacij podatkovne znanosti s primeri](https://www.scaler.com/blog/data-science-applications/) - maj 2024
@ -152,4 +153,4 @@ Poiščite članke, ki priporočajo projekte podatkovne znanosti, primerni za za
---
**Omejitev odgovornosti**:
Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazume ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda.
Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.
Почели смо са дефиницијама науке о подацима и етике, истраживали различите алате и технике за анализу и визуализацију података, прегледали животни циклус науке о подацима и разматрали скалирање и аутоматизацију радних токова науке о подацима уз помоћ услуга облачног рачунарства. Дакле, вероватно се питате: _"Како тачно да применим све ово знање у стварним контекстима?"_
Почели смо са дефиницијама науке о подацима и етике, истражили различите алате и технике за анализу и визуализацију података, прегледали животни циклус науке о подацима и погледали како се процеси науке о подацима могу скалирати и аутоматизовати уз помоћ услуга облачног рачунарства. Сада се вероватно питате: _"Како тачно да применим све ово знање у стварним контекстима?"_
У овој лекцији, истражићемо примене науке о подацима у стварном свету кроз различите индустрије и дубље се упустити у конкретне примере из области истраживања, дигиталних хуманистичких наука и одрживости. Погледаћемо могућности студентских пројеката и закључити са корисним ресурсима који ће вам помоћи да наставите своје путовање учења!
У овој лекцији истражићемо примену науке о подацима у различитим индустријама и дубље се позабавити конкретним примерима у истраживању, дигиталним хуманистичким наукама и одрживости. Погледаћемо могућности студентских пројеката и закључити са корисним ресурсима који ће вам помоћи да наставите своје путовање учења!
## Квиз пре предавања
@ -25,7 +25,7 @@ CO_OP_TRANSLATOR_METADATA:
## Наука о подацима + Индустрија
Захваљујући демократизацији вештачке интелигенције, програмери сада лакше дизајнирају и интегришу одлуке засноване на вештачкој интелигенцији и увиде засноване на подацима у корисничка искуства и радне токове развоја. Ево неколико примера како се наука о подацима "примењује" у стварним апликацијама у индустрији:
Захваљујући демократизацији вештачке интелигенције, програмери сада лакше дизајнирају и интегришу одлуке засноване на вештачкој интелигенцији и увиде засноване на подацима у корисничка искуства и развојне токове рада. Ево неколико примера како се наука о подацима "примењује" у стварним апликацијама у индустрији:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) је користио науку о подацима за корелацију термина претраге са трендовима грипа. Иако је приступ имао недостатке, подигао је свест о могућностима (и изазовима) предвиђања у здравству заснованог на подацима.
@ -41,7 +41,7 @@ CO_OP_TRANSLATOR_METADATA:
* [Наука о подацима у здравству](https://data-flair.training/blogs/data-science-in-healthcare/) - истиче апликације као што су медицинска сликања (нпр. MRI, X-Ray, CT-Scan), геномика (секвенцирање ДНК), развој лекова (процена ризика, предвиђање успеха), предиктивна аналитика (нега пацијената и логистика снабдевања), праћење и превенција болести итд.
 Извор слике: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Извор слике: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Слика приказује друге домене и примере примене техника науке о подацима. Желите да истражите друге апликације? Погледајте секцију [Преглед и самостално учење](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) испод.
| Наука о подацима и истраживање - _Скетч од [@nitya](https://twitter.com/nitya)_ |
Док сепримене у стварном свету често фокусирају на индустријске случајеве употребе у великом обиму, апликације и пројекти у_истраживању_ могу бити корисни из две перспективе:
Док сестварне апликације често фокусирају на индустријске случајеве употребе у великом обиму, апликације и пројекти у_истраживању_ могу бити корисни из две перспективе:
* _могућности иновација_ - истраживање брзог прототиписања напредних концепата и тестирање корисничких искустава за апликације следеће генерације.
* _изазови у имплементацији_ - истраживање потенцијалних штета или нежељених последица технологија науке о подацима у стварним контекстима.
@ -62,11 +62,11 @@ CO_OP_TRANSLATOR_METADATA:
* **Шта:** Циљ истраживачког пројекта био је_процена пристрасности присутне у алгоритмима и скуповима података за аутоматску анализу лица_ на основу пола и типа коже.
* **Зашто:** Анализа лица се користи у областима као што су спровођење закона, безбедност на аеродромима, системи за запошљавање и више - контексти где нетачне класификације (нпр. због пристрасности) могу изазвати потенцијалне економске и социјалне штете за погођене појединце или групе. Разумевање (и елиминисање или ублажавање) пристрасности је кључно за правичност у употреби.
* **Како:** Истраживачи су препознали да постојећи бенчмаркови углавном користе субјекте светлије коже и креирали нови скуп података (1000+ слика) који је_вишеуравнотежен_ по полу и типу коже. Скуп података је коришћен за процену тачности три производа за класификацију пола (од Microsoft-а, IBM-а и Face++).
* **Како:** Истраживачи су препознали да постојећи бенчмаркови углавном користе субјекте светлије коже и креирали нови скуп података (1000+ слика) који је_вишеизбалансиран_ по полу и типу коже. Скуп података је коришћен за процену тачности три производа за класификацију пола (од Microsoft-а, IBM-а и Face++).
Резултати су показали да, иако је укупна тачност класификације била добра, постојала је приметна разлика у стопама грешака између различитих подгрупа - са**погрешним одређивањем пола** које је било веће за жене или особе тамније коже, што указује на пристрасност.
**Кључни резултати:** Подигнута је свест да наука о подацима захтева више _репрезентативних скупова података_ (уравнотежене подгрупе) и више _инклузивних тимова_ (разнолике позадине) како би се препознале и елиминисале или ублажиле такве пристрасности раније у AI решењима. Истраживачки напори попут овог такођесу кључни за многе организације у дефинисању принципа и пракси за _одговорну AI_ради побољшања правичностиу њиховим AI производима и процесима.
**Кључни резултати:** Подигнута је свест да наука о подацима захтева више _репрезентативних скупова података_ (избалансиране подгрупе) и више _инклузивних тимова_ (разнолике позадине) како би се препознале и елиминисале или ублажиле такве пристрасности раније у AI решењима. Истраживачки напори попут овог сутакође кључни за многе организације у дефинисању принципа и пракси за _одговорну AI_како би се побољшала правичносту њиховим AI производима и процесима.
**Желите да сазнате више о релевантним истраживачким напорима у Microsoft-у?**
@ -90,9 +90,9 @@ CO_OP_TRANSLATOR_METADATA:
* [`Прикупљање података`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - за прикупљање релевантног скупа података за анализу. Опције укључују коришћење API-ја (нпр. [Poetry DB API](https://poetrydb.org/index.html)) или скрапање веб страница (нпр. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) коришћењем алата као што је [Scrapy](https://scrapy.org/).
* [`Чишћење података`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - објашњава како текст може бити форматиран, очишћен и поједностављен коришћењем основних алата као што су Visual Studio Code и Microsoft Excel.
* [`Анализа података`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - објашњава како можемо сада увозити скуп података у "Бележнице" за анализу коришћењем Python пакета (као што су pandas, numpy и matplotlib) за организовање и визуализацију података.
* [`Анализа сентимента`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - објашњава како можемо интегрисати облачне услуге као што је Text Analytics, користећи алате са мало кода као што је [Power Automate](https://flow.microsoft.com/en-us/) за аутоматизоване радне токове обраде података.
* [`Анализа сентимента`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - објашњава како можемо интегрисати облачне услуге као што је Text Analytics, користећи алате са мало кода као што је [Power Automate](https://flow.microsoft.com/en-us/) за аутоматизоване токове рада обраде података.
Коришћењем овог радног тока, можемо истражити сезонске утицаје на сентимент песама и помоћи нам да формирамо сопствене перспективе о аутору. Испробајте сами - затим проширите бележницу да поставите друга питања или визуализујете податке на нове начине!
Коришћењем овог тока рада, можемо истражити сезонске утицаје на сентимент песама и помоћи нам да формирамо сопствене перспективе о аутору. Испробајте сами - затим проширите бележницу да поставите друга питања или визуализујете податке на нове начине!
> Можете користити неке од алата из [алатке за дигиталне хуманистичке науке](https://github.com/Digital-Humanities-Toolkit) за истраживање ових области.
| Наука о подацима и одрживост - _Скетч од [@nitya](https://twitter.com/nitya)_ |
[Агенда за одрживи развој до 2030. године](https://sdgs.un.org/2030agenda) - коју су усвојиле све чланице Уједињених нација 2015. године - идентификује 17 циљева, укључујући оне који се фокусирају на **заштиту планете** од деградације и утицаја климатских промена. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) иницијатива подржава ове циљеве истраж
[Агенда за одрживи развој до 2030. године](https://sdgs.un.org/2030agenda) - коју су усвојиле све чланице Уједињених нација 2015. године - идентификује 17 циљева, укључујући оне који се фокусирају на **заштиту планете** од деградације и утицаја климатских промена. Иницијатива [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) подржава ове циљеве истражујући начине на које техн
**Пројекат Планетарни Компјутер је тренутно у прегледу (од септембра 2021)** - ево како можете започети допринос решењима за одрживост користећи науку о подацима.
* [Затражите приступ](https://planetarycomputer.microsoft.com/account/request) да започнете истраживање и повежете сеса колегама.
* [Истражите документацију](https://planetarycomputer.microsoft.com/docs/overview/about) да бисте разумели подржане скупове података и API-је.
* Истражите апликације као што је [Мониторинг екосистема](https://analytics-lab.org/ecosystemmonitoring/) за инспирацију за идеје апликација.
* Истражите апликације као што је [Мониторинг екосистема](https://analytics-lab.org/ecosystemmonitoring/) за инспирацију о идејама за апликације.
Размислите о томе како можете користити визуализацију података да откријете или нагласите релевантне увиде у области као што су климатске промене и крчење шума. Или размислите о томе како увиди могу бити искоришћени за креирање нових корисничких искустава која мотивишу промене у понашању за одрживији начин живота.
Размислите о томе како можете користити визуализацију података да откријете или нагласите релевантне увиде у области као што су климатске промене и крчење шума. Или размислите о томе како увиди могу бити коришћени за креирање нових корисничких искустава која мотивишу промене у понашању за одрживији начин живота.
## Наука о подацима + Студенти
@ -118,13 +118,13 @@ CO_OP_TRANSLATOR_METADATA:
Ево неколико примера студентских пројеката из области науке о подацима који могу да вас инспиришу.
* [MSR Летња школа науке о подацима](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) са GitHub [пројектима](https://github.com/msr-ds3) који истражују теме као што су:
- [Расна пристрасност у употреби силе од стране полиције](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Поузданост система метроа у Њујорку](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
- [Расна пристрасност у употреби силе од стране полиције](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Поузданост система метроа у Њујорку](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Дигитализација материјалне културе: Истраживање социо-економских дистрибуција у Сиркапу](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - од [Орнела Алтуњан](https://twitter.com/ornelladotcom) и тима из Клермонта, користећи [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Изазов
Претражите чланке који препоручују пројекте из области науке о подацима који су погодни за почетнике - као [ових 50 тема](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) или [ових 21 идеја за пројекте](https://www.intellspot.com/data-science-project-ideas) или [ових 16 пројеката са изворним кодом](https://data-flair.training/blogs/data-science-project-ideas/) које можете анализирати и прерадити. И не заборавите да пишете блогове о својим путовањима учења и делите своје увиде са свима нама.
Претражите чланке који препоручују пројекте из области науке о подацима који су погодни за почетнике - као [ових 50 тема](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) или [ових 21 идеја за пројекте](https://www.intellspot.com/data-science-project-ideas) или [ових 16 пројеката са изворним кодом](https://data-flair.training/blogs/data-science-project-ideas/) које можете анализирати и прилагодити. И не заборавите да пишете блогове о својим путовањима учења и делите своје увиде са свима нама.
## Квиз након предавања
@ -132,11 +132,12 @@ CO_OP_TRANSLATOR_METADATA:
## Преглед и самостално учење
Желите да истражите више примера употребе? Ево неколико релевантних чланака:
Желите да истражите више примена? Ево неколико релевантних чланака:
* [17 Примена и примера науке о подацима](https://builtin.com/data-science/data-science-applications-examples) - јул 2021
* [11 Задивљујућих примена науке о подацима у стварном свету](https://myblindbird.com/data-science-applications-real-world/) - мај 2021
* [Наука о подацима у стварном свету](https://towardsdatascience.com/data-science-in-the-real-world/home) - Збирка чланака
* Наука о подацима у: [образовању](https://data-flair.training/blogs/data-science-in-education/), [пољопривреди](https://data-flair.training/blogs/data-science-in-agriculture/), [финансијама](https://data-flair.training/blogs/data-science-in-finance/), [филмовима](https://data-flair.training/blogs/data-science-at-movies/) и још много тога.
* [Наука о подацима у стварном свету](https://towardsdatascience.com/data-science-in-the-real-world/home) - збирка чланака
* [12 Примена науке о подацима у стварном свету са примерима](https://www.scaler.com/blog/data-science-applications/) - мај 2024
* Наука о подацима у: [образовању](https://data-flair.training/blogs/data-science-in-education/), [пољопривреди](https://data-flair.training/blogs/data-science-in-agriculture/), [финансијама](https://data-flair.training/blogs/data-science-in-finance/), [филмовима](https://data-flair.training/blogs/data-science-at-movies/), [здравственој заштити](https://onlinedegrees.sandiego.edu/data-science-health-care/) и још много тога.
## Задатак
@ -145,4 +146,4 @@ CO_OP_TRANSLATOR_METADATA:
---
**Одрицање од одговорности**:
Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да превод буде тачан, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Непреузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.
Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Несносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода.
Vi började med att definiera data science och etik, utforskade olika verktyg och tekniker för dataanalys och visualisering, granskade data science-livscykeln och tittade på hur man kan skala och automatisera arbetsflöden med molntjänster. Så du kanske undrar: _"Hur kan jag koppla allt detta till verkliga sammanhang?"_
Vi började med att definiera data science och etik, utforskade olika verktyg och tekniker för dataanalys och visualisering, gick igenom data science-livscykeln och tittade på hur man kan skala och automatisera data science-arbetsflöden med molntjänster. Så du kanske undrar: _"Hur kan jag koppla allt detta till verkliga sammanhang?"_
I denna lektion kommer vi att utforska verkliga tillämpningar av data science inom olika branscher och dyka ner i specifika exempel inom forskning, digital humaniora och hållbarhet. Vi kommer att titta på studentprojektmöjligheter och avsluta med användbara resurser för att hjälpa dig fortsätta din läranderesa!
Tack vare AI:s demokratisering är det nu enklare för utvecklare att designa och integrera AI-drivna beslutsprocesser och insikter baserade på data i användarupplevelser och utvecklingsarbetsflöden. Här är några exempel på hur data science används i verkliga tillämpningar inom olika branscher:
Tack vare AI:s demokratisering är det nu enklare för utvecklare att designa och integrera AI-drivna beslutsprocesser och datadrivna insikter i användarupplevelser och utvecklingsarbetsflöden. Här är några exempel på hur data science används i verkliga tillämpningar inom industrin:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) använde data science för att korrelera söktermer med influensatrender. Även om metoden hade brister, väckte den medvetenhet om möjligheterna (och utmaningarna) med datadrivna hälsoprediktioner.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - förklarar hur UPS använder data science och maskininlärning för att förutsäga optimala leveransrutter, med hänsyn till väderförhållanden, trafikmönster, leveransdeadlines och mer.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data insamlad via [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hjälpte till att visualisera en dag i livet för NYC:s taxibilar, vilket gav insikter om hur de navigerar i den hektiska staden, hur mycket pengar de tjänar och hur lång tid resorna tar under en 24-timmarsperiod.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - data insamlad med hjälp av [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) hjälpte till att visualisera en dag i livet för NYC-taxibilar, vilket gav insikter om hur de navigerar i den hektiska staden, hur mycket pengar de tjänar och hur lång tid resorna tar under en 24-timmarsperiod.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - använder data (om upphämtnings- och avlämningsplatser, reslängd, föredragna rutter etc.) insamlad från miljontals Uber-resor *dagligen* för att bygga ett analysverktyg som hjälper med prissättning, säkerhet, bedrägeridetektion och navigeringsbeslut.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - använder data (om upphämtnings- och avlämningsplatser, reslängd, föredragna rutter etc.) insamlad från miljontals Uber-resor *dagligen* för att bygga ett dataanalysverktyg som hjälper med prissättning, säkerhet, bedrägeridetektion och navigeringsbeslut.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokuserar på _prediktiv analys_ (lag- och spelaranalys - tänk [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - och hantering av fans) och _datavisualisering_ (lag- och fandashboards, spel etc.) med tillämpningar som talangscouting, sportspel och inventarie-/arenahantering.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - fokuserar på _prediktiv analys_ (lag- och spelaranalys - tänk [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - och hantering av fans) och _datavisualisering_ (lag- och fandashboards, spel etc.) med tillämpningar som talangscouting, sportspel och hantering av inventarier/arenor.
* [Data Science i Banksektorn](https://data-flair.training/blogs/data-science-in-banking/) - lyfter fram värdet av data science inom finansindustrin med tillämpningar som riskmodellering och bedrägeridetektion, kundsegmentering, realtidsprognoser och rekommendationssystem. Prediktiv analys driver också viktiga mått som [kreditvärderingar](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science i Hälso- och sjukvård](https://data-flair.training/blogs/data-science-in-healthcare/) - lyfter fram tillämpningar som medicinsk bildbehandling (t.ex. MRI, röntgen, CT-skanning), genomik (DNA-sekvensering), läkemedelsutveckling (riskbedömning, framgångsprognoser), prediktiv analys (patientvård och logistik), sjukdomsspårning och förebyggande åtgärder.
* [Data Science inom Hälsovård](https://data-flair.training/blogs/data-science-in-healthcare/) - lyfter fram tillämpningar som medicinsk bildbehandling (t.ex. MRI, röntgen, CT-skanning), genomik (DNA-sekvensering), läkemedelsutveckling (riskbedömning, framgångsprognoser), prediktiv analys (patientvård och logistik), sjukdomsspårning och förebyggande åtgärder.
 Bildkälla: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Bildkälla: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Figuren visar andra områden och exempel på hur data science-tekniker kan tillämpas. Vill du utforska fler tillämpningar? Kolla in [Granskning & Självstudier](../../../../6-Data-Science-In-Wild/20-Real-World-Examples)-avsnittet nedan.
Figuren visar andra områden och exempel på hur data science-tekniker kan tillämpas. Vill du utforska fler tillämpningar? Kolla in [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples)-avsnittet nedan.
## Data Science + Forskning
@ -51,24 +51,24 @@ Figuren visar andra områden och exempel på hur data science-tekniker kan till
| Data Science & Forskning - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
Medan verkliga tillämpningar ofta fokuserar på bruksfall inom industrin i stor skala, kan _forskningsprojekt_ vara användbara ur två perspektiv:
Medan verkliga tillämpningar ofta fokuserar på industriella användningsfall i stor skala, kan _forskningsprojekt_ vara användbara ur två perspektiv:
* _innovationsmöjligheter_ - utforska snabb prototypframtagning av avancerade koncept och testa användarupplevelser för nästa generations tillämpningar.
* _innovationsmöjligheter_ - utforska snabb prototypframtagning av avancerade koncept och testning av användarupplevelser för nästa generations applikationer.
* _implementeringsutmaningar_ - undersök potentiella skador eller oavsiktliga konsekvenser av data science-teknologier i verkliga sammanhang.
För studenter kan dessa forskningsprojekt erbjuda både lärande och samarbetsmöjligheter som förbättrar din förståelse för ämnet och breddar din medvetenhet och engagemang med relevanta personer eller team som arbetar inom intressanta områden. Så hur ser forskningsprojekt ut och hur kan de göra skillnad?
För studenter kan dessa forskningsprojekt ge både lärande och samarbetsmöjligheter som förbättrar din förståelse för ämnet och breddar din medvetenhet och engagemang med relevanta personer eller team som arbetar inom intressanta områden. Så hur ser forskningsprojekt ut och hur kan de göra skillnad?
Låt oss titta på ett exempel - [MIT Gender Shades Study](http://gendershades.org/overview.html) av Joy Buolamwini (MIT Media Labs) med en [signaturforskningsartikel](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) medförfattad av Timnit Gebru (då vid Microsoft Research) som fokuserade på:
* **Vad:** Syftet med forskningsprojektet var att _utvärdera bias i automatiserade algoritmer och dataset för ansiktsanalys_ baserat på kön och hudtyp.
* **Varför:** Ansiktsanalys används inom områden som brottsbekämpning, flygplatssäkerhet, rekryteringssystem och mer - sammanhang där felaktiga klassificeringar (t.ex. på grund av bias) kan orsaka potentiella ekonomiska och sociala skador för drabbade individer eller grupper. Att förstå (och eliminera eller mildra) bias är avgörande för rättvisa i användningen.
* **Hur:** Forskarna insåg att befintliga benchmarks huvudsakligen använde ljushyade personer och skapade ett nytt dataset (1000+ bilder) som var _mer balanserat_ vad gäller kön och hudtyp. Datasetet användes för att utvärdera noggrannheten hos tre könsklassificeringsprodukter (från Microsoft, IBM & Face++).
* **Vad:** Syftet med forskningsprojektet var att _utvärdera bias i automatiserade algoritmer och dataset för ansiktsanalys_ baserat på kön och hudtyp.
* **Varför:** Ansiktsanalys används inom områden som brottsbekämpning, flygplatssäkerhet, rekryteringssystem och mer - sammanhang där felaktiga klassificeringar (t.ex. på grund av bias) kan orsaka ekonomiska och sociala skador för drabbade individer eller grupper. Att förstå (och eliminera eller mildra) bias är avgörande för rättvisa i användningen.
* **Hur:** Forskarna insåg att befintliga benchmarks huvudsakligen använde ljushyade personer och skapade ett nytt dataset (1000+ bilder) som var _mer balanserat_ vad gäller kön och hudtyp. Datasetet användes för att utvärdera noggrannheten hos tre könsklassificeringsprodukter (från Microsoft, IBM & Face++).
Resultaten visade att även om den totala klassificeringsnoggrannheten var bra, fanns det en märkbar skillnad i felprocent mellan olika undergrupper - med **felkönande** som högre för kvinnor eller personer med mörkare hudtyper, vilket indikerar bias.
Resultaten visade att även om den totala klassificeringsnoggrannheten var bra, fanns det en märkbar skillnad i felprocent mellan olika undergrupper - med **felkönande** som var högre för kvinnor eller personer med mörkare hudtyper, vilket indikerar bias.
**Viktiga Resultat:** Ökad medvetenhet om att data science behöver mer _representativa dataset_ (balanserade undergrupper) och mer _inkluderande team_ (mångfaldiga bakgrunder) för att identifiera och eliminera eller mildra sådana bias tidigt i AI-lösningar. Forskningsinsatser som denna är också avgörande för att många organisationer ska kunna definiera principer och praxis för _ansvarsfull AI_ för att förbättra rättvisa i sina AI-produkter och processer.
**Viktiga Resultat:** Ökad medvetenhet om att data science behöver mer _representativa dataset_ (balanserade undergrupper) och mer _inkluderande team_ (mångsidiga bakgrunder) för att identifiera och eliminera eller mildra sådana bias tidigt i AI-lösningar. Forskningsinsatser som denna är också avgörande för att många organisationer ska kunna definiera principer och praxis för _ansvarsfull AI_ för att förbättra rättvisa i sina AI-produkter och processer.
**Vill du lära dig om relevanta forskningsinsatser på Microsoft?**
**Vill du lära dig om relevanta forskningsinsatser på Microsoft?**
* Kolla in [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) inom artificiell intelligens.
* Utforska studentprojekt från [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
@ -80,7 +80,7 @@ Resultaten visade att även om den totala klassificeringsnoggrannheten var bra,
| Data Science & Digital Humaniora - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
Digital humaniora [har definierats](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling av metoder och tillvägagångssätt som kombinerar beräkningsmetoder med humanistisk forskning". [Stanford-projekt](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ och _"poetic thinking"_ illustrerar kopplingen mellan [Digital Humaniora och Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med betoning på tekniker som nätverksanalys, informationsvisualisering, rumslig och textanalys som kan hjälpa oss att återbesöka historiska och litterära dataset för att få nya insikter och perspektiv.
Digital Humaniora [har definierats](https://digitalhumanities.stanford.edu/about-dh-stanford) som "en samling av metoder och tillvägagångssätt som kombinerar beräkningsmetoder med humanistisk forskning". [Stanford-projekt](https://digitalhumanities.stanford.edu/projects) som _"rebooting history"_ och _"poetic thinking"_ illustrerar kopplingen mellan [Digital Humaniora och Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - med fokus på tekniker som nätverksanalys, informationsvisualisering, rumslig och textanalys som kan hjälpa oss att återbesöka historiska och litterära dataset för att få nya insikter och perspektiv.
*Vill du utforska och utveckla ett projekt inom detta område?*
@ -90,9 +90,9 @@ För att besvara den frågan följer vi stegen i vår data science-livscykel:
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - för att samla in ett relevant dataset för analys. Alternativ inkluderar att använda ett API (t.ex. [Poetry DB API](https://poetrydb.org/index.html)) eller att skrapa webbsidor (t.ex. [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) med verktyg som [Scrapy](https://scrapy.org/).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - förklarar hur text kan formateras, saneras och förenklas med grundläggande verktyg som Visual Studio Code och Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - förklarar hur vi kan importera datasetet till "Notebooks" för analys med Python-paket (som pandas, numpy och matplotlib) för att organisera och visualisera data.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - förklarar hur vi kan integrera molntjänster som Text Analytics, med hjälp av lågkodverktyg som [Power Automate](https://flow.microsoft.com/en-us/) för automatiserade arbetsflöden för databehandling.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - förklarar hur vi kan integrera molntjänster som Text Analytics, med hjälp av lågkodverktyg som [Power Automate](https://flow.microsoft.com/en-us/) för automatiserade databehandlingsarbetsflöden.
Med denna arbetsflöde kan vi utforska årstidernas påverkan på dikternas känslor och hjälpa oss att forma våra egna perspektiv på författaren. Prova själv - och utveckla sedan notebooken för att ställa andra frågor eller visualisera data på nya sätt!
Med denna arbetsflöde kan vi utforska årstidernas påverkan på dikternas känslor och hjälpa oss att skapa våra egna perspektiv på författaren. Testa det själv - och utveckla sedan notebooken för att ställa andra frågor eller visualisera data på nya sätt!
> Du kan använda några av verktygen i [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) för att utforska dessa forskningsvägar.
@ -102,7 +102,7 @@ Med denna arbetsflöde kan vi utforska årstidernas påverkan på dikternas kän
| Data Science & Hållbarhet - _Sketchnote av [@nitya](https://twitter.com/nitya)_ |
[Agenda 2030 för hållbar utveckling](https://sdgs.un.org/2030agenda) - antagen av alla FN-medlemmar 2015 - identifierar 17 mål, inklusive de som fokuserar på att **skydda planeten** från nedbrytning och klimatförändringarnas påverkan. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability)-initiativet stödjer dessa mål genom att utforska hur teknologilösningar kan bidra till att bygga mer hållbara framtider med ett [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - att vara koldioxidnegativa, vattenpositiva, avfallsfria och biologiskt mångfaldiga till 2030.
[Agenda 2030 för Hållbar Utveckling](https://sdgs.un.org/2030agenda) - antagen av alla FN-medlemmar 2015 - identifierar 17 mål, inklusive de som fokuserar på att **Skydda Planeten** från nedbrytning och klimatförändringarnas påverkan. [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability)-initiativet stödjer dessa mål genom att utforska hur teknologilösningar kan bidra till att bygga mer hållbara framtider med ett [fokus på 4 mål](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - att vara koldioxidnegativa, vattenpositiva, noll avfall och biologiskt mångfaldiga till 2030.
Att hantera dessa utmaningar på ett skalbart och tidsenligt sätt kräver tänkande i molnskala - och stora mängder data. [Planetary Computer](https://planetarycomputer.microsoft.com/)-initiativet erbjuder 4 komponenter för att hjälpa dataforskare och utvecklare i detta arbete:
@ -110,40 +110,41 @@ Att hantera dessa utmaningar på ett skalbart och tidsenligt sätt kräver tänk
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - för att hjälpa användare att söka efter relevant data över tid och rum.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - en hanterad miljö för forskare att bearbeta massiva geospatiala dataset.
* [Applications](https://planetarycomputer.microsoft.com/applications) - visar användningsfall och verktyg för insikter om hållbarhet.
**Planetary Computer-projektet är för närvarande i förhandsvisning (från och med september 2021)** - här är hur du kan börja bidra till hållbarhetslösningar med hjälp av dataanalys.
**Planetary Computer-projektet är för närvarande i förhandsvisning (från och med september 2021)** - här är hur du kan börja bidra till hållbara lösningar med hjälp av data science.
* [Begär åtkomst](https://planetarycomputer.microsoft.com/account/request) för att börja utforska och ansluta med andra.
* [Begär åtkomst](https://planetarycomputer.microsoft.com/account/request) för att börja utforska och koppla samman med andra.
* [Utforska dokumentation](https://planetarycomputer.microsoft.com/docs/overview/about) för att förstå vilka dataset och API:er som stöds.
* Utforska applikationer som [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) för inspiration till applikationsidéer.
Fundera på hur du kan använda datavisualisering för att avslöja eller förstärka relevanta insikter inom områden som klimatförändringar och avskogning. Eller fundera på hur insikter kan användas för att skapa nya användarupplevelser som motiverar beteendeförändringar för ett mer hållbart liv.
## Dataanalys + Studenter
## Data Science + Studenter
Vi har pratat om verkliga applikationer inom industri och forskning, och utforskat exempel på dataanalysapplikationer inom digital humaniora och hållbarhet. Så hur kan du bygga dina färdigheter och dela din expertis som nybörjare inom dataanalys?
Vi har pratat om verkliga tillämpningar inom industrin och forskningen och utforskat exempel på data science-applikationer inom digital humaniora och hållbarhet. Så hur kan du bygga dina färdigheter och dela din expertis som nybörjare inom data science?
Här är några exempel på studentprojekt inom dataanalys för att inspirera dig.
Här är några exempel på studentprojekt inom data science för att inspirera dig.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) med GitHub [projekt](https://github.com/msr-ds3) som utforskar ämnen som:
- [Rasistisk bias i polisens användning av våld](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Tillförlitlighet i New Yorks tunnelbanesystem](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisering av materiell kultur: Utforska socio-ekonomiska fördelningar i Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - från [Ornella Altunyan](https://twitter.com/ornelladotcom) och teamet på Claremont, med hjälp av [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) med GitHub [projekt](https://github.com/msr-ds3) som utforskar ämnen som:
- [Rasistisk partiskhet i polisens användning av våld](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Tillförlitligheten hos New Yorks tunnelbanesystem](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitalisering av materiell kultur: Utforska socio-ekonomiska fördelningar i Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - från [Ornella Altunyan](https://twitter.com/ornelladotcom) och teamet vid Claremont, med hjälp av [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Utmaning
Sök efter artiklar som rekommenderar dataanalysprojekt som är nybörjarvänliga - som [dessa 50 ämnesområden](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [dessa 21 projektidéer](https://www.intellspot.com/data-science-project-ideas) eller [dessa 16 projekt med källkod](https://data-flair.training/blogs/data-science-project-ideas/) som du kan analysera och remix. Och glöm inte att blogga om dina läranderesor och dela dina insikter med oss alla.
Sök efter artiklar som rekommenderar data science-projekt som är nybörjarvänliga - som [dessa 50 ämnesområden](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) eller [dessa 21 projektidéer](https://www.intellspot.com/data-science-project-ideas) eller [dessa 16 projekt med källkod](https://data-flair.training/blogs/data-science-project-ideas/) som du kan analysera och remix. Och glöm inte att blogga om dina läranderesor och dela dina insikter med oss alla.
## Quiz efter föreläsningen
## Efterföreläsningsquiz
## [Quiz efter föreläsningen](https://ff-quizzes.netlify.app/en/ds/quiz/39)
Vill du utforska fler användningsområden? Här är några relevanta artiklar:
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - juli 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) - artikelkollektion
* Data Science In: [Utbildning](https://data-flair.training/blogs/data-science-in-education/), [Jordbruk](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Filmer](https://data-flair.training/blogs/data-science-at-movies/) & mer.
* [17 Data Science-applikationer och exempel](https://builtin.com/data-science/data-science-applications-examples) - juli 2021
* [11 Fantastiska Data Science-applikationer i verkliga världen](https://myblindbird.com/data-science-applications-real-world/) - maj 2021
* [Data Science i den verkliga världen](https://towardsdatascience.com/data-science-in-the-real-world/home) - Artikelkollektion
* [12 Verkliga Data Science-applikationer med exempel](https://www.scaler.com/blog/data-science-applications/) - maj 2024
* Data Science inom: [Utbildning](https://data-flair.training/blogs/data-science-in-education/), [Jordbruk](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Film](https://data-flair.training/blogs/data-science-at-movies/), [Hälsovård](https://onlinedegrees.sandiego.edu/data-science-health-care/) och mer.
## Uppgift
@ -152,4 +153,4 @@ Vill du utforska fler användningsområden? Här är några relevanta artiklar:
---
**Ansvarsfriskrivning**:
Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, bör det noteras att automatiserade översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess originalspråk bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell human översättning. Vi ansvarar inte för eventuella missförstånd eller feltolkningar som kan uppstå vid användning av denna översättning.
Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, bör det noteras att automatiserade översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess originalspråk bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för eventuella missförstånd eller feltolkningar som uppstår vid användning av denna översättning.
Tulianza na ufafanuzi wa sayansi ya takwimu na maadili, tukachunguza zana na mbinu mbalimbali za uchambuzi na uwasilishaji wa takwimu, tukapitia mzunguko wa maisha wa sayansi ya takwimu, na tukatazama jinsi ya kupanua na kuendesha kazi za sayansi ya takwimu kwa kutumia huduma za kompyuta za wingu. Kwa hivyo, labda unajiuliza: _"Je, ninawezaje kuhusisha yote haya na muktadha wa ulimwengu halisi?"_
Tulianza na ufafanuzi wa sayansi ya takwimu na maadili, tukachunguza zana na mbinu mbalimbali za uchambuzi na uwasilishaji wa takwimu, tukapitia mzunguko wa maisha wa sayansi ya takwimu, na tukatazama jinsi ya kupanua na kuendesha kazi za sayansi ya takwimu kwa kutumia huduma za kompyuta za wingu. Kwa hivyo, labda unajiuliza: _"Ninawezaje kuhusisha yote haya na muktadha wa ulimwengu halisi?"_
Katika somo hili, tutachunguza matumizi ya sayansi ya takwimu katika sekta mbalimbali na kuangazia mifano maalum katika utafiti, ubinadamu wa kidijitali, na uendelevu. Tutatazama fursa za miradi ya wanafunzi na kumalizia na rasilimali muhimu zitakazokusaidia kuendelea na safari yako ya kujifunza!
Katika somo hili, tutachunguza matumizi ya sayansi ya takwimu katika sekta mbalimbali na kuangalia mifano maalum katika utafiti, masuala ya kidigitali ya kibinadamu, na uendelevu. Tutatazama fursa za miradi ya wanafunzi na kumalizia na rasilimali muhimu zitakazokusaidia kuendelea na safari yako ya kujifunza!
## Maswali Kabla ya Somo
@ -25,23 +25,23 @@ Katika somo hili, tutachunguza matumizi ya sayansi ya takwimu katika sekta mbali
## Sayansi ya Takwimu + Sekta
Shukrani kwa demokrasia ya AI, sasa watengenezaji wanapata urahisi wa kubuni na kuunganisha maamuzi yanayoendeshwa na AI na maarifa yanayotokana na takwimu katika uzoefu wa watumiaji na mtiririko wa kazi za maendeleo. Hapa kuna mifano kadhaa ya jinsi sayansi ya takwimu inavyotumika katika ulimwengu halisi kwenye sekta mbalimbali:
Shukrani kwa upatikanaji wa AI kwa urahisi, sasa watengenezaji wanapata urahisi wa kubuni na kuunganisha maamuzi yanayoendeshwa na AI na maarifa yanayotokana na takwimu katika uzoefu wa watumiaji na kazi za maendeleo. Hapa kuna mifano kadhaa ya jinsi sayansi ya takwimu inavyotumika katika ulimwengu halisi kwenye sekta mbalimbali:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) ilitumia sayansi ya takwimu kuhusisha maneno ya utafutaji na mwenendo wa mafua. Ingawa mbinu hiyo ilikuwa na mapungufu, ilileta ufahamu kuhusu uwezekano (na changamoto) za utabiri wa afya unaotegemea takwimu.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - inaelezea jinsi UPS inavyotumia sayansi ya takwimu na ujifunzaji wa mashine kutabiri njia bora za usafirishaji, ikizingatia hali ya hewa, mifumo ya trafiki, muda wa mwisho wa utoaji, na zaidi.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - inaelezea jinsi UPS inavyotumia sayansi ya takwimu na ujifunzaji wa mashine kutabiri njia bora za usafirishaji, ikizingatia hali ya hewa, mifumo ya trafiki, muda wa kuwasilisha na zaidi.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - takwimu zilizokusanywa kwa kutumia [Sheria za Uhuru wa Habari](https://chriswhong.com/open-data/foil_nyc_taxi/) zilisaidia kuonyesha siku moja katika maisha ya teksi za NYC, zikituonyesha jinsi zinavyosafiri katika jiji lenye shughuli nyingi, pesa wanazopata, na muda wa safari kwa kila kipindi cha masaa 24.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - inatumia takwimu (kama maeneo ya kuchukua na kushusha, muda wa safari, njia zinazopendekezwa n.k.) zilizokusanywa kutoka mamilioni ya safari za Uber *kila siku* kujenga zana ya uchambuzi wa takwimu kusaidia katika bei, usalama, kugundua udanganyifu, na maamuzi ya urambazaji.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - inatumia takwimu (kama maeneo ya kuchukua na kushusha, muda wa safari, njia zinazopendekezwa n.k.) zilizokusanywa kutoka mamilioni ya safari za Uber *kila siku* kujenga zana ya uchambuzi wa takwimu kusaidia katika bei, usalama, kugundua udanganyifu na maamuzi ya urambazaji.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - inazingatia _uchambuzi wa utabiri_ (uchambuzi wa timu na wachezaji - fikiria [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - na usimamizi wa mashabiki) na _uwasilishaji wa takwimu_ (dashibodi za timu na mashabiki, michezo n.k.) na matumizi kama utafutaji wa vipaji, kamari ya michezo, na usimamizi wa vifaa/maeneo.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - inalenga _uchambuzi wa utabiri_ (uchambuzi wa timu na wachezaji - fikiria [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - na usimamizi wa mashabiki) na _uwasilishaji wa takwimu_ (dashibodi za timu na mashabiki, michezo n.k.) na matumizi kama utafutaji wa vipaji, kamari ya michezo na usimamizi wa vifaa/maeneo.
* [Sayansi ya Takwimu Katika Benki](https://data-flair.training/blogs/data-science-in-banking/) - inaonyesha thamani ya sayansi ya takwimu katika sekta ya fedha na matumizi yanayojumuisha modeli za hatari, kugundua udanganyifu, kugawanya wateja, utabiri wa wakati halisi, na mifumo ya mapendekezo. Uchambuzi wa utabiri pia unaendesha hatua muhimu kama [alama za mkopo](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Sayansi ya Takwimu katika Benki](https://data-flair.training/blogs/data-science-in-banking/) - inaonyesha thamani ya sayansi ya takwimu katika sekta ya fedha na matumizi yanayojumuisha modeli za hatari na kugundua udanganyifu, kugawanya wateja, utabiri wa wakati halisi na mifumo ya mapendekezo. Uchambuzi wa utabiri pia unaendesha hatua muhimu kama [alama za mkopo](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Sayansi ya Takwimu Katika Afya](https://data-flair.training/blogs/data-science-in-healthcare/) - inaonyesha matumizi kama picha za matibabu (mfano, MRI, X-Ray, CT-Scan), genomics (mpangilio wa DNA), maendeleo ya dawa (tathmini ya hatari, utabiri wa mafanikio), uchambuzi wa utabiri (huduma ya wagonjwa na vifaa vya usambazaji), ufuatiliaji wa magonjwa na kuzuia n.k.
* [Sayansi ya Takwimu katika Afya](https://data-flair.training/blogs/data-science-in-healthcare/) - inaonyesha matumizi kama picha za matibabu (mfano, MRI, X-Ray, CT-Scan), genomics (mpangilio wa DNA), maendeleo ya dawa (tathmini ya hatari, utabiri wa mafanikio), uchambuzi wa utabiri (huduma ya mgonjwa na vifaa vya usambazaji), ufuatiliaji wa magonjwa na kuzuia n.k.
 Picha: [Data Flair: Matumizi 6 ya Kushangaza ya Sayansi ya Takwimu ](https://data-flair.training/blogs/data-science-applications/)
 Picha: [Data Flair: Matumizi 6 ya Kushangaza ya Sayansi ya Takwimu ](https://data-flair.training/blogs/data-science-applications/)
Mchoro unaonyesha maeneo mengine na mifano ya kutumia mbinu za sayansi ya takwimu. Unataka kuchunguza matumizi mengine? Angalia sehemu ya [Mapitio na Kujisomea](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) hapa chini.
@ -51,22 +51,22 @@ Mchoro unaonyesha maeneo mengine na mifano ya kutumia mbinu za sayansi ya takwim
| Sayansi ya Takwimu & Utafiti - _Sketchnote na [@nitya](https://twitter.com/nitya)_ |
Ingawa matumizi ya ulimwengu halisi mara nyingi yanazingatia kesi za matumizi ya sekta kwa kiwango kikubwa, matumizi ya _utafiti_ na miradi inaweza kuwa muhimu kutoka mitazamo miwili:
Ingawa matumizi ya ulimwengu halisi mara nyingi yanazingatia kesi za sekta kwa kiwango kikubwa, matumizi ya _utafiti_ na miradi inaweza kuwa muhimu kutoka mitazamo miwili:
* _fursa za uvumbuzi_ - kuchunguza prototyping ya haraka ya dhana za hali ya juu na kupima uzoefu wa watumiaji kwa matumizi ya kizazi kijacho.
* _changamoto za utekelezaji_ - kuchunguza madhara yanayoweza kutokea au matokeo yasiyotarajiwa ya teknolojia za sayansi ya takwimu katika muktadha wa ulimwengu halisi.
Kwa wanafunzi, miradi hii ya utafiti inaweza kutoa fursa za kujifunza na kushirikiana ambazo zinaweza kuboresha uelewa wako wa mada, na kupanua ufahamu wako na ushirikiano na watu au timu zinazofanya kazi katika maeneo ya maslahi. Kwa hivyo miradi ya utafiti inaonekanaje na inaweza kuwa na athari gani?
Hebu tuangalie mfano mmoja - [MIT Gender Shades Study](http://gendershades.org/overview.html) kutoka Joy Buolamwini (MIT Media Labs) na [karatasi ya utafiti maarufu](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) iliyoandikwa kwa ushirikiano na Timnit Gebru (wakati huo akiwa Microsoft Research) ambayo ililenga:
Hebu tuangalie mfano mmoja - [Utafiti wa MIT Gender Shades](http://gendershades.org/overview.html) kutoka kwa Joy Buolamwini (MIT Media Labs) na [karatasi ya utafiti maarufu](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) iliyoandikwa kwa ushirikiano na Timnit Gebru (wakati huo akiwa Microsoft Research) ambayo ililenga:
* **Nini:** Lengo la mradi wa utafiti lilikuwa _kutathmini upendeleo uliopo katika algorithimu za uchambuzi wa uso na seti za data_ kulingana na jinsia na aina ya ngozi.
* **Kwa nini:** Uchambuzi wa uso unatumika katika maeneo kama utekelezaji wa sheria, usalama wa viwanja vya ndege, mifumo ya kuajiri na zaidi - muktadha ambapo uainishaji usio sahihi (mfano, kutokana na upendeleo) unaweza kusababisha madhara ya kiuchumi na kijamii kwa watu au vikundi vilivyoathiriwa. Kuelewa (na kuondoa au kupunguza) upendeleo ni muhimu kwa haki katika matumizi.
* **Jinsi:** Watafiti walitambua kuwa viwango vilivyopo vilitumia zaidi masomo yenye ngozi nyepesi, na wakatengeneza seti mpya ya data (picha 1000+) ambayo ilikuwa _imebalansishwa zaidi_ kwa jinsia na aina ya ngozi. Seti ya data ilitumika kutathmini usahihi wa bidhaa tatu za uainishaji wa jinsia (kutoka Microsoft, IBM & Face++).
* **Nini:** Lengo la mradi wa utafiti lilikuwa _kutathmini upendeleo uliopo katika algorithimu za uchambuzi wa uso na seti za takwimu_ kulingana na jinsia na aina ya ngozi.
* **Kwa nini:** Uchambuzi wa uso unatumika katika maeneo kama utekelezaji wa sheria, usalama wa viwanja vya ndege, mifumo ya kuajiri na zaidi - muktadha ambapo uainishaji usio sahihi (mfano, kutokana na upendeleo) unaweza kusababisha madhara ya kiuchumi na kijamii kwa watu au vikundi vilivyoathiriwa. Kuelewa (na kuondoa au kupunguza) upendeleo ni muhimu kwa usawa katika matumizi.
* **Jinsi:** Watafiti walitambua kuwa viwango vilivyopo vilitumia zaidi masomo yenye ngozi nyepesi, na wakatengeneza seti mpya ya takwimu (picha 1000+) ambayo ilikuwa _imebalansishwa zaidi_ kwa jinsia na aina ya ngozi. Seti ya takwimu ilitumika kutathmini usahihi wa bidhaa tatu za uainishaji wa jinsia (kutoka Microsoft, IBM & Face++).
Matokeo yalionyesha kwamba ingawa usahihi wa jumla wa uainishaji ulikuwa mzuri, kulikuwa na tofauti ya wazi katika viwango vya makosa kati ya vikundi mbalimbali - na **makosa ya jinsia** kuwa juu kwa wanawake au watu wenye ngozi nyeusi, ikionyesha upendeleo.
Matokeo yalionyesha kuwa ingawa usahihi wa jumla wa uainishaji ulikuwa mzuri, kulikuwa na tofauti kubwa katika viwango vya makosa kati ya vikundi mbalimbali - na **makosa ya uainishaji wa jinsia** kuwa juu kwa wanawake au watu wenye ngozi nyeusi, ikionyesha upendeleo.
**Matokeo Muhimu:** Ilileta ufahamu kwamba sayansi ya takwimu inahitaji seti za data _zinazowakilisha zaidi_ (vikundi vilivyobalansishwa) na timu _shirikishi zaidi_ (asili mbalimbali) ili kutambua na kuondoa au kupunguza upendeleo kama huo mapema katika suluhisho za AI. Juhudi za utafiti kama hizi pia ni muhimu kwa mashirika mengi yanayofafanua kanuni na mazoea ya _AI inayowajibika_ ili kuboresha haki katika bidhaa na michakato yao ya AI.
**Matokeo Muhimu:** Ilileta ufahamu kwamba sayansi ya takwimu inahitaji seti za takwimu_zinazowakilisha zaidi_ (vikundi vilivyobalansishwa) na timu _shirikishi zaidi_ (asili mbalimbali) ili kutambua na kuondoa au kupunguza upendeleo kama huo mapema katika suluhisho za AI. Juhudi za utafiti kama hizi pia ni muhimu kwa mashirika mengi kufafanua kanuni na mazoea ya _AI inayowajibika_ ili kuboresha usawa katika bidhaa na michakato yao ya AI.
**Unataka kujifunza kuhusu juhudi za utafiti zinazohusiana katika Microsoft?**
@ -74,27 +74,27 @@ Matokeo yalionyesha kwamba ingawa usahihi wa jumla wa uainishaji ulikuwa mzuri,
* Chunguza miradi ya wanafunzi kutoka [Shule ya Majira ya Joto ya Sayansi ya Takwimu ya Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Angalia mradi wa [Fairlearn](https://fairlearn.org/) na juhudi za [AI inayowajibika](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Sayansi ya Takwimu + Ubinadamu
## Sayansi ya Takwimu + Masuala ya Kidigitali ya Kibinadamu
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Sayansi ya Takwimu &Ubinadamu wa Kidijitali - _Sketchnote na [@nitya](https://twitter.com/nitya)_ |
| Sayansi ya Takwimu &Masuala ya Kidigitali ya Kibinadamu - _Sketchnote na [@nitya](https://twitter.com/nitya)_ |
Ubinadamu wa Kidijitali [umefafanuliwa](https://digitalhumanities.stanford.edu/about-dh-stanford) kama "mkusanyiko wa mazoea na mbinu zinazochanganya mbinu za kompyuta na uchunguzi wa kibinadamu". [Miradi ya Stanford](https://digitalhumanities.stanford.edu/projects) kama _"kuanzisha upya historia"_ na _"fikra za kishairi"_ inaonyesha uhusiano kati ya [Ubinadamu wa Kidijitali na Sayansi ya Takwimu](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - ikisisitiza mbinu kama uchambuzi wa mitandao, uwasilishaji wa taarifa, uchambuzi wa anga na maandishi ambazo zinaweza kutusaidia kutazama upya seti za data za kihistoria na fasihi ili kupata maarifa na mitazamo mipya.
Masuala ya Kidigitali ya Kibinadamu [yamefafanuliwa](https://digitalhumanities.stanford.edu/about-dh-stanford) kama "mkusanyiko wa mazoea na mbinu zinazochanganya mbinu za kompyuta na uchunguzi wa kibinadamu". [Miradi ya Stanford](https://digitalhumanities.stanford.edu/projects) kama _"kuanzisha upya historia"_ na _"fikra za kishairi"_ inaonyesha uhusiano kati ya [Masuala ya Kidigitali ya Kibinadamu na Sayansi ya Takwimu](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - ikisisitiza mbinu kama uchambuzi wa mitandao, uwasilishaji wa taarifa, uchambuzi wa anga na maandishi ambayo yanaweza kutusaidia kutazama upya seti za takwimu za kihistoria na fasihi ili kupata maarifa na mitazamo mipya.
*Unataka kuchunguza na kupanua mradi katika eneo hili?*
Angalia ["Emily Dickinson na Kipimo cha Hisia"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - mfano mzuri kutoka [Jen Looper](https://twitter.com/jenlooper) unaouliza jinsi tunavyoweza kutumia sayansi ya takwimu kutazama upya mashairi yanayojulikana na kutathmini upya maana yake na mchango wa mwandishi wake katika muktadha mpya. Kwa mfano, _je, tunaweza kutabiri msimu ambao shairi liliandikwa kwa kuchambua sauti au hisia zake_ - na hii inatuambia nini kuhusu hali ya akili ya mwandishi katika kipindi husika?
Ili kujibu swali hilo, tunafuata hatua za mzunguko wa maisha wa sayansi ya takwimu:
* [`Upatikanaji wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - kukusanya seti ya data inayofaa kwa uchambuzi. Chaguo ni pamoja na kutumia API (mfano, [Poetry DB API](https://poetrydb.org/index.html)) au kuchota kurasa za wavuti (mfano, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) kwa kutumia zana kama [Scrapy](https://scrapy.org/).
* [`Usafishaji wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - inaelezea jinsi maandishi yanavyoweza kuundwa upya, kusafishwa, na kurahisishwa kwa kutumia zana za msingi kama Visual Studio Code na Microsoft Excel.
* [`Uchambuzi wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - inaelezea jinsi tunavyoweza kuingiza seti ya data katika "Notebooks" kwa uchambuzi kwa kutumia pakiti za Python (kama pandas, numpy na matplotlib) kupanga na kuonyesha takwimu.
* [`Uchambuzi wa Hisia`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - inaelezea jinsi tunavyoweza kuunganisha huduma za wingu kama Text Analytics, kwa kutumia zana za msimbo mdogo kama [Power Automate](https://flow.microsoft.com/en-us/) kwa mtiririko wa kazi wa usindikaji wa takwimu kiotomatiki.
* [`Upatikanaji wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - kukusanya seti ya takwimu inayofaa kwa uchambuzi. Chaguo ni pamoja na kutumia API (mfano, [Poetry DB API](https://poetrydb.org/index.html)) au kuchota kurasa za wavuti (mfano, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) kwa kutumia zana kama [Scrapy](https://scrapy.org/).
* [`Usafishaji wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - inaelezea jinsi maandishi yanavyoweza kuundwa upya, kusafishwa na kurahisishwa kwa kutumia zana za msingi kama Visual Studio Code na Microsoft Excel.
* [`Uchambuzi wa Takwimu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - inaelezea jinsi tunavyoweza kuingiza seti ya takwimu katika "Notebooks" kwa uchambuzi kwa kutumia pakiti za Python (kama pandas, numpy na matplotlib) kupanga na kuonyesha takwimu.
* [`Uchambuzi wa Hisia`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - inaelezea jinsi tunavyoweza kuunganisha huduma za wingu kama Text Analytics, kwa kutumia zana za kiwango cha chini kama [Power Automate](https://flow.microsoft.com/en-us/) kwa kazi za usindikaji wa takwimu kiotomatiki.
Kwa kutumia mtiririko huu, tunaweza kuchunguza athari za msimu kwenye hisia za mashairi, na kutusaidia kuunda mitazamo yetu wenyewe kuhusu mwandishi. Jaribu mwenyewe - kisha panua notebook ili kuuliza maswali mengine au kuonyesha takwimu kwa njia mpya!
Kwa kutumia mchakato huu, tunaweza kuchunguza athari za msimu kwenye hisia za mashairi, na kutusaidia kuunda mitazamo yetu wenyewe kuhusu mwandishi. Jaribu mwenyewe - kisha panua notebook ili kuuliza maswali mengine au kuonyesha takwimu kwa njia mpya!
> Unaweza kutumia baadhi ya zana katika [Kifaa cha Ubinadamu wa Kidijitali](https://github.com/Digital-Humanities-Toolkit) kufuatilia njia hizi za uchunguzi.
> Unaweza kutumia baadhi ya zana katika [Kidigitali ya Kibinadamu Toolkit](https://github.com/Digital-Humanities-Toolkit) kufuatilia njia hizi za uchunguzi.
## Sayansi ya Takwimu + Uendelevu
@ -102,13 +102,13 @@ Kwa kutumia mtiririko huu, tunaweza kuchunguza athari za msimu kwenye hisia za m
| Sayansi ya Takwimu & Uendelevu - _Sketchnote na [@nitya](https://twitter.com/nitya)_ |
[Ajenda ya 2030 ya Maendeleo Endelevu](https://sdgs.un.org/2030agenda) - iliyopitishwa na wanachama wote wa Umoja wa Mataifa mwaka 2015 - inatambua malengo 17 ikiwa ni pamoja na yale yanayolenga **Kulinda Sayari** dhidi ya uharibifu na athari za mabadiliko ya hali ya hewa. Juhudi za [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) zinaunga mkono malengo haya kwa kuchunguza njia ambazo suluhisho za kiteknolojia zinaweza kusaidia na kujenga mustakabali endelevu zaidi kwa [kuzingatia malengo 4](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - kuwa na kaboni hasi, maji chanya, taka sifuri, na bioanuwai kufikia mwaka 2030.
[Ajenda ya 2030 ya Maendeleo Endelevu](https://sdgs.un.org/2030agenda) - iliyopitishwa na wanachama wote wa Umoja wa Mataifa mwaka 2015 - inatambua malengo 17 ikiwa ni pamoja na yale yanayolenga **Kulinda Sayari** dhidi ya uharibifu na athari za mabadiliko ya hali ya hewa. [Mpango wa Uendelevu wa Microsoft](https://www.microsoft.com/en-us/sustainability) unaunga mkono malengo haya kwa kuchunguza njia ambazo suluhisho za kiteknolojia zinaweza kusaidia na kujenga mustakabali endelevu zaidi kwa [kuzingatia malengo 4](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - kuwa na kaboni hasi, maji chanya, taka sifuri, na bioanuwai kufikia mwaka 2030.
Kukabiliana na changamoto hizi kwa kiwango kikubwa na kwa wakati unaofaa kunahitaji fikra za kiwango cha wingu - na takwimu kubwa. Juhudi za [Kompyuta ya Sayari](https://planetarycomputer.microsoft.com/) zinatoa vipengele 4 kusaidia wanasayansi wa takwimu na watengenezaji katika juhudi hizi:
Kukabiliana na changamoto hizi kwa kiwango kikubwa na kwa wakati unaofaa kunahitaji fikra za kiwango cha wingu - na takwimu kubwa. Mpango wa [Kompyuta ya Sayari](https://planetarycomputer.microsoft.com/) unatoa vipengele 4 kusaidia wanasayansi wa takwimu na watengenezaji katika juhudi hizi:
* [Katalogi ya Takwimu](https://planetarycomputer.microsoft.com/catalog) - yenye petabytes za takwimu za mifumo ya Dunia (bure na zinazohifadhiwa kwenye Azure).
* [API ya Sayari](https://planetarycomputer.microsoft.com/docs/reference/stac/) - kusaidia watumiaji kutafuta takwimu zinazofaa kwa nafasi na wakati.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - mazingira yanayosimamiwa kwa wanasayansi kusindika seti kubwa za takwimu za anga.
* [API ya Sayari](https://planetarycomputer.microsoft.com/docs/reference/stac/) - kusaidia watumiaji kutafuta takwimu zinazofaa katika anga na wakati.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - mazingira yanayosimamiwa kwa wanasayansi kusindika seti kubwa za takwimu za kijiografia.
* [Matumizi](https://planetarycomputer.microsoft.com/applications) - kuonyesha kesi za matumizi na zana za maarifa ya uendelevu.
**Mradi wa Kompyuta ya Sayari kwa sasa uko katika awamu ya majaribio (kutoka Sep 2021)** - hapa kuna jinsi unavyoweza kuanza kuchangia suluhisho za uendelevu kwa kutumia sayansi ya data.
@ -120,22 +120,22 @@ Fikiria jinsi unavyoweza kutumia uwasilishaji wa data kufichua au kuimarisha maa
## Sayansi ya Data + Wanafunzi
Tumeelezea matumizi halisi katika sekta na utafiti, na kuchunguza mifano ya matumizi ya sayansi ya data katika ubinadamu wa kidijitali na uendelevu. Kwa hivyo, unaweza kujenga ujuzi wako na kushiriki utaalamu wako kama wanafunzi wa sayansi ya data?
Tumeelezea matumizi halisi katika sekta na utafiti, na kuchunguza mifano ya matumizi ya sayansi ya data katika ubinadamu wa kidijitali na uendelevu. Kwa hivyo, unawezaje kujenga ujuzi wako na kushiriki utaalamu wako kama wanafunzi wa sayansi ya data?
Hapa kuna mifano ya miradi ya wanafunzi wa sayansi ya data ili kukupa msukumo.
* [Shule ya Majira ya Joto ya Sayansi ya Data ya MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) na [miradi](https://github.com/msr-ds3) ya GitHub inayochunguza mada kama:
- [Upendeleo wa Rangi katika Matumizi ya Nguvu na Polisi](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Uaminifu wa Mfumo wa Subway wa NYC](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Kidijitali Utamaduni wa Vifaa: Kuchunguza mgawanyo wa kijamii na kiuchumi huko Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - kutoka kwa [Ornella Altunyan](https://twitter.com/ornelladotcom) na timu yake huko Claremont, wakitumia [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Kidijitali Utamaduni wa Vifaa: Kuchunguza mgawanyo wa kijamii na kiuchumi katika Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - kutoka [Ornella Altunyan](https://twitter.com/ornelladotcom) na timu yake huko Claremont, wakitumia [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Changamoto
Tafuta makala zinazopendekeza miradi ya sayansi ya data inayofaa kwa wanaoanza - kama [hizi mada 50](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) au [hizi mawazo 21 ya miradi](https://www.intellspot.com/data-science-project-ideas) au [hizi miradi 16 na msimbo wa chanzo](https://data-flair.training/blogs/data-science-project-ideas/) unazoweza kuchambua na kubadilisha. Na usisahau kuandika blogu kuhusu safari zako za kujifunza na kushiriki maarifa yako na sisi sote.
Tafuta makala zinazopendekeza miradi ya sayansi ya data inayofaa kwa wanaoanza - kama [hizi mada 50](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) au [hizi mawazo 21 ya miradi](https://www.intellspot.com/data-science-project-ideas) au [hizi miradi 16 yenye msimbo wa chanzo](https://data-flair.training/blogs/data-science-project-ideas/) ambazo unaweza kuchambua na kubadilisha. Na usisahau kuandika blogu kuhusu safari zako za kujifunza na kushiriki maarifa yako na sisi sote.
## Jaribio Baada ya Muhadhara
## Jaribio Baada ya Somo
## [Jaribio baada ya muhadhara](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## [Jaribio baada ya somo](https://ff-quizzes.netlify.app/en/ds/quiz/39)
## Mapitio & Kujisomea
@ -143,13 +143,14 @@ Unataka kuchunguza matumizi zaidi? Hapa kuna makala chache zinazohusiana:
* [Matumizi na Mifano 17 ya Sayansi ya Data](https://builtin.com/data-science/data-science-applications-examples) - Jul 2021
* [Matumizi 11 ya Kushangaza ya Sayansi ya Data katika Ulimwengu Halisi](https://myblindbird.com/data-science-applications-real-world/) - Mei 2021
* [Sayansi ya Data Katika Ulimwengu Halisi](https://towardsdatascience.com/data-science-in-the-real-world/home) - Mkusanyiko wa Makala
* Sayansi ya Data Katika: [Elimu](https://data-flair.training/blogs/data-science-in-education/), [Kilimo](https://data-flair.training/blogs/data-science-in-agriculture/), [Fedha](https://data-flair.training/blogs/data-science-in-finance/), [Filamu](https://data-flair.training/blogs/data-science-at-movies/) na zaidi.
* [Matumizi 12 ya Sayansi ya Data katika Ulimwengu Halisi na Mifano](https://www.scaler.com/blog/data-science-applications/) - Mei 2024
* Sayansi ya Data Katika: [Elimu](https://data-flair.training/blogs/data-science-in-education/), [Kilimo](https://data-flair.training/blogs/data-science-in-agriculture/), [Fedha](https://data-flair.training/blogs/data-science-in-finance/), [Filamu](https://data-flair.training/blogs/data-science-at-movies/), [Huduma za Afya](https://onlinedegrees.sandiego.edu/data-science-health-care/) na zaidi.
## Kazi ya Nyumbani
## Kazi
[Chunguza Seti ya Data ya Kompyuta ya Sayari](assignment.md)
---
**Kanusho**:
Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kuhakikisha usahihi, tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya awali inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, inashauriwa kutumia huduma ya tafsiri ya kitaalamu ya binadamu. Hatutawajibika kwa maelewano mabaya au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
ด้วยการทำให้ AI เข้าถึงได้ง่ายขึ้น นักพัฒนาจึงสามารถออกแบบและผสานการตัดสินใจที่ขับเคลื่อนด้วย AI และข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูลเข้าสู่ประสบการณ์ผู้ใช้และเวิร์กโฟลว์การพัฒนาได้ง่ายขึ้น ต่อไปนี้คือตัวอย่างบางส่วนของการประยุกต์ใช้วิทยาศาสตร์ข้อมูลในโลกแห่งความจริงในอุตสาหกรรมต่าง ๆ:
ด้วยการทำให้ AI เข้าถึงได้ง่ายขึ้น นักพัฒนาจึงสามารถออกแบบและผสานการตัดสินใจที่ขับเคลื่อนด้วย AI และข้อมูลเชิงลึกเข้าสู่ประสบการณ์ผู้ใช้และกระบวนการพัฒนาได้ง่ายขึ้น ตัวอย่างบางส่วนของการประยุกต์ใช้วิทยาศาสตร์ข้อมูลในโลกแห่งความจริงในอุตสาหกรรมมีดังนี้:
ดูตัวอย่าง ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - ตัวอย่างที่ยอดเยี่ยมจาก [Jen Looper](https://twitter.com/jenlooper) ที่ตั้งคำถามว่าเราสามารถใช้วิทยาศาสตร์ข้อมูลเพื่อกลับไปสำรวจบทกวีที่คุ้นเคยและประเมินความหมายและผลงานของผู้เขียนในบริบทใหม่ได้อย่างไร ตัวอย่างเช่น _เราสามารถคาดการณ์ฤดูกาลที่บทกวีถูกเขียนขึ้นโดยการวิเคราะห์โทนหรืออารมณ์ของมันได้หรือไม่_ - และสิ่งนี้บอกอะไรเราเกี่ยวกับสภาพจิตใจของผู้เขียนในช่วงเวลานั้น?
ดูตัวอย่าง ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) จาก [Jen Looper](https://twitter.com/jenlooper) ที่ถามว่าเราสามารถใช้วิทยาศาสตร์ข้อมูลเพื่อทบทวนบทกวีที่คุ้นเคยและประเมินความหมายใหม่ได้อย่างไร ตัวอย่างเช่น _เราสามารถคาดการณ์ฤดูกาลที่บทกวีถูกเขียนขึ้นโดยการวิเคราะห์โทนหรืออารมณ์ได้หรือไม่_ และสิ่งนี้บอกอะไรเราเกี่ยวกับสภาพจิตใจของผู้เขียนในช่วงเวลานั้น?
| Data Science sa Tunay na Mundo - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
Malapit na tayo sa dulo ng ating pag-aaral!
Malapit na tayo sa dulo ng ating paglalakbay sa pag-aaral!
Nagsimula tayo sa mga depinisyon ng data science at ethics, sinuri ang iba't ibang tools at teknik para sa data analysis at visualization, nirepaso ang lifecycle ng data science, at tiningnan ang scaling at automation ng data science workflows gamit ang cloud computing services. Kaya marahil iniisip mo: _"Paano ko maiaangkop ang lahat ng natutunan ko sa mga tunay na sitwasyon?"_
Nagsimula tayo sa mga depinisyon ng data science at etika, sinuri ang iba't ibang tools at teknik para sa pagsusuri at pagpapakita ng datos, nirepaso ang lifecycle ng data science, at tinalakay ang pag-scale at pag-automate ng mga workflow gamit ang cloud computing services. Kaya marahil iniisip mo: _"Paano ko nga ba maiaangkop ang lahat ng ito sa mga tunay na sitwasyon?"_
Sa araling ito, tatalakayin natin ang mga aplikasyon ng data science sa iba't ibang industriya at susuriin ang mga partikular na halimbawa sa pananaliksik, digital humanities, at sustainability. Titingnan din natin ang mga oportunidad para sa mga proyekto ng mag-aaral at magtatapos sa mga kapaki-pakinabang na resources para ipagpatuloy ang iyong pag-aaral!
Sa araling ito, tatalakayin natin ang mga aplikasyon ng data science sa iba't ibang industriya at susuriin ang mga partikular na halimbawa sa pananaliksik, digital humanities, at sustainability. Titingnan din natin ang mga oportunidad para sa mga proyekto ng mag-aaral at magtatapos sa mga kapaki-pakinabang na resources upang ipagpatuloy ang iyong pag-aaral!
## Pre-Lecture Quiz
@ -25,113 +25,113 @@ Sa araling ito, tatalakayin natin ang mga aplikasyon ng data science sa iba't ib
## Data Science + Industriya
Dahil sa democratization ng AI, mas madali na ngayon para sa mga developer na magdisenyo at mag-integrate ng AI-driven decision-making at data-driven insights sa user experiences at development workflows. Narito ang ilang halimbawa kung paano "inaaplay" ang data science sa mga tunay na aplikasyon sa industriya:
Dahil sa democratization ng AI, mas madali na ngayon para sa mga developer na magdisenyo at mag-integrate ng mga AI-driven na desisyon at data-driven na insights sa mga karanasan ng user at workflow ng development. Narito ang ilang halimbawa kung paano "inaangkop" ang data science sa mga tunay na aplikasyon sa industriya:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) - ginamit ang data science para i-correlate ang mga search terms sa flu trends. Bagama't may mga kahinaan ang approach, nagbigay ito ng kamalayan sa mga posibilidad (at hamon) ng data-driven healthcare predictions.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) - gumamit ng data science upang iugnay ang mga search term sa mga trend ng trangkaso. Bagama't may mga kakulangan ang pamamaraan, nagbigay ito ng kamalayan sa mga posibilidad (at hamon) ng mga prediksyon sa kalusugan gamit ang datos.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - nagpapaliwanag kung paano ginagamit ng UPS ang data science at machine learning para hulaan ang optimal na ruta para sa delivery, isinasaalang-alang ang kondisyon ng panahon, traffic patterns, deadlines ng delivery, at iba pa.
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - nagpapaliwanag kung paano ginagamit ng UPS ang data science at machine learning upang hulaan ang pinakamainam na ruta para sa paghahatid, isinasaalang-alang ang kondisyon ng panahon, trapiko, at mga deadline ng paghahatid.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - ang data na nakuha gamit ang [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) ay tumulong sa pag-visualize ng isang araw sa buhay ng mga NYC cabs, na nagpapakita kung paano sila nag-navigate sa abalang lungsod, ang kita nila, at ang tagal ng biyahe sa loob ng bawat 24 na oras.
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - ang datos na nakalap gamit ang [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) ay tumulong sa pag-visualize ng isang araw sa buhay ng mga taxi sa NYC, na nagpapakita kung paano sila nagna-navigate sa abalang lungsod, ang kanilang kita, at ang tagal ng mga biyahe sa loob ng 24 na oras.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - gumagamit ng data (pickup & dropoff locations, tagal ng biyahe, preferred routes, atbp.) mula sa milyon-milyong Uber trips *araw-araw* para bumuo ng data analytics tool na tumutulong sa pricing, safety, fraud detection, at navigation decisions.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - gumagamit ng datos (tulad ng pickup at dropoff locations, tagal ng biyahe, at mga paboritong ruta) mula sa milyun-milyong biyahe araw-araw upang makabuo ng tool sa data analytics para sa pagpepresyo, kaligtasan, pagtuklas ng pandaraya, at mga desisyon sa nabigasyon.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - nakatuon sa _predictive analytics_ (team at player analysis - tulad ng [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - at fan management) at _data visualization_ (team & fan dashboards, games, atbp.) na may aplikasyon tulad ng talent scouting, sports gambling, at inventory/venue management.
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - nakatuon sa _predictive analytics_ (pagsusuri ng koponan at manlalaro - tulad ng [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - at pamamahala ng tagahanga) at _data visualization_ (mga dashboard ng koponan at tagahanga, mga laro, atbp.) na may mga aplikasyon tulad ng talent scouting, pagsusugal sa sports, at pamamahala ng imbentaryo/venue.
* [Data Science sa Banking](https://data-flair.training/blogs/data-science-in-banking/) - binibigyang-diin ang halaga ng data science sa industriya ng pananalapi na may mga aplikasyon mula sa risk modeling at fraud detection, hanggang sa customer segmentation, real-time prediction, at recommender systems. Ang predictive analytics ay nagdadala rin ng mahahalagang sukatan tulad ng [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science sa Banking](https://data-flair.training/blogs/data-science-in-banking/) - binibigyang-diin ang halaga ng data science sa industriya ng pananalapi na may mga aplikasyon mula sa risk modeling at pagtuklas ng pandaraya, hanggang sa customer segmentation, real-time prediction, at recommender systems. Ang predictive analytics ay mahalaga rin sa mga sukatan tulad ng [credit scores](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Data Science sa Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - binibigyang-diin ang mga aplikasyon tulad ng medical imaging (e.g., MRI, X-Ray, CT-Scan), genomics (DNA sequencing), drug development (risk assessment, success prediction), predictive analytics (patient care & supply logistics), disease tracking & prevention, atbp.
* [Data Science sa Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - binibigyang-diin ang mga aplikasyon tulad ng medical imaging (hal., MRI, X-Ray, CT-Scan), genomics (DNA sequencing), pagbuo ng gamot (pagtatasa ng panganib, prediksyon ng tagumpay), predictive analytics (pangangalaga sa pasyente at logistics ng suplay), pagsubaybay at pag-iwas sa sakit, atbp.
 Image Credit: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Kredito ng Imahe: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Ipinapakita ng figure ang iba pang mga domain at halimbawa ng paggamit ng data science techniques. Gusto mo bang tuklasin ang iba pang aplikasyon? Tingnan ang [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) na seksyon sa ibaba.
Ipinapakita ng larawan ang iba pang mga domain at halimbawa ng paggamit ng mga teknik sa data science. Gusto mo bang tuklasin ang iba pang aplikasyon? Tingnan ang seksyong [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) sa ibaba.
## Data Science + Pananaliksik
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Data Science & Pananaliksik - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
| Data Science at Pananaliksik - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
Bagama't ang mga tunay na aplikasyon ay madalas na nakatuon sa mga use case sa industriya, ang mga aplikasyon at proyekto sa _pananaliksik_ ay maaaring maging kapaki-pakinabang mula sa dalawang perspektibo:
Bagama't ang mga aplikasyon sa tunay na mundo ay madalas na nakatuon sa mga kaso ng paggamit sa industriya, ang mga aplikasyon at proyekto sa _pananaliksik_ ay maaaring maging kapaki-pakinabang mula sa dalawang perspektibo:
* _oportunidad para sa inobasyon_ - tuklasin ang mabilis na prototyping ng advanced concepts at testing ng user experiences para sa mga susunod na henerasyon ng aplikasyon.
* _mga hamon sa deployment_ - suriin ang mga potensyal na pinsala o hindi inaasahang epekto ng data science technologies sa mga tunay na sitwasyon.
* _mga oportunidad sa inobasyon_ - tuklasin ang mabilisang prototyping ng mga advanced na konsepto at pagsubok ng mga karanasan ng user para sa mga susunod na henerasyon ng aplikasyon.
* _mga hamon sa deployment_ - suriin ang mga potensyal na pinsala o hindi inaasahang epekto ng mga teknolohiya ng data science sa mga tunay na konteksto.
Para sa mga mag-aaral, ang mga proyektong pananaliksik ay maaaring magbigay ng parehong learning at collaboration opportunities na maaaring magpabuti sa iyong pag-unawa sa paksa, at palawakin ang iyong kamalayan at pakikilahok sa mga kaugnay na tao o team na nagtatrabaho sa mga lugar ng interes. Kaya ano ang hitsura ng mga proyektong pananaliksik at paano ito nakakaapekto?
Para sa mga mag-aaral, ang mga proyektong pananaliksik na ito ay maaaring magbigay ng parehong oportunidad sa pag-aaral at pakikipagtulungan na maaaring magpabuti sa iyong pag-unawa sa paksa, at palawakin ang iyong kamalayan at pakikilahok sa mga kaugnay na tao o koponan na nagtatrabaho sa mga interesadong larangan. Ano ang hitsura ng mga proyektong pananaliksik at paano ito nakakaapekto?
Tingnan natin ang isang halimbawa - ang [MIT Gender Shades Study](http://gendershades.org/overview.html) mula kay Joy Buolamwini (MIT Media Labs) na may [signature research paper](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) na co-authored ni Timnit Gebru (noon sa Microsoft Research) na nakatuon sa
Tingnan natin ang isang halimbawa - ang [MIT Gender Shades Study](http://gendershades.org/overview.html) mula kay Joy Buolamwini (MIT Media Labs) na may [signature research paper](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) na isinulat kasama si Timnit Gebru (noon ay nasa Microsoft Research) na nakatuon sa:
* **Ano:** Ang layunin ng proyekto ay _suriin ang bias sa automated facial analysis algorithms at datasets_ batay sa gender at skin type.
* **Bakit:** Ang facial analysis ay ginagamit sa mga lugar tulad ng law enforcement, airport security, hiring systems, at iba pa - mga konteksto kung saan ang maling klasipikasyon (hal., dahil sa bias) ay maaaring magdulot ng potensyal na economic at social harms sa mga apektadong indibidwal o grupo. Ang pag-unawa (at pag-aalis o pag-mitigate) ng biases ay mahalaga para sa fairness sa paggamit.
* **Paano:** Napansin ng mga mananaliksik na ang mga umiiral na benchmarks ay kadalasang gumagamit ng lighter-skinned subjects, kaya gumawa sila ng bagong dataset (1000+ images) na _mas balanse_ batay sa gender at skin type. Ang dataset ay ginamit para suriin ang accuracy ng tatlong gender classification products (mula sa Microsoft, IBM & Face++).
* **Ano:** Ang layunin ng proyekto ay _suriin ang bias sa mga automated facial analysis algorithms at datasets_ batay sa kasarian at kulay ng balat.
* **Bakit:** Ang facial analysis ay ginagamit sa mga lugar tulad ng pagpapatupad ng batas, seguridad sa paliparan, mga sistema ng pagkuha ng trabaho, at iba pa - mga konteksto kung saan ang maling klasipikasyon (hal., dahil sa bias) ay maaaring magdulot ng potensyal na pinsalang pang-ekonomiya at panlipunan sa mga apektadong indibidwal o grupo. Ang pag-unawa (at pag-aalis o pagpapagaan) ng bias ay mahalaga para sa patas na paggamit.
* **Paano:** Napansin ng mga mananaliksik na ang mga umiiral na benchmark ay pangunahing gumagamit ng mga subject na may mas maputing balat, kaya lumikha sila ng bagong dataset (1000+ na larawan) na _mas balanse_ ayon sa kasarian at kulay ng balat. Ang dataset ay ginamit upang suriin ang katumpakan ng tatlong produkto ng gender classification (mula sa Microsoft, IBM, at Face++).
Ipinakita ng resulta na bagama't maganda ang overall classification accuracy, may kapansin-pansing pagkakaiba sa error rates sa pagitan ng iba't ibang subgroups - kung saan mas mataas ang **misgendering** para sa mga babae o taong may darker skin types, na nagpapahiwatig ng bias.
Ipinakita ng mga resulta na bagama't maganda ang pangkalahatang katumpakan ng klasipikasyon, may kapansin-pansing pagkakaiba sa error rates sa pagitan ng iba't ibang subgroup - kung saan mas mataas ang **misgendering** para sa mga babae o taong may mas maitim na balat, na nagpapahiwatig ng bias.
**Mga Pangunahing Resulta:** Nagbigay ng kamalayan na ang data science ay nangangailangan ng mas _representative datasets_ (balanseng subgroups) at mas _inclusive teams_ (diverse backgrounds) para ma-recognize at maalis o ma-mitigate ang ganitong biases nang mas maaga sa AI solutions. Ang mga pagsisikap sa pananaliksik tulad nito ay mahalaga rin sa maraming organisasyon sa pagbuo ng mga prinsipyo at praktika para sa _responsible AI_ upang mapabuti ang fairness sa kanilang AI products at processes.
**Pangunahing Resulta:** Nagbigay ng kamalayan na ang data science ay nangangailangan ng mas _representative datasets_ (balanseng subgroup) at mas _inclusive teams_ (iba't ibang pinagmulan) upang maagang matukoy at maalis o mabawasan ang mga bias sa mga solusyon sa AI. Ang mga pagsisikap sa pananaliksik tulad nito ay mahalaga rin sa maraming organisasyon sa pagtukoy ng mga prinsipyo at kasanayan para sa _responsible AI_ upang mapabuti ang patas na paggamit sa kanilang mga produkto at proseso ng AI.
**Gusto mo bang matuto tungkol sa mga kaugnay na pagsisikap sa pananaliksik sa Microsoft?**
**Gusto mo bang matuto tungkol sa mga kaugnay na pagsisikap sa pananaliksik sa Microsoft?**
* Tingnan ang [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) sa Artificial Intelligence.
* Tuklasin ang mga proyekto ng mag-aaral mula sa [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Tingnan ang [Fairlearn](https://fairlearn.org/) na proyekto at [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) na mga inisyatibo.
* Tingnan ang [Fairlearn](https://fairlearn.org/) na proyekto at ang mga inisyatibo sa [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Data Science + Humanities
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Data Science & Digital Humanities - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
| Data Science at Digital Humanities - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
Ang Digital Humanities [ay naipaliwanag](https://digitalhumanities.stanford.edu/about-dh-stanford) bilang "isang koleksyon ng mga praktika at approaches na pinagsasama ang computational methods sa humanistic inquiry". Ang mga [proyekto ng Stanford](https://digitalhumanities.stanford.edu/projects) tulad ng _"rebooting history"_ at _"poetic thinking"_ ay nagpapakita ng koneksyon sa pagitan ng [Digital Humanities at Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - binibigyang-diin ang mga teknik tulad ng network analysis, information visualization, spatial at text analysis na makakatulong sa atin na muling suriin ang mga historical at literary datasets para makakuha ng bagong insights at perspektibo.
Ang Digital Humanities [ay naipaliwanag](https://digitalhumanities.stanford.edu/about-dh-stanford) bilang "isang koleksyon ng mga praktika at pamamaraan na pinagsasama ang computational methods sa humanistic inquiry". Ang mga proyekto ng [Stanford](https://digitalhumanities.stanford.edu/projects) tulad ng _"rebooting history"_ at _"poetic thinking"_ ay nagpapakita ng koneksyon sa pagitan ng [Digital Humanities at Data Science](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - na binibigyang-diin ang mga teknik tulad ng network analysis, information visualization, spatial at text analysis na makakatulong sa atin na muling suriin ang mga historical at literary dataset upang makakuha ng bagong pananaw.
*Gusto mo bang tuklasin at palawakin ang isang proyekto sa larangang ito?*
Tingnan ang ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - isang mahusay na halimbawa mula kay [Jen Looper](https://twitter.com/jenlooper) na nagtatanong kung paano natin magagamit ang data science para muling suriin ang pamilyar na poetry at muling suriin ang kahulugan nito at ang kontribusyon ng may-akda sa bagong konteksto. Halimbawa, _maaari ba nating mahulaan ang panahon kung kailan isinulat ang isang tula sa pamamagitan ng pagsusuri sa tono o damdamin nito_ - at ano ang sinasabi nito tungkol sa estado ng kaisipan ng may-akda sa kaugnay na panahon?
Tingnan ang ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - isang mahusay na halimbawa mula kay [Jen Looper](https://twitter.com/jenlooper) na nagtatanong kung paano natin magagamit ang data science upang muling suriin ang pamilyar na tula at muling suriin ang kahulugan nito at ang kontribusyon ng may-akda sa mga bagong konteksto. Halimbawa, _maaari ba nating mahulaan ang panahon kung kailan isinulat ang isang tula sa pamamagitan ng pagsusuri sa tono o damdamin nito_ - at ano ang sinasabi nito tungkol sa estado ng pag-iisip ng may-akda sa panahong iyon?
Para sagutin ang tanong na iyon, sundan natin ang mga hakbang ng lifecycle ng data science:
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - para mangolekta ng kaugnay na dataset para sa pagsusuri. Ang mga opsyon ay kinabibilangan ng paggamit ng API (hal., [Poetry DB API](https://poetrydb.org/index.html)) o pag-scrape ng mga web page (hal., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) gamit ang mga tools tulad ng [Scrapy](https://scrapy.org/).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - nagpapaliwanag kung paano maaaring i-format, i-sanitize, at i-simplify ang text gamit ang mga basic tools tulad ng Visual Studio Code at Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - nagpapaliwanag kung paano natin maaaring i-import ang dataset sa "Notebooks" para sa pagsusuri gamit ang Python packages (tulad ng pandas, numpy, at matplotlib) para ayusin at i-visualize ang data.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - nagpapaliwanag kung paano natin maaaring i-integrate ang cloud services tulad ng Text Analytics, gamit ang low-code tools tulad ng [Power Automate](https://flow.microsoft.com/en-us/) para sa automated data processing workflows.
Upang sagutin ang tanong na iyon, sundin natin ang mga hakbang ng lifecycle ng data science:
* [`Data Acquisition`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - upang mangolekta ng kaugnay na dataset para sa pagsusuri. Kasama sa mga opsyon ang paggamit ng API (hal., [Poetry DB API](https://poetrydb.org/index.html)) o pag-scrape ng mga web page (hal., [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) gamit ang mga tool tulad ng [Scrapy](https://scrapy.org/).
* [`Data Cleaning`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - nagpapaliwanag kung paano maaaring i-format, linisin, at gawing simple ang teksto gamit ang mga pangunahing tool tulad ng Visual Studio Code at Microsoft Excel.
* [`Data Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - nagpapaliwanag kung paano natin maaaring i-import ang dataset sa "Notebooks" para sa pagsusuri gamit ang mga Python package (tulad ng pandas, numpy, at matplotlib) upang ayusin at i-visualize ang datos.
* [`Sentiment Analysis`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - nagpapaliwanag kung paano natin maaaring isama ang mga cloud service tulad ng Text Analytics, gamit ang mga low-code tool tulad ng [Power Automate](https://flow.microsoft.com/en-us/) para sa automated na pagproseso ng datos.
Gamit ang workflow na ito, maaari nating tuklasin ang epekto ng panahon sa damdamin ng mga tula, at tulungan tayong bumuo ng sarili nating perspektibo sa may-akda. Subukan mo ito - pagkatapos ay palawakin ang notebook para magtanong ng iba pang mga tanong o i-visualize ang data sa mga bagong paraan!
Gamit ang workflow na ito, maaari nating suriin ang epekto ng panahon sa damdamin ng mga tula, at matulungan tayong bumuo ng sarili nating pananaw tungkol sa may-akda. Subukan mo ito - pagkatapos ay palawakin ang notebook upang magtanong ng iba pang mga tanong o i-visualize ang datos sa mga bagong paraan!
> Maaari mong gamitin ang ilan sa mga tools sa [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) para ipagpatuloy ang mga ganitong uri ng inquiry.
> Maaari mong gamitin ang ilan sa mga tool sa [Digital Humanities toolkit](https://github.com/Digital-Humanities-Toolkit) upang ituloy ang mga ganitong uri ng pagsusuri.
## Data Science + Sustainability
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Data Science & Sustainability - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
| Data Science at Sustainability - _Sketchnote ni [@nitya](https://twitter.com/nitya)_ |
Ang [2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - na in-adopt ng lahat ng miyembro ng United Nations noong 2015 - ay nagtatakda ng 17 goals kabilang ang mga nakatuon sa **Pagprotekta sa Planet** mula sa pagkasira at epekto ng climate change. Ang [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) na inisyatibo ay sumusuporta sa mga layuning ito sa pamamagitan ng paggalugad ng mga paraan kung paano makakatulong ang mga teknolohiyang solusyon sa pagbuo ng mas sustainable na kinabukasan na may [focus sa 4 na layunin](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - pagiging carbon negative, water positive, zero waste, at bio-diverse pagsapit ng 2030.
Ang [2030 Agenda For Sustainable Development](https://sdgs.un.org/2030agenda) - na inaprubahan ng lahat ng miyembro ng United Nations noong 2015 - ay nagtatakda ng 17 layunin kabilang ang mga nakatuon sa **Pagprotekta sa Planeta** mula sa pagkasira at epekto ng pagbabago ng klima. Ang inisyatibong [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) ay sumusuporta sa mga layuning ito sa pamamagitan ng paggalugad kung paano makakatulong ang mga teknolohikal na solusyon sa pagbuo ng mas napapanatiling kinabukasan na may [pokus sa 4 na layunin](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - pagiging carbon negative, water positive, zero waste, at bio-diverse pagsapit ng 2030.
Ang pagharap sa mga hamon na ito sa isang scalable at napapanahong paraan ay nangangailangan ng cloud-scale thinking - at malakihang data. Ang [Planetary Computer](https://planetarycomputer.microsoft.com/) na inisyatibo ay nagbibigay ng 4 na components para tumulong sa mga data scientist at developer sa pagsisikap na ito:
Ang pagtugon sa mga hamong ito sa isang scalable at napapanahong paraan ay nangangailangan ng cloud-scale na pag-iisip - at malakihang datos. Ang inisyatibong [Planetary Computer](https://planetarycomputer.microsoft.com/) ay nagbibigay ng 4 na bahagi upang matulungan ang mga data scientist at developer sa pagsisikap na ito:
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - na may petabytes ng Earth Systems data (libre at Azure-hosted).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - para tumulong sa mga user na maghanap ng kaugnay na data sa iba't ibang lugar at panahon.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - managed environment para sa mga scientist na magproseso ng malalaking geospatial datasets.
* [Applications](https://planetarycomputer.microsoft.com/applications) - nagpapakita ng mga use cases at tools para sa sustainability insights.
* [Data Catalog](https://planetarycomputer.microsoft.com/catalog) - na may petabytes ng Earth Systems data (libre at naka-host sa Azure).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - upang matulungan ang mga user na maghanap ng kaugnay na datos sa espasyo at panahon.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - isang managed environment para sa mga siyentipiko upang iproseso ang malalaking geospatial dataset.
* [Applications](https://planetarycomputer.microsoft.com/applications) - nagpapakita ng mga kaso ng paggamit at mga tool para sa mga pananaw sa sustainability.
**Ang Planetary Computer Project ay kasalukuyang nasa preview (mula Setyembre 2021)** - narito kung paano ka makakapagsimula sa pag-aambag sa mga solusyon para sa sustainability gamit ang data science.
* [Humiling ng access](https://planetarycomputer.microsoft.com/account/request) upang simulan ang pag-explore at makipag-ugnayan sa mga kapwa mananaliksik.
* [Mag-explore ng dokumentasyon](https://planetarycomputer.microsoft.com/docs/overview/about) upang maunawaan ang mga suportadong dataset at API.
* Mag-explore ng mga aplikasyon tulad ng [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) para sa inspirasyon sa mga ideya ng aplikasyon.
Pag-isipan kung paano mo magagamit ang data visualization upang ipakita o palakasin ang mga mahalagang insight sa mga larangan tulad ng pagbabago ng klima at deforestation. O pag-isipan kung paano magagamit ang mga insight upang lumikha ng mga bagong karanasan para sa mga gumagamit na magpapasigla sa pagbabago ng ugali para sa mas sustainable na pamumuhay.
Pag-isipan kung paano mo magagamit ang data visualization upang ipakita o palakasin ang mga mahahalagang insight sa mga larangan tulad ng pagbabago ng klima at deforestation. O pag-isipan kung paano magagamit ang mga insight upang lumikha ng mga bagong karanasan para sa mga gumagamit na magpapasigla sa pagbabago ng ugali para sa mas sustainable na pamumuhay.
## Data Science + Mga Mag-aaral
Napag-usapan na natin ang mga aplikasyon sa totoong mundo sa industriya at pananaliksik, at na-explore ang mga halimbawa ng aplikasyon ng data science sa digital humanities at sustainability. Kaya paano mo maitatayo ang iyong mga kakayahan at maibabahagi ang iyong kaalaman bilang mga baguhan sa data science?
Napag-usapan na natin ang mga aplikasyon sa totoong mundo sa industriya at pananaliksik, at na-explore ang mga halimbawa ng aplikasyon ng data science sa digital humanities at sustainability. Kaya paano mo maitatayo ang iyong mga kasanayan at maibabahagi ang iyong kaalaman bilang mga baguhan sa data science?
Narito ang ilang halimbawa ng mga proyekto ng data science ng mga mag-aaral upang magbigay inspirasyon sa iyo.
Narito ang ilang mga halimbawa ng mga proyekto ng data science para sa mga mag-aaral upang magbigay inspirasyon sa iyo.
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) na may mga proyekto sa GitHub [projects](https://github.com/msr-ds3) na nag-eexplore ng mga paksa tulad ng:
* [MSR Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) na may mga proyekto sa GitHub [projects](https://github.com/msr-ds3) na nag-eexplore ng mga paksa tulad ng:
- [Racial Bias in Police Use of Force](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Reliability of NYC Subway System](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - mula kay [Ornella Altunyan](https://twitter.com/ornelladotcom) at team sa Claremont, gamit ang [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Digitizing Material Culture: Exploring socio-economic distributions in Sirkap](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - mula kay [Ornella Altunyan](https://twitter.com/ornelladotcom) at ang kanyang team sa Claremont, gamit ang [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Hamon
Maghanap ng mga artikulo na nagrerekomenda ng mga proyekto sa data science na angkop para sa mga baguhan - tulad ng [mga 50 paksa](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) o [mga 21 ideya ng proyekto](https://www.intellspot.com/data-science-project-ideas) o [mga 16 proyekto na may source code](https://data-flair.training/blogs/data-science-project-ideas/) na maaari mong pag-aralan at i-remix. At huwag kalimutang mag-blog tungkol sa iyong mga learning journey at ibahagi ang iyong mga insight sa aming lahat.
Maghanap ng mga artikulo na nagrerekomenda ng mga proyekto sa data science na angkop para sa mga baguhan - tulad ng [mga 50 paksa](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) o [mga 21 ideya ng proyekto](https://www.intellspot.com/data-science-project-ideas) o [mga 16 na proyekto na may source code](https://data-flair.training/blogs/data-science-project-ideas/) na maaari mong pag-aralan at i-remix. At huwag kalimutang mag-blog tungkol sa iyong mga learning journey at ibahagi ang iyong mga insight sa aming lahat.
## Post-Lecture Quiz
@ -140,10 +140,11 @@ Maghanap ng mga artikulo na nagrerekomenda ng mga proyekto sa data science na an
## Review & Self Study
Gusto mo bang mag-explore ng mas maraming use cases? Narito ang ilang mga kaugnay na artikulo:
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - Hulyo 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - Mayo 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) - Koleksyon ng Artikulo
* Data Science Sa: [Edukasyon](https://data-flair.training/blogs/data-science-in-education/), [Agrikultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Pananalapi](https://data-flair.training/blogs/data-science-in-finance/), [Pelikula](https://data-flair.training/blogs/data-science-at-movies/) at iba pa.
* [17 Data Science Applications and Examples](https://builtin.com/data-science/data-science-applications-examples) - Hulyo 2021
* [11 Breathtaking Data Science Applications in Real World](https://myblindbird.com/data-science-applications-real-world/) - Mayo 2021
* [Data Science In The Real World](https://towardsdatascience.com/data-science-in-the-real-world/home) - Koleksyon ng Artikulo
* [12 Real-World Data Science Applications with Examples](https://www.scaler.com/blog/data-science-applications/) - Mayo 2024
* Data Science Sa: [Edukasyon](https://data-flair.training/blogs/data-science-in-education/), [Agrikultura](https://data-flair.training/blogs/data-science-in-agriculture/), [Pananalapi](https://data-flair.training/blogs/data-science-in-finance/), [Pelikula](https://data-flair.training/blogs/data-science-at-movies/), [Pangangalaga sa Kalusugan](https://onlinedegrees.sandiego.edu/data-science-health-care/) at iba pa.
## Assignment
@ -152,4 +153,4 @@ Gusto mo bang mag-explore ng mas maraming use cases? Narito ang ilang mga kaugna
---
**Paunawa**:
Ang dokumentong ito ay isinalin gamit ang AI translation service na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagama't sinisikap naming maging tumpak, tandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi pagkakatugma. Ang orihinal na dokumento sa kanyang katutubong wika ang dapat ituring na opisyal na sanggunian. Para sa mahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang hindi pagkakaunawaan o maling interpretasyon na dulot ng paggamit ng pagsasaling ito.
Ang dokumentong ito ay isinalin gamit ang AI translation service na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagama't sinisikap naming maging tumpak, pakitandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi pagkakatugma. Ang orihinal na dokumento sa kanyang orihinal na wika ang dapat ituring na opisyal na sanggunian. Para sa mahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang hindi pagkakaunawaan o maling interpretasyon na maaaring magmula sa paggamit ng pagsasaling ito.
@ -29,21 +29,21 @@ Yapay zekanın demokratikleşmesi sayesinde, geliştiriciler artık yapay zeka d
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/), arama terimlerini grip eğilimleriyle ilişkilendirmek için veri bilimi kullandı. Yaklaşımın kusurları olsa da, veri odaklı sağlık tahminlerinin olanakları (ve zorlukları) konusunda farkındalık yarattı.
* [UPS Rota Tahminleri](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS'in hava durumu koşulları, trafik desenleri, teslimat süreleri gibi faktörleri dikkate alarak teslimat için en uygun rotaları tahmin etmek için veri bilimi ve makine öğrenimini nasıl kullandığını açıklar.
* [UPS Rota Tahminleri](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - UPS'in hava durumu koşulları, trafik desenleri, teslimat son tarihleri gibi faktörleri dikkate alarak teslimat için en uygun rotaları tahmin etmek için veri bilimi ve makine öğrenimini nasıl kullandığını açıklar.
* [NYC Taksi Rota Görselleştirmesi](http://chriswhong.github.io/nyctaxi/) - [Bilgi Edinme Yasaları](https://chriswhong.com/open-data/foil_nyc_taxi/) kullanılarak toplanan veriler, NYC taksilerinin yoğun şehirde nasıl gezindiğini, kazandıkları parayı ve her 24 saatlik dönemdeki yolculuk sürelerini anlamamıza yardımcı oldu.
* [NYC Taksi Rota Görselleştirmesi](http://chriswhong.github.io/nyctaxi/) - [Bilgi Edinme Yasaları](https://chriswhong.com/open-data/foil_nyc_taxi/) kullanılarak toplanan veriler, NYC taksilerinin bir gününü görselleştirdi ve yoğun şehirde nasıl hareket ettiklerini, kazandıkları parayı ve her 24 saatlik dönemdeki yolculuk sürelerini anlamamıza yardımcı oldu.
* [Uber Veri Bilimi Çalışma Alanı](https://eng.uber.com/dsw/) - günlük milyonlarca Uber yolculuğundan toplanan verileri (örneğin, alma ve bırakma konumları, yolculuk süresi, tercih edilen rotalar) kullanarak fiyatlandırma, güvenlik, dolandırıcılık tespiti ve navigasyon kararları için bir veri analitiği aracı oluşturur.
* [Uber Veri Bilimi Çalışma Alanı](https://eng.uber.com/dsw/) - her gün milyonlarca Uber yolculuğundan toplanan veriler (örneğin, alma ve bırakma konumları, yolculuk süresi, tercih edilen rotalar) kullanılarak fiyatlandırma, güvenlik, dolandırıcılık tespiti ve navigasyon kararları için bir veri analitiği aracı oluşturuldu.
* [Spor Analitiği](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _öngörücü analitik_ (takım ve oyuncu analizi - [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) örneğini düşünün - ve hayran yönetimi) ve _veri görselleştirme_ (takım ve hayran panoları, oyunlar vb.) üzerine odaklanır. Uygulamalar arasında yetenek avcılığı, spor bahisleri ve envanter/mekan yönetimi bulunur.
* [Bankacılıkta Veri Bilimi](https://data-flair.training/blogs/data-science-in-banking/) - finans sektöründe veri biliminin değerini, risk modellemesi ve dolandırıcılık tespitinden müşteri segmentasyonu, gerçek zamanlı tahmin ve öneri sistemlerine kadar uzanan uygulamalarla vurgular. Öngörücü analitik, [kredi puanları](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) gibi kritik ölçütleri de yönlendirir.
* [Bankacılıkta Veri Bilimi](https://data-flair.training/blogs/data-science-in-banking/) - finans sektöründe veri biliminin değerini vurgular ve risk modelleme, dolandırıcılık tespiti, müşteri segmentasyonu, gerçek zamanlı tahmin ve öneri sistemleri gibi uygulamaları içerir. Öngörücü analitik ayrıca [kredi puanları](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) gibi kritik ölçütleri yönlendirir.
* [Sağlıkta Veri Bilimi](https://data-flair.training/blogs/data-science-in-healthcare/) - tıbbi görüntüleme (örneğin, MRI, X-Ray, CT-Scan), genomik (DNA dizilimi), ilaç geliştirme (risk değerlendirmesi, başarı tahmini), öngörücü analitik (hasta bakımı ve tedarik lojistiği), hastalık takibi ve önleme gibi uygulamaları vurgular.
 Görsel Kaynağı: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Görsel Kaynağı: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Şekil, veri bilimi tekniklerinin uygulanabileceği diğer alanları ve örnekleri göstermektedir. Diğer uygulamaları keşfetmek ister misiniz? Aşağıdaki [Gözden Geçirme ve Kendi Kendine Çalışma](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) bölümüne göz atın.
Şekil, veri bilimi tekniklerinin uygulanabileceği diğer alanları ve örnekleri göstermektedir. Diğer uygulamaları keşfetmek ister misiniz? Aşağıdaki [İnceleme ve Kendi Kendine Çalışma](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) bölümüne göz atın.
## Veri Bilimi + Araştırma
@ -53,26 +53,26 @@ Yapay zekanın demokratikleşmesi sayesinde, geliştiriciler artık yapay zeka d
Gerçek dünya uygulamaları genellikle ölçekli endüstri kullanım durumlarına odaklanırken, _araştırma_ uygulamaları ve projeleri iki açıdan faydalı olabilir:
* _yenilik fırsatları_ - ileri düzey kavramların hızlı prototiplenmesini ve bir sonraki nesil uygulamalar için kullanıcı deneyimlerinin test edilmesini keşfetmek.
* _yenilik fırsatları_ - ileri konseptlerin hızlı prototiplenmesini ve bir sonraki nesil uygulamalar için kullanıcı deneyimlerinin test edilmesini keşfetmek.
* _uygulama zorlukları_ - veri bilimi teknolojilerinin gerçek dünya bağlamlarında potansiyel zararlarını veya istenmeyen sonuçlarını araştırmak.
Öğrenciler için bu araştırma projeleri, konuyu daha iyi anlamanızı sağlayacak öğrenme ve iş birliği fırsatları sunabilir ve ilgi alanlarınızdaki ilgili kişiler veya ekiplerle farkındalığınızı ve etkileşiminizi artırabilir. Peki, araştırma projeleri nasıl görünür ve nasıl bir etki yaratabilir?
Bir örneğe bakalım - Joy Buolamwini (MIT Media Labs) tarafından yapılan [MIT Gender Shades Çalışması](http://gendershades.org/overview.html) ve Timnit Gebru (o dönemde Microsoft Research'te) ile birlikte yazılan [önemli bir araştırma makalesi](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf):
Bir örneğe bakalım - Joy Buolamwini'nin (MIT Media Labs) [MIT Gender Shades Çalışması](http://gendershades.org/overview.html) ve Timnit Gebru (o dönemde Microsoft Research'te) ile birlikte yazdığı [önemli bir araştırma makalesi](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf):
* **Ne:** Araştırma projesinin amacı, _otomatik yüz analizi algoritmalarında ve veri setlerinde cinsiyet ve ten rengine dayalı önyargıları değerlendirmekti_.
* **Neden:** Yüz analizi, kolluk kuvvetleri, havaalanı güvenliği, işe alım sistemleri gibi alanlarda kullanılır - yanlış sınıflandırmaların (örneğin, önyargılar nedeniyle) bireyler veya gruplar üzerinde ekonomik ve sosyal zararlar yaratabileceği bağlamlar. Önyargıları anlamak (ve ortadan kaldırmak veya hafifletmek), kullanımda adalet için anahtardır.
* **Nasıl:** Araştırmacılar, mevcut ölçütlerin ağırlıklı olarak açık tenli denekleri kullandığını fark etti ve cinsiyet ve ten rengine göre _daha dengeli_olan yeni bir veri seti (1000+ görüntü) oluşturdu. Veri seti, üç cinsiyet sınıflandırma ürününün (Microsoft, IBM ve Face++'tan) doğruluğunu değerlendirmek için kullanıldı.
* **Neden:** Yüz analizi, kolluk kuvvetleri, havaalanı güvenliği, işe alım sistemleri gibi alanlarda kullanılır - bu bağlamlarda yanlış sınıflandırmalar (örneğin, önyargı nedeniyle) etkilenen bireyler veya gruplar için potansiyel ekonomik ve sosyal zararlara neden olabilir. Önyargıları anlamak (ve ortadan kaldırmak veya hafifletmek) kullanımda adalet için anahtardır.
* **Nasıl:** Araştırmacılar, mevcut ölçütlerin ağırlıklı olarak açık tenli denekleri kullandığını fark etti ve cinsiyet ve ten rengine göre _daha dengeli_ yeni bir veri seti (1000+ görüntü) oluşturdu. Veri seti, üç cinsiyet sınıflandırma ürününün (Microsoft, IBM ve Face++'tan) doğruluğunu değerlendirmek için kullanıldı.
Sonuçlar, genel sınıflandırma doğruluğunun iyi olmasına rağmen, çeşitli alt gruplar arasında hata oranlarında belirgin bir fark olduğunu gösterdi - **yanlış cinsiyet ataması**, kadınlar veya koyu tenli kişiler için daha yüksekti, bu da önyargının bir göstergesiydi.
Sonuçlar, genel sınıflandırma doğruluğunun iyi olmasına rağmen, çeşitli alt gruplar arasında hata oranlarında belirgin bir fark olduğunu gösterdi - **yanlış cinsiyet ataması** kadınlar veya daha koyu ten rengine sahip kişiler için daha yüksekti, bu da önyargıya işaret ediyordu.
**Anahtar Sonuçlar:** Veri biliminin daha _temsil edici veri setlerine_ (dengeli alt gruplar) ve daha _kapsayıcı ekiplere_ (çeşitli geçmişler) ihtiyaç duyduğunu, böylece bu tür önyargıların yapay zeka çözümlerinde daha erken fark edilip ortadan kaldırılabileceğini veya hafifletilebileceğini ortaya koydu. Bu tür araştırma çabaları, birçok kuruluşun yapay zeka ürünleri ve süreçlerinde adaleti artırmak için _sorumlu yapay zeka_ ilkelerini ve uygulamalarını tanımlamasında da önemli bir rol oynar.
**Anahtar Sonuçlar:** Veri biliminin daha _temsil edici veri setlerine_ (dengeli alt gruplar) ve daha _kapsayıcı ekiplere_ (çeşitli geçmişler) ihtiyaç duyduğuna dair farkındalık yarattı. Bu tür araştırma çabaları, birçok kuruluşun AI ürünleri ve süreçlerinde adaleti artırmak için _sorumlu AI_ ilkelerini ve uygulamalarını tanımlamasında da önemli bir rol oynar.
**Microsoft'taki ilgili araştırma çabalarını öğrenmek ister misiniz?**
* [Microsoft Araştırma Projeleri](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) sayfasına göz atın.
* [Microsoft Research Veri Bilimi Yaz Okulu](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) öğrenci projelerini keşfedin.
* [Fairlearn](https://fairlearn.org/) projesi ve [Sorumlu Yapay Zeka](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) girişimlerine göz atın.
* [Fairlearn](https://fairlearn.org/) projesi ve [Sorumlu AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) girişimlerine göz atın.
## Veri Bilimi + Beşeri Bilimler
@ -80,21 +80,21 @@ Sonuçlar, genel sınıflandırma doğruluğunun iyi olmasına rağmen, çeşitl
| Veri Bilimi & Dijital Beşeri Bilimler - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
Dijital Beşeri Bilimler, [şöyle tanımlanmıştır](https://digitalhumanities.stanford.edu/about-dh-stanford): "hesaplamalı yöntemleri beşeri bilimsel sorgulamalarla birleştiren bir uygulama ve yaklaşımlar koleksiyonu". [Stanford projeleri](https://digitalhumanities.stanford.edu/projects) gibi _"tarihi yeniden başlatma"_ ve _"şiirsel düşünce"_, [Dijital Beşeri Bilimler ve Veri Bilimi](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) arasındaki bağlantıyı vurgular - ağ analizi, bilgi görselleştirme, mekansal ve metin analizi gibi tekniklere odaklanarak, tarihi ve edebi veri setlerini yeniden incelememize ve yeni içgörüler ve perspektifler elde etmemize olanak tanır.
Dijital Beşeri Bilimler, [şöyle tanımlanmıştır](https://digitalhumanities.stanford.edu/about-dh-stanford): "hesaplamalı yöntemleri insani sorgulamalarla birleştiren bir uygulama ve yaklaşımlar bütünü". [Stanford projeleri](https://digitalhumanities.stanford.edu/projects) gibi _"tarihi yeniden başlatma"_ ve _"şiirsel düşünce"_ örnekleri, [Dijital Beşeri Bilimler ve Veri Bilimi](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) arasındaki bağlantıyı vurgular - ağ analizi, bilgi görselleştirme, mekansal ve metin analizi gibi tekniklerin, tarihi ve edebi veri setlerini yeniden incelememize ve yeni içgörüler ve perspektifler elde etmemize nasıl yardımcı olabileceğini gösterir.
*Bu alanda bir projeyi keşfetmek ve genişletmek ister misiniz?*
["Emily Dickinson ve Ruh Halinin Ölçüsü"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) adlı projeye göz atın - [Jen Looper](https://twitter.com/jenlooper) tarafından harika bir örnek. Bu proje, veri bilimi kullanarak tanıdık şiirleri yeniden değerlendirmeyi ve yazarının katkılarını yeni bağlamlarda yeniden yorumlamayı amaçlar. Örneğin, _bir şiirin tonu veya duygusunu analiz ederek hangi mevsimde yazıldığını tahmin edebilir miyiz_ - ve bu, yazarın ilgili dönemdeki ruh hali hakkında bize ne anlatır?
["Emily Dickinson ve Ruh Halinin Ölçüsü"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - [Jen Looper](https://twitter.com/jenlooper) tarafından harika bir örnek - şiirleri yeniden incelemek ve onların anlamını ve yazarının katkılarını yeni bağlamlarda değerlendirmek için veri bilimi kullanmanın yollarını sorar. Örneğin, _bir şiirin tonu veya duygusunu analiz ederek hangi mevsimde yazıldığını tahmin edebilir miyiz_ - ve bu, yazarın ilgili dönemdeki ruh hali hakkında bize ne anlatır?
Bu soruyu yanıtlamak için veri bilimi yaşam döngüsünün adımlarını takip ederiz:
* [`Veri Toplama`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - analiz için ilgili bir veri seti toplamak. Seçenekler arasında bir API kullanmak (örneğin, [Poetry DB API](https://poetrydb.org/index.html)) veya web sayfalarını kazımak (örneğin, [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) bulunur.
* [`Veri Temizleme`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - metinlerin nasıl biçimlendirileceğini, temizleneceğini ve basitleştirileceğini açıklar. Bunun için Visual Studio Code ve Microsoft Excel gibi temel araçlar kullanılabilir.
* [`Veri Analizi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - veri setini "Not Defterleri"ne aktararak Python paketleri (örneğin, pandas, numpy ve matplotlib) kullanarak veriyi düzenleme ve görselleştirme sürecini açıklar.
* [`Duygu Analizi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - düşük kodlu araçlar (örneğin, [Power Automate](https://flow.microsoft.com/en-us/)) kullanarak metin analitiği gibi bulut hizmetlerini entegre ederek otomatik veri işleme iş akışlarını açıklar.
* [`Veri Temizleme`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - metinlerin nasıl biçimlendirilebileceğini, temizlenebileceğini ve basitleştirilebileceğini açıklar. Bunun için Visual Studio Code ve Microsoft Excel gibi temel araçlar kullanılabilir.
* [`Veri Analizi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - veri setini Python paketleri (örneğin, pandas, numpy ve matplotlib) kullanarak organize etmek ve görselleştirmek için "Not Defterleri"ne nasıl aktarabileceğimizi açıklar.
* [`Duygu Analizi`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - metin analitiği gibi bulut hizmetlerini, otomatik veri işleme iş akışları için [Power Automate](https://flow.microsoft.com/en-us/) gibi düşük kodlu araçlarla nasıl entegre edebileceğimizi açıklar.
Bu iş akışını kullanarak, şiirlerin duygularındaki mevsimsel etkileri keşfedebilir ve yazar hakkında kendi perspektiflerimizi oluşturabiliriz. Kendiniz deneyin - ardından not defterini diğer soruları sormak veya veriyi yeni yollarla görselleştirmek için genişletin!
Bu iş akışını kullanarak, şiirlerin duygusuna mevsimsel etkileri keşfedebilir ve yazar hakkında kendi perspektiflerimizi oluşturabiliriz. Kendiniz deneyin - ardından not defterini diğer soruları sormak veya verileri yeni yollarla görselleştirmek için genişletin!
> Bu tür sorgulama yollarını takip etmek için [Dijital Beşeri Bilimler araç seti](https://github.com/Digital-Humanities-Toolkit) içindeki bazı araçları kullanabilirsiniz.
> Bu sorgulama yollarını takip etmek için [Dijital Beşeri Bilimler araç setindeki](https://github.com/Digital-Humanities-Toolkit) bazı araçları kullanabilirsiniz.
## Veri Bilimi + Sürdürülebilirlik
@ -102,21 +102,21 @@ Bu iş akışını kullanarak, şiirlerin duygularındaki mevsimsel etkileri ke
| Veri Bilimi & Sürdürülebilirlik - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
[2030 Sürdürülebilir Kalkınma Gündemi](https://sdgs.un.org/2030agenda) - 2015 yılında tüm Birleşmiş Milletler üyeleri tarafından kabul edilen - **Gezegeni Koruma** ve iklim değişikliğinin etkilerinden koruma gibi 17 hedef belirlemiştir. [Microsoft Sürdürülebilirlik](https://www.microsoft.com/en-us/sustainability) girişimi, bu hedefleri destekleyerek teknoloji çözümlerinin daha sürdürülebilir gelecekler inşa etmesine nasıl yardımcı olabileceğini araştırır ve [4 hedefe](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) odaklanır: 2030 yılına kadar karbon negatif, su pozitif, sıfır atık ve biyolojik çeşitlilik.
[2030 Sürdürülebilir Kalkınma Gündemi](https://sdgs.un.org/2030agenda) - 2015 yılında tüm Birleşmiş Milletler üyeleri tarafından kabul edilen - **Gezegeni koruma** ve iklim değişikliğinin etkilerinden koruma gibi 17 hedef belirlemiştir. [Microsoft Sürdürülebilirlik](https://www.microsoft.com/en-us/sustainability) girişimi, bu hedefleri destekleyerek teknoloji çözümlerinin daha sürdürülebilir gelecekler inşa etmesine nasıl yardımcı olabileceğini araştırır ve [4 hedefe](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) odaklanır: 2030 yılına kadar karbon negatif, su pozitif, sıfır atık ve biyolojik çeşitlilik.
Bu zorlukları ölçeklenebilir ve zamanında ele almak, bulut ölçeğinde düşünmeyi ve büyük ölçekli verileri gerektirir. [Planetary Computer](https://planetarycomputer.microsoft.com/) girişimi, veri bilimciler ve geliştiricilere bu çabada yardımcı olmak için 4 bileşen sunar:
Bu zorlukların ölçeklenebilir ve zamanında ele alınması, bulut ölçeğinde düşünmeyi ve büyük ölçekli verileri gerektirir. [Planetary Computer](https://planetarycomputer.microsoft.com/) girişimi, veri bilimciler ve geliştiricilere bu çabada yardımcı olmak için 4 bileşen sunar:
* [Veri Kataloğu](https://planetarycomputer.microsoft.com/catalog) - Dünya Sistemleri verilerinden petabaytlarca (ücretsiz ve Azure barındırmalı).
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - kullanıcıların uzay ve zaman boyunca ilgili verileri aramasına yardımcı olur.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - bilim insanlarının büyük coğrafi veri setlerini işlemesi için yönetilen bir ortam.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - bilim insanlarının büyük ölçekli coğrafi veri setlerini işlemesi için yönetilen bir ortam.
* [Uygulamalar](https://planetarycomputer.microsoft.com/applications) - sürdürülebilirlik içgörüleri için kullanım durumlarını ve araçları sergiler.
**Gezegen Bilgisayar Projesi şu anda önizleme aşamasında (Eylül 2021 itibarıyla)** - veri bilimi kullanarak sürdürülebilirlik çözümlerine katkıda bulunmaya nasıl başlayabileceğinizi öğrenin.
* Keşfe başlamak ve diğer kişilerle bağlantı kurmak için [Erişim talep edin](https://planetarycomputer.microsoft.com/account/request).
* Desteklenen veri setlerini ve API'leri anlamak için [Dokümantasyonu keşfedin](https://planetarycomputer.microsoft.com/docs/overview/about).
* Uygulama fikirleri için [Ekosistem İzleme](https://analytics-lab.org/ecosystemmonitoring/) gibi uygulamalarıkeşfedin.
* Keşfe başlamak ve diğer kişilerle bağlantı kurmak için [erişim talep edin](https://planetarycomputer.microsoft.com/account/request).
* Desteklenen veri setlerini ve API'leri anlamak için [dokümantasyonu keşfedin](https://planetarycomputer.microsoft.com/docs/overview/about).
* Uygulama fikirleri için [Ekosistem İzleme](https://analytics-lab.org/ecosystemmonitoring/) gibi uygulamalarıinceleyin.
Veri görselleştirmeyi, iklim değişikliği ve ormansızlaşma gibi alanlarda ilgili içgörüleri ortaya çıkarmak veya güçlendirmek için nasıl kullanabileceğinizi düşünün. Ya da bu içgörülerin, daha sürdürülebilir bir yaşam için davranış değişikliklerini motive eden yeni kullanıcı deneyimleri oluşturmak için nasıl kullanılabileceğini düşünün.
Veri görselleştirmeyi, iklim değişikliği ve ormansızlaşma gibi alanlarda ilgili içgörüleri ortaya çıkarmak veya güçlendirmek için nasıl kullanabileceğinizi düşünün. Ya da içgörülerin, daha sürdürülebilir bir yaşam için davranış değişikliklerini motive eden yeni kullanıcı deneyimleri oluşturmak için nasıl kullanılabileceğini düşünün.
## Veri Bilimi + Öğrenciler
@ -127,23 +127,24 @@ Endüstri ve araştırmadaki gerçek dünya uygulamalarından bahsettik ve dijit
* GitHub [projeleri](https://github.com/msr-ds3) ile [MSR Veri Bilimi Yaz Okulu](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects), şu konuları keşfediyor:
- [Polis Güç Kullanımında Irksal Önyargı](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [NYC Metro Sistemi Güvenilirliği](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Malzeme Kültürünü Dijitalleştirme: Sirkap'taki sosyo-ekonomik dağılımları keşfetmek](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [Ornella Altunyan](https://twitter.com/ornelladotcom) ve Claremont'taki ekibi tarafından [ArcGIS StoryMaps](https://storymaps.arcgis.com/) kullanılarak oluşturulmuş.
Başlangıç seviyesine uygun veri bilimi projelerini öneren makaleler arayın - örneğin [bu 50 konu alanı](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [bu 21 proje fikri](https://www.intellspot.com/data-science-project-ideas) veya [kaynak kodlu bu 16 proje](https://data-flair.training/blogs/data-science-project-ideas/) gibi. Bu projeleri analiz edin ve yeniden şekillendirin. Ayrıca öğrenme yolculuklarınızı blog yazılarıyla paylaşmayı ve içgörülerinizi bizimle paylaşmayı unutmayın.
Başlangıç seviyesindeki veri bilimi projelerini öneren makaleler arayın - örneğin [bu 50 konu alanı](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [bu 21 proje fikri](https://www.intellspot.com/data-science-project-ideas) veya [kaynak kodlu bu 16 proje](https://data-flair.training/blogs/data-science-project-ideas/) gibi. Öğrenme yolculuklarınızı bloglamayı ve içgörülerinizi bizimle paylaşmayı unutmayın.
Daha fazla kullanım senaryosu keşfetmek mi istiyorsunuz? İşte birkaç ilgili makale:
Daha fazla kullanım senaryosu keşfetmek ister misiniz? İşte birkaç ilgili makale:
* [17 Veri Bilimi Uygulaması ve Örnekleri](https://builtin.com/data-science/data-science-applications-examples) - Temmuz 2021
* [Gerçek Dünyada 11 Nefes Kesici Veri Bilimi Uygulaması](https://myblindbird.com/data-science-applications-real-world/) - Mayıs 2021
* [Gerçek Dünyada Veri Bilimi](https://towardsdatascience.com/data-science-in-the-real-world/home) - Makale Koleksiyonu
* Veri Bilimi Şu Alanlarda: [Eğitim](https://data-flair.training/blogs/data-science-in-education/), [Tarım](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Filmler](https://data-flair.training/blogs/data-science-at-movies/) ve daha fazlası.
* [12 Gerçek Dünya Veri Bilimi Uygulaması ve Örnekleri](https://www.scaler.com/blog/data-science-applications/) - Mayıs 2024
* Veri Bilimi Şu Alanlarda: [Eğitim](https://data-flair.training/blogs/data-science-in-education/), [Tarım](https://data-flair.training/blogs/data-science-in-agriculture/), [Finans](https://data-flair.training/blogs/data-science-in-finance/), [Filmler](https://data-flair.training/blogs/data-science-at-movies/), [Sağlık Hizmetleri](https://onlinedegrees.sandiego.edu/data-science-health-care/) ve daha fazlası.
## Ödev
@ -152,4 +153,4 @@ Daha fazla kullanım senaryosu keşfetmek mi istiyorsunuz? İşte birkaç ilgili
---
**Feragatname**:
Bu belge, [Co-op Translator](https://github.com/Azure/co-op-translator) adlı yapay zeka çeviri hizmeti kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz.
Bu belge, [Co-op Translator](https://github.com/Azure/co-op-translator) adlı yapay zeka çeviri hizmeti kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlama veya yanlış yorumlamalardan sorumlu değiliz.
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT Media Labs）進行，並與 Timnit Gebru（當時在 Microsoft Research）共同撰寫了一篇[重要研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究聚焦於：
讓我們看一個例子——[MIT Gender Shades Study](http://gendershades.org/overview.html)，由 Joy Buolamwini（MIT Media Labs）進行，並與 Timnit Gebru（當時在 Microsoft Research）共同撰寫了一篇[重要研究論文](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)，該研究專注於：
查看 ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——一個來自 [Jen Looper](https://twitter.com/jenlooper) 的精彩例子，探討如何利用數據科學重新審視熟悉的詩歌，並在新的背景下重新評估其意義及作者的貢獻。例如，_我們能否通過分析詩歌的語氣或情感來預測其創作的季節_——這又能告訴我們作者在相關時期的心境如何？
查看 ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——這是一個由 [Jen Looper](https://twitter.com/jenlooper) 提供的精彩例子，探討如何利用數據科學重新審視熟悉的詩歌，並在新的情境中重新評估其意義及作者的貢獻。例如，_我們能否通過分析詩歌的語氣或情感來預測其創作的季節_——這對於理解作者在相關時期的心理狀態有何啟示？
* [`數據清理`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - 解釋如何使用基本工具（如 Visual Studio Code 和 Microsoft Excel）格式化、清理和簡化文本。
| Наука про дані в реальному світі - _Скетчноут від [@nitya](https://twitter.com/nitya)_ |
| Наука про дані у реальному світі - _Скетчноут від [@nitya](https://twitter.com/nitya)_ |
Ми майже завершили цей навчальний шлях!
Ми майже завершили цю навчальну подорож!
Ми почали з визначень науки про дані та етики, дослідили різні інструменти та методи аналізу і візуалізації даних, розглянули життєвий цикл науки про дані та вивчили масштабування і автоматизацію робочих процесів науки про дані за допомогою хмарних обчислювальних сервісів. Тож, ви, мабуть, запитуєте: _"Як саме я можу застосувати всі ці знання в реальних контекстах?"_
Ми почали з визначень науки про дані та етики, дослідили різні інструменти та техніки для аналізу й візуалізації даних, розглянули життєвий цикл науки про дані та вивчили масштабування й автоматизацію робочих процесів науки про дані за допомогою хмарних обчислювальних сервісів. Тож, ви, мабуть, запитуєте: _"Як саме я можу застосувати всі ці знання у реальних контекстах?"_
У цьому уроці ми дослідимо реальні застосування науки про дані в різних галузях ізаглибимося в конкретні приклади в дослідженнях, цифрових гуманітарних науках та сталому розвитку. Ми розглянемо можливості студентських проєктів і завершимо корисними ресурсами, які допоможуть вам продовжити навчальний шлях!
У цьому уроці ми дослідимо реальні застосування науки про дані в різних галузях ірозглянемо конкретні приклади у дослідженнях, цифрових гуманітарних науках та сталому розвитку. Ми також розглянемо можливості студентських проєктів і завершимо корисними ресурсами, які допоможуть вам продовжити навчання!
Завдяки демократизації штучного інтелекту розробникам стало легше створювати та інтегрувати рішення на основі штучного інтелекту і даних у користувацький досвід та робочі процеси розробки. Ось кілька прикладів того, як наука про дані "застосовується" в реальних галузях:
Завдяки демократизації штучного інтелекту розробникам стало легше проєктувати та інтегрувати рішення на основі ШІ та інсайти, отримані з даних, у користувацький досвід і робочі процеси розробки. Ось кілька прикладів того, як наука про дані "застосовується" у реальних додатках в індустрії:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) використовував науку про дані для кореляції пошукових запитів із тенденціями грипу. Хоча підхід мав недоліки, він привернув увагу до можливостей (і викликів) прогнозування в галузі охорони здоров'я на основі даних.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) використовував науку про дані для кореляції пошукових запитів із тенденціями грипу. Хоча підхід мав недоліки, він привернув увагу до можливостей (і викликів) прогнозування у сфері охорони здоров’я на основі даних.
* [Прогнози маршрутів UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - пояснює, як UPS використовує науку про дані та машинне навчання для прогнозування оптимальних маршрутів доставки, враховуючи погодні умови, трафік, терміни доставки тощо.
* [Прогнози маршрутів UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - пояснює, як UPS використовує науку про дані та машинне навчання для прогнозування оптимальних маршрутів доставки, враховуючи погодні умови, трафік, терміни доставки тощо.
* [Візуалізація маршрутів таксі в Нью-Йорку](http://chriswhong.github.io/nyctaxi/) - дані, зібрані за допомогою [законів про свободу інформації](https://chriswhong.com/open-data/foil_nyc_taxi/), допомогли візуалізувати день із життя таксі Нью-Йорка, показуючи, як вони пересуваються містом, заробляють гроші та тривалість поїздок протягом кожної доби.
* [Візуалізація маршрутів таксі в Нью-Йорку](http://chriswhong.github.io/nyctaxi/) - дані, зібрані за допомогою [законів про свободу інформації](https://chriswhong.com/open-data/foil_nyc_taxi/), допомогли візуалізувати день із життя таксі Нью-Йорка, що дозволило зрозуміти, як вони пересуваються містом, скільки заробляють і скільки часу тривають поїздки протягом доби.
* [Робоча платформа Uber Data Science](https://eng.uber.com/dsw/) - використовує дані (про місця посадки та висадки, тривалість поїздок, переваги маршрутів тощо), зібрані з мільйонів щоденних поїздок Uber, для створення аналітичного інструменту, який допомагає з ціноутворенням, безпекою, виявленням шахрайства та навігаційними рішеннями.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - використовує дані (про місця посадки та висадки, тривалість поїздок, переваги маршрутів тощо), зібрані з мільйонів поїздок Uber*щодня*, для створення інструменту аналітики даних, який допомагає з ціноутворенням, безпекою, виявленням шахрайства та навігаційними рішеннями.
* [Аналітика у спорті](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - зосереджується на _прогнозній аналітиці_ (аналіз команд і гравців - наприклад, [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - і управління фанатами) та _візуалізації даних_ (панелі команд і фанатів, ігри тощо) з такими застосуваннями, як пошук талантів, спортивні ставки та управління інвентарем/місцем проведення.
* [Аналітика у спорті](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - зосереджується на _прогнозній аналітиці_ (аналіз команд і гравців - наприклад, [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - і управління фанатами) та _візуалізації даних_ (панелі управління командами та фанатами, ігри тощо) з додатками, такими як пошук талантів, спортивні ставки та управління інвентарем/місцями проведення.
* [Наука про дані в банківській сфері](https://data-flair.training/blogs/data-science-in-banking/) - підкреслює цінність науки про дані у фінансовій галузі з такими застосуваннями, як моделювання ризиків і виявлення шахрайства, сегментація клієнтів, прогнозування в реальному часі та системи рекомендацій. Прогнозна аналітика також сприяє критичним заходам, таким як [кредитні рейтинги](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Наука про дані у банківській сфері](https://data-flair.training/blogs/data-science-in-banking/) - підкреслює цінність науки про дані у фінансовій індустрії з додатками, що варіюються від моделювання ризиків і виявлення шахрайства до сегментації клієнтів, прогнозування в реальному часі та рекомендаційних систем. Прогнозна аналітика також керує критичними показниками, такими як [кредитні рейтинги](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Наука про дані в охороні здоров'я](https://data-flair.training/blogs/data-science-in-healthcare/) - підкреслює такі застосування, як медична візуалізація (наприклад, МРТ, рентген, КТ-сканування), геноміка (секвенування ДНК), розробка ліків (оцінка ризиків, прогноз успіху), прогнозна аналітика (догляд за пацієнтами та логістика постачання), відстеження та профілактика захворювань тощо.
* [Наука про дані у сфері охорони здоров’я](https://data-flair.training/blogs/data-science-in-healthcare/) - підкреслює такі додатки, як медична візуалізація (наприклад, МРТ, рентген, КТ-сканування), геноміка (секвенування ДНК), розробка ліків (оцінка ризиків, прогноз успіху), прогнозна аналітика (догляд за пацієнтами та логістика постачання), відстеження та профілактика захворювань тощо.
 Джерело зображення: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Джерело зображення: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Нарисунку показано інші галузі та приклади застосування методів науки про дані. Хочете дослідити інші застосування? Перегляньте розділ [Огляд і самостійне навчання](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) нижче.
Намалюнку показані інші галузі та приклади застосування технік науки про дані. Хочете дослідити інші застосування? Ознайомтеся з розділом [Огляд і самостійне навчання](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) нижче.
| Наука про дані та дослідження - _Скетчноут від [@nitya](https://twitter.com/nitya)_ |
Хоча реальні застосування часто зосереджуються на галузевих кейсах у масштабі, _дослідницькі_ застосування та проєкти можуть бути корисними з двох перспектив:
Хоча реальні застосування часто зосереджуються на масштабних індустріальних кейсах, _дослідницькі_ застосування та проєкти можуть бути корисними з двох точок зору:
* _можливості для інновацій_ - дослідження швидкого прототипування передових концепцій і тестування користувацького досвіду для додатків наступного покоління.
* _виклики впровадження_ - вивчення потенційних шкод або непередбачених наслідків технологій науки про дані в реальних контекстах.
* _виклики впровадження_ - вивчення потенційних шкод або непередбачених наслідків технологій науки про дані у реальних контекстах.
Для студентів ці дослідницькі проєкти можуть забезпечити як навчальні, так іможливості для співпраці, що покращить ваше розуміння теми та розширить вашу обізнаність і взаємодію з відповідними людьми або командами, які працюють у цікавих для вас сферах. Тож як виглядають дослідницькі проєкти і як вони можуть вплинути?
Для студентів ці дослідницькі проєкти можуть забезпечити як навчальні, так іколаборативні можливості, які покращать ваше розуміння теми та розширять вашу обізнаність і взаємодію з відповідними людьми чи командами, що працюють у цікавих для вас галузях. Тож, як виглядають дослідницькі проєкти і як вони можуть вплинути?
Розглянемо один приклад - [Дослідження Gender Shades MIT](http://gendershades.org/overview.html) від Джой Буоламвіні (MIT Media Labs) із [знаковою дослідницькою статтею](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), співавтором якої була Тімніт Гебру (тоді в Microsoft Research), що зосереджувалася на:
Розглянемо один приклад - [Дослідження Gender Shades від MIT](http://gendershades.org/overview.html) Джой Буоламвіні (MIT Media Labs) із [знаковою дослідницькою статтею](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf), співавтором якої була Тімніт Гебру (тоді в Microsoft Research), що зосереджувалася на:
***Що:** Метою дослідницького проєкту було _оцінити упередження, присутні в алгоритмах і наборах даних автоматизованого аналізу облич_, на основі статі та типу шкіри.
***Чому:** Аналіз облич використовується в таких сферах, як правоохоронні органи, безпека в аеропортах, системи найму тощо - контексти, де неточні класифікації (наприклад, через упередження) можуть спричинити потенційні економічні та соціальні шкоди для постраждалих осібабо груп. Розуміння (та усунення або пом'якшення) упереджень є ключовим для справедливості у використанні.
* **Як:** Дослідники визнали, що існуючі еталони використовували переважно світлошкірих суб'єктів, і створили новий набір даних (1000+ зображень), який був _більш збалансованим_ за статтю та типом шкіри. Набір даних використовувався для оцінки точності трьох продуктів класифікації статі (від Microsoft, IBM і Face++).
***Що:** Метою дослідницького проєкту було _оцінити упередження, присутні в алгоритмах і наборах даних автоматизованого аналізу облич_, на основі статі та типу шкіри.
***Чому:** Аналіз облич використовується у таких сферах, як правоохоронні органи, безпека в аеропортах, системи найму тощо - контексти, де неточні класифікації (наприклад, через упередження) можуть спричинити потенційні економічні та соціальні шкоди для постраждалих осібабо груп. Розуміння (та усунення або пом’якшення) упереджень є ключем до справедливості у використанні.
* **Як:** Дослідники виявили, що існуючі еталони використовували переважно суб’єктів зі світлішою шкірою, і створили новий набір даних (1000+ зображень), який був _більш збалансованим_ за статтю та типом шкіри. Цей набір даних використовувався для оцінки точності трьох продуктів класифікації за статтю (від Microsoft, IBM і Face++).
Результати показали, що хоча загальна точність класифікації була хорошою, спостерігалася помітна різниця в рівнях помилок між різними підгрупами - з **помилковою класифікацією статі**, яка була вищою для жінок абоосіб із темнішим типом шкіри, що свідчить про упередження.
Результати показали, що хоча загальна точність класифікації була хорошою, спостерігалася помітна різниця у рівнях помилок між різними підгрупами - з **помилковою ідентифікацією статі**, яка була вищою для жінок абоосіб із темнішою шкірою, що свідчить про упередження.
**Основні результати:** Підвищення обізнаності про те, що наука про дані потребує _репрезентативних наборів даних_ (збалансованих підгруп) і_інклюзивних команд_ (різноманітних за походженням), щоб раніше розпізнавати та усувати або пом'якшувати такі упередження в рішеннях штучного інтелекту. Такі дослідницькі зусилля також є важливими для багатьох організацій, які визначають принципи та практики _відповідального штучного інтелекту_ для покращення справедливості у своїх продуктах і процесах штучного інтелекту.
**Ключові результати:** Підвищення обізнаності про те, що наука про дані потребує _репрезентативніших наборів даних_ (збалансованих підгруп) і_інклюзивніших команд_ (різноманітних за походженням), щоб раніше розпізнавати та усувати або пом’якшувати такі упередження у рішеннях на основі ШІ. Такі дослідницькі зусилля також є ключовими для багатьох організацій у визначенні принципів і практик _відповідального ШІ_ для покращення справедливості у їхніх продуктах і процесах ШІ.
**Хочете дізнатися про відповідні дослідницькі зусилля в Microsoft?**
* Ознайомтеся з [Дослідницькими проєктами Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) у галузі штучного інтелекту.
* Досліджуйте студентські проєкти з [Літньої школи науки про дані Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Ознайомтеся з проєктом [Fairlearn](https://fairlearn.org/) та ініціативами [Відповідального штучного інтелекту](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Ознайомтеся з [дослідницькими проєктами Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) у галузі штучного інтелекту.
* Дослідіть студентські проєкти з [Літньої школи науки про дані Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Ознайомтеся з проєктом [Fairlearn](https://fairlearn.org/) та ініціативами [Відповідального ШІ](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
| Наука про дані та цифрові гуманітарні науки - _Скетчноут від [@nitya](https://twitter.com/nitya)_ |
Цифрові гуманітарні науки [визначаються](https://digitalhumanities.stanford.edu/about-dh-stanford) як "сукупність практик і підходів, що поєднують обчислювальні методи з гуманітарними дослідженнями". [Проєкти Стенфорда](https://digitalhumanities.stanford.edu/projects), такі як _"перезавантаження історії"_ та _"поетичне мислення"_, ілюструють зв'язок між [цифровими гуманітарними науками та наукою про дані](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - підкреслюючи такі методи, як аналіз мереж, візуалізація інформації, просторовий і текстовий аналіз, які допомагають нам переглядати історичні та літературні набори даних, щоб отримати нові інсайти та перспективи.
Цифрові гуманітарні науки [визначаються](https://digitalhumanities.stanford.edu/about-dh-stanford) як "сукупність практик і підходів, що поєднують обчислювальні методи з гуманітарними дослідженнями". [Проєкти Стенфорда](https://digitalhumanities.stanford.edu/projects), такі як _"перезавантаження історії"_ та _"поетичне мислення"_, ілюструють зв’язок між [цифровими гуманітарними науками та наукою про дані](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - підкреслюючи техніки, такі як аналіз мереж, візуалізація інформації, просторовий і текстовий аналіз, які можуть допомогти нам переосмислити історичні та літературні набори даних для отримання нових інсайтів і перспектив.
*Хочете дослідити та розширити проєкт у цій сфері?*
*Хочете дослідити та розширити проєкт у цій галузі?*
Ознайомтеся з ["Емілі Дікінсон і метр настрою"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - чудовим прикладом від [Джен Лупер](https://twitter.com/jenlooper), який запитує, як ми можемо використовувати науку про дані, щоб переглянути знайому поезію та переоцінити її значення і внесок автора в нових контекстах. Наприклад, _чи можемо ми передбачити сезон, у який був написаний вірш, аналізуючи його тон або настрій_ - і що це говорить нам про стан автора в той період?
Ознайомтеся з ["Емілі Дікінсон і метр настрою"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - чудовим прикладом від [Джен Лупер](https://twitter.com/jenlooper), який запитує, як ми можемо використовувати науку про дані, щоб переосмислити знайому поезію та переоцінити її значення й внесок автора в нових контекстах. Наприклад, _чи можемо ми передбачити сезон, у який був написаний вірш, аналізуючи його тон або настрій_ - і що це говорить нам про стан розуму автора у відповідний період?
Щоб відповісти на це запитання, ми слідуємо етапам життєвого циклу науки про дані:
* [`Отримання даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - для збору відповідного набору даних для аналізу. Варіанти включають використання API (наприклад, [Poetry DB API](https://poetrydb.org/index.html)) або скрапінг веб-сторінок (наприклад, [Проєкт Гутенберг](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) за допомогою інструментів, таких як [Scrapy](https://scrapy.org/).
* [`Очищення даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - пояснює, як текст може бути відформатований, очищений і спрощений за допомогою базових інструментів, таких як Visual Studio Code і Microsoft Excel.
* [`Аналіз даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - пояснює, як ми можемо імпортувати набір даних у "ноутбуки" для аналізу за допомогою Python-пакетів (таких як pandas, numpy і matplotlib) для організації та візуалізації даних.
* [`Аналіз настрою`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - пояснює, як ми можемо інтегрувати хмарні сервіси, такі як Text Analytics, використовуючи низькокодові інструменти, такі як [Power Automate](https://flow.microsoft.com/en-us/) для автоматизованих робочих процесів обробки даних.
Щоб відповісти на це запитання, ми дотримуємося етапів життєвого циклу науки про дані:
* [`Отримання даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - для збору відповідного набору даних для аналізу. Варіанти включають використання API (наприклад, [Poetry DB API](https://poetrydb.org/index.html)) або скрапінг вебсторінок (наприклад, [Проєкт Гутенберг](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) за допомогою інструментів, таких як [Scrapy](https://scrapy.org/).
* [`Очищення даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - пояснює, як текст може бути відформатований, очищений і спрощений за допомогою базових інструментів, таких як Visual Studio Code і Microsoft Excel.
* [`Аналіз даних`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - пояснює, як ми можемо імпортувати набір даних у "ноутбуки" для аналізу за допомогою Python-пакетів (таких як pandas, numpy і matplotlib) для організації та візуалізації даних.
* [`Аналіз настроїв`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - пояснює, як ми можемо інтегрувати хмарні сервіси, такі як Text Analytics, використовуючи інструменти з низьким кодом, такі як [Power Automate](https://flow.microsoft.com/en-us/) для автоматизованих робочих процесів обробки даних.
Використовуючи цей робочий процес, ми можемо дослідити сезонні впливи на настрій віршів і допомогти нам сформувати власні перспективи щодо автора. Спробуйте самі - а потім розширте ноутбук, щоб поставити інші запитання або візуалізувати дані новими способами!
| Наука про дані та сталий розвиток - _Скетчноут від [@nitya](https://twitter.com/nitya)_ |
[Порядок денний сталого розвитку до 2030 року](https://sdgs.un.org/2030agenda) - прийнятий усіма членами ООНу 2015 році - визначає 17 цілей, включаючи ті, що зосереджуються на **захисті планети** від деградації та впливу кліматичних змін. Ініціатива [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) підтримує ці цілі, досліджуючи способи, якими технологічні рішення можуть сприяти створенню більш сталого майбутнього з [фокусом на 4 цілі](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - бути вуглецево негативними, водно позитивними, безвідходними та біорізноманітними до 2030 року.
Вирішення цих викликів у масштабі та своєчасно потребує мислення в масштабах хмари - і великих обсягів даних.
**Проєкт Planetary Computer наразі перебуває у попередньому перегляді (станом на вересень 2021 року)** - ось як ви можете почати роботу, сприяючи створенню рішень для сталого розвитку за допомогою науки про дані.
[Порядок денний на 2030 рік для сталого розвитку](https://sdgs.un.org/2030agenda) - ухвалений усіма членами ООНу 2015 році - визначає 17 цілей, включаючи ті, що зосереджені на **захисті планети** від деградації та впливу зміни клімату. Ініціатива [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) підтримує ці цілі, досліджуючи способи, якими технологічні рішення можуть сприяти створенню більш сталого майбутнього, з [фокусом на 4 цілях](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - бути вуглецево негативними, водно позитивними, безвідходними та біорізноманітними
**Проєкт Planetary Computer наразі перебуває у стадії попереднього перегляду (станом на вересень 2021 року)** – ось як ви можете почати долучатися до створення рішень для сталого розвитку за допомогою науки про дані.
* [Запитайте доступ](https://planetarycomputer.microsoft.com/account/request), щоб розпочати дослідження та зв’язатися з однодумцями.
* [Ознайомтеся з документацією](https://planetarycomputer.microsoft.com/docs/overview/about), щоб зрозуміти підтримувані набори даних та API.
* Досліджуйте застосунки, такі як [Моніторинг екосистем](https://analytics-lab.org/ecosystemmonitoring/), щоб отримати натхнення для ідей застосунків.
* [Ознайомтеся з документацією](https://planetarycomputer.microsoft.com/docs/overview/about), щоб зрозуміти, які набори даних і API підтримуються.
* Досліджуйте застосунки, такі як [Моніторинг екосистем](https://analytics-lab.org/ecosystemmonitoring/), для натхнення на створення власних ідей.
Подумайте, як ви можете використовувати візуалізацію даних, щоб виявити або підсилити важливі інсайти в таких сферах, як зміна клімату та вирубка лісів. Або подумайте, як ці інсайти можуть бути використані для створення нових користувацьких досвідів, які мотивують до змін у поведінці для більш сталого способу життя.
Подумайте, як ви можете використовувати візуалізацію даних, щоб виявляти або підсилювати важливі інсайти у таких сферах, як зміна клімату та вирубка лісів. Або ж подумайте, як ці інсайти можуть бути використані для створення нових користувацьких досвідів, які мотивують до змін у поведінці для більш сталого способу життя.
## Наука про дані + Студенти
Ми говорили про реальні застосування в індустрії та дослідженнях, а також розглядали приклади застосування науки про дані в цифрових гуманітарних науках і сталому розвитку. Тож як ви можете розвивати свої навички та ділитися своїм досвідом як початківці в науці про дані?
Ми говорили про реальні застосування в індустрії та дослідженнях, а також розглядали приклади застосування науки про дані у цифрових гуманітарних науках і сталому розвитку. Тож як ви можете розвивати свої навички та ділитися своїм досвідом як початківці у науці про дані?
Ось кілька прикладів студентських проєктів у сфері науки про дані, які можуть вас надихнути.
* [Літня школа науки про дані MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) із GitHub [проєктами](https://github.com/msr-ds3), що досліджують такі теми, як:
* [Літня школа науки про дані MSR](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) із [проєктами](https://github.com/msr-ds3) на GitHub, які досліджують такі теми, як:
- [Расова упередженість у застосуванні сили поліцією](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [Надійність системи метро Нью-Йорка](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [Оцифрування матеріальної культури: Дослідження соціально-економічних розподілів уСіркапі](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - від [Орнелли Алтунян](https://twitter.com/ornelladotcom) та команди з Клермонта, використовуючи [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
* [Оцифровування матеріальної культури: Дослідження соціально-економічних розподілів уСиркапі](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) – від [Орнелли Алтунян](https://twitter.com/ornelladotcom) та команди з Клермонта, використовуючи [ArcGIS StoryMaps](https://storymaps.arcgis.com/).
## 🚀 Виклик
Шукайте статті, які рекомендують проєкти з науки про дані, що підходять для початківців, наприклад [ці 50 тем](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/)або [ці 21 ідея проєктів](https://www.intellspot.com/data-science-project-ideas) чи [ці 16 проєктів із вихідним кодом](https://data-flair.training/blogs/data-science-project-ideas/), які ви можете розібрати та адаптувати. І не забудьте вести блог про свої навчальні подорожі та ділитися своїми інсайтами з усіма нами.
Шукайте статті, які рекомендують проєкти з науки про дані, що підходять для початківців, наприклад, [ці 50 тем](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/), [ці 21 ідею проєктів](https://www.intellspot.com/data-science-project-ideas) або [ці 16 проєктів із вихідним кодом](https://data-flair.training/blogs/data-science-project-ideas/), які ви можете розібрати та адаптувати. І не забудьте вести блог про свої навчальні подорожі та ділитися своїми інсайтами з усіма нами.
## Тест після лекції
## Післялекційний тест
## [Тест після лекції](https://ff-quizzes.netlify.app/en/ds/quiz/39)
Хочете дослідити більше варіантів використання? Ось кілька відповідних статей:
* [17 застосувань і прикладів науки про дані](https://builtin.com/data-science/data-science-applications-examples) - липень 2021
* [11 захоплюючих застосувань науки про дані в реальному світі](https://myblindbird.com/data-science-applications-real-world/) - травень 2021
* [Наука про дані в реальному світі](https://towardsdatascience.com/data-science-in-the-real-world/home) - збірка статей
* Наука про дані в: [освіті](https://data-flair.training/blogs/data-science-in-education/), [сільському господарстві](https://data-flair.training/blogs/data-science-in-agriculture/), [фінансах](https://data-flair.training/blogs/data-science-in-finance/), [кіноіндустрії](https://data-flair.training/blogs/data-science-at-movies/) та інших сферах.
* [17 застосувань і прикладів науки про дані](https://builtin.com/data-science/data-science-applications-examples) – липень 2021
* [11 вражаючих застосувань науки про дані у реальному світі](https://myblindbird.com/data-science-applications-real-world/) – травень 2021
* [Наука про дані у реальному світі](https://towardsdatascience.com/data-science-in-the-real-world/home) – збірка статей
* [12 реальних застосувань науки про дані з прикладами](https://www.scaler.com/blog/data-science-applications/) – травень 2024
* Наука про дані у: [освіті](https://data-flair.training/blogs/data-science-in-education/), [сільському господарстві](https://data-flair.training/blogs/data-science-in-agriculture/), [фінансах](https://data-flair.training/blogs/data-science-in-finance/), [кіноіндустрії](https://data-flair.training/blogs/data-science-at-movies/), [охороні здоров’я](https://onlinedegrees.sandiego.edu/data-science-health-care/) та інших сферах.
## Завдання
[Досліджуйте набір даних Planetary Computer](assignment.md)
[Дослідіть набір даних Planetary Computer](assignment.md)
---
**Відмова від відповідальності**:
Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.
Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
| ڈیٹا سائنس حقیقی دنیا میں - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| حقیقی دنیا میں ڈیٹا سائنس - _اسکیچ نوٹ از [@nitya](https://twitter.com/nitya)_ |
ہم اس تعلیمی سفر کے اختتام کے قریب پہنچ چکے ہیں!
ہم اس سیکھنے کے سفر کے اختتام کے قریب پہنچ چکے ہیں!
ہم نے ڈیٹا سائنس اور اخلاقیات کی تعریفوں سے آغاز کیا، ڈیٹا تجزیہ اور بصریات کے مختلف آلات اور تکنیکوں کو دریافت کیا، ڈیٹا سائنس کے لائف سائیکل کا جائزہ لیا، اور کلاؤڈ کمپیوٹنگ سروسز کے ذریعے ڈیٹا سائنس ورک فلو کو بڑھانے اور خودکار کرنے کے طریقے دیکھے۔ تو آپ شاید سوچ رہے ہوں گے: _"میں ان تمام سیکھنے کو حقیقی دنیا کے سیاق و سباق میں کیسے نقشہ بنا سکتا ہوں؟"_
اس سبق میں، ہم صنعت میں ڈیٹا سائنس کے حقیقی دنیا کے اطلاقات کو دریافت کریں گے اور تحقیق، ڈیجیٹل ہیومینٹیز، اور پائیداری کے سیاق و سباق میں مخصوص مثالوں پر غور کریں گے۔ ہم طلباء کے پروجیکٹ کے مواقع پر نظر ڈالیں گے اور آپ کے تعلیمی سفر کو جاری رکھنے میں مدد کے لیے مفید وسائل کے ساتھ اختتام کریں گے!
اس سبق میں، ہم صنعت میں ڈیٹا سائنس کے حقیقی دنیا کے اطلاقات کا جائزہ لیں گے اور تحقیق، ڈیجیٹل ہیومینٹیز، اور پائیداری کے سیاق و سباق میں مخصوص مثالوں پر غور کریں گے۔ ہم طلباء کے پروجیکٹ کے مواقع پر نظر ڈالیں گے اور آپ کے سیکھنے کے سفر کو جاری رکھنے میں مدد کے لیے مفید وسائل کے ساتھ اختتام کریں گے!
## لیکچر سے پہلے کا کوئز
@ -27,107 +27,107 @@ CO_OP_TRANSLATOR_METADATA:
AI کی جمہوریت کی بدولت، ڈویلپرز کے لیے AI سے چلنے والے فیصلے سازی اور ڈیٹا سے چلنے والے بصیرت کو صارف کے تجربات اور ترقیاتی ورک فلو میں ڈیزائن اور شامل کرنا آسان ہو گیا ہے۔ یہاں کچھ مثالیں ہیں کہ ڈیٹا سائنس کو صنعت میں حقیقی دنیا کے اطلاقات میں کیسے "لاگو" کیا جاتا ہے:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) نے ڈیٹا سائنس کا استعمال کرتے ہوئے تلاش کے الفاظ کو فلو کے رجحانات سے جوڑا۔ اگرچہ اس طریقہ کار میں خامیاں تھیں، لیکن اس نے ڈیٹا سے چلنے والی صحت کی پیش گوئیوں کے امکانات (اور چیلنجز) کے بارے میں آگاہی پیدا کی۔
* [گوگل فلو ٹرینڈز](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) نے ڈیٹا سائنس کا استعمال کرتے ہوئے تلاش کے الفاظ کو فلو ٹرینڈز کے ساتھ جوڑا۔ اگرچہ اس طریقہ کار میں خامیاں تھیں، لیکن اس نے ڈیٹا سے چلنے والی صحت کی پیش گوئیوں کے امکانات (اور چیلنجز) کے بارے میں آگاہی پیدا کی۔
* [UPS Routing Predictions](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - وضاحت کرتا ہے کہ UPS ڈیٹا سائنس اور مشین لرننگ کا استعمال کرتے ہوئے موسم کی حالت، ٹریفک کے نمونے، ڈیلیوری کی آخری تاریخ اور مزید کو مدنظر رکھتے ہوئے ڈیلیوری کے لیے بہترین راستوں کی پیش گوئی کیسے کرتا ہے۔
* [UPS روٹنگ پیش گوئیاں](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - وضاحت کرتا ہے کہ UPS ڈیٹا سائنس اور مشین لرننگ کا استعمال کرتے ہوئے موسم کی حالت، ٹریفک کے نمونے، ڈیلیوری کی آخری تاریخ اور مزید کو مدنظر رکھتے ہوئے ڈیلیوری کے لیے بہترین راستوں کی پیش گوئی کیسے کرتا ہے۔
* [NYC Taxicab Route Visualization](http://chriswhong.github.io/nyctaxi/) - [Freedom Of Information Laws](https://chriswhong.com/open-data/foil_nyc_taxi/) کے ذریعے جمع کردہ ڈیٹا نے NYC ٹیکسیوں کی زندگی کے ایک دن کو بصری طور پر پیش کیا، جس سے ہمیں یہ سمجھنے میں مدد ملی کہ وہ مصروف شہر میں کیسے نیویگیٹ کرتے ہیں، وہ کتنی رقم کماتے ہیں، اور ہر 24 گھنٹے کی مدت میں سفر کا دورانیہ۔
* [NYC ٹیکسی کیب روٹ بصریات](http://chriswhong.github.io/nyctaxi/) - [آزادی معلومات کے قوانین](https://chriswhong.com/open-data/foil_nyc_taxi/) کا استعمال کرتے ہوئے جمع کردہ ڈیٹا نے NYC کیبس کی زندگی کے ایک دن کو بصری بنایا، جس سے ہمیں یہ سمجھنے میں مدد ملی کہ وہ مصروف شہر میں کیسے نیویگیٹ کرتے ہیں، وہ کتنی رقم کماتے ہیں، اور ہر 24 گھنٹے کی مدت میں سفر کا دورانیہ۔
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - روزانہ لاکھوں اوبر سفر سے جمع کردہ ڈیٹا (پک اپ اور ڈراپ آف مقامات، سفر کا دورانیہ، ترجیحی راستے وغیرہ) کا استعمال کرتے ہوئے ڈیٹا اینالیٹکس ٹول بنایا گیا جو قیمتوں، حفاظت، دھوکہ دہی کی شناخت اور نیویگیشن کے فیصلوں میں مدد کرتا ہے۔
* [اوبر ڈیٹا سائنس ورک بینچ](https://eng.uber.com/dsw/) - روزانہ لاکھوں اوبر سفر سے جمع کردہ ڈیٹا (پک اپ اور ڈراپ آف مقامات، سفر کا دورانیہ، ترجیحی راستے وغیرہ) کا استعمال کرتے ہوئے ڈیٹا تجزیاتی ٹول بنایا گیا جو قیمتوں، حفاظت، دھوکہ دہی کی شناخت اور نیویگیشن کے فیصلوں میں مدد کرتا ہے۔
* [Sports Analytics](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _پیش گوئی کے تجزیے_ (ٹیم اور کھلاڑی کا تجزیہ - جیسے [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - اور مداحوں کا انتظام) اور _ڈیٹا بصریات_ (ٹیم اور مداحوں کے ڈیش بورڈز، کھیل وغیرہ) پر توجہ مرکوز کرتا ہے، جیسے ٹیلنٹ اسکاؤٹنگ، کھیلوں کی شرط بندی اور انوینٹری/مقام کا انتظام۔
* [کھیلوں کی تجزیات](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - _پیش گوئی تجزیات_ (ٹیم اور کھلاڑی کا تجزیہ - جیسے [منی بال](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - اور مداحوں کا انتظام) اور _ڈیٹا بصریات_ (ٹیم اور مداحوں کے ڈیش بورڈز، کھیل وغیرہ) پر توجہ مرکوز کرتا ہے، جیسے ٹیلنٹ اسکاؤٹنگ، کھیلوں کی جوا بازی اور انوینٹری/مقام کا انتظام۔
* [Data Science in Banking](https://data-flair.training/blogs/data-science-in-banking/) - مالی صنعت میں ڈیٹا سائنس کی قدر کو اجاگر کرتا ہے، جس میں خطرے کی ماڈلنگ اور دھوکہ دہی کی شناخت سے لے کر کسٹمر کی تقسیم، حقیقی وقت کی پیش گوئی اور سفارش کرنے والے نظام شامل ہیں۔ پیش گوئی کے تجزیے اہم اقدامات جیسے [کریڈٹ اسکورز](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) کو بھی چلاتے ہیں۔
* [بینکنگ میں ڈیٹا سائنس](https://data-flair.training/blogs/data-science-in-banking/) - مالی صنعت میں ڈیٹا سائنس کی قدر کو اجاگر کرتا ہے، جس میں خطرے کی ماڈلنگ اور دھوکہ دہی کی شناخت سے لے کر کسٹمر کی تقسیم، حقیقی وقت کی پیش گوئی اور سفارش کرنے والے نظام شامل ہیں۔ پیش گوئی تجزیات بھی اہم اقدامات جیسے [کریڈٹ اسکورز](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit) کو چلاتے ہیں۔
* [Data Science in Healthcare](https://data-flair.training/blogs/data-science-in-healthcare/) - طبی امیجنگ (جیسے MRI، ایکس رے، CT-Scan)، جینومکس (DNA سیکوینسنگ)، دوا کی ترقی (خطرے کی تشخیص، کامیابی کی پیش گوئی)، پیش گوئی کے تجزیے (مریض کی دیکھ بھال اور سپلائی لاجسٹکس)، بیماری کی نگرانی اور روک تھام وغیرہ جیسے اطلاقات کو اجاگر کرتا ہے۔
* [صحت کی دیکھ بھال میں ڈیٹا سائنس](https://data-flair.training/blogs/data-science-in-healthcare/) - طبی امیجنگ (جیسے MRI، ایکس رے، CT-Scan)، جینومکس (DNA سیکوینسنگ)، دوا کی ترقی (خطرے کی تشخیص، کامیابی کی پیش گوئی)، پیش گوئی تجزیات (مریض کی دیکھ بھال اور سپلائی لاجسٹکس)، بیماری کی ٹریکنگ اور روک تھام وغیرہ جیسے اطلاقات کو اجاگر کرتا ہے۔
 تصویر کا کریڈٹ: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 تصویر کا کریڈٹ: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
یہ تصویر دیگر شعبوں اور ڈیٹا سائنس تکنیکوں کے اطلاقات کی مثالیں دکھاتی ہے۔ کیا آپ دیگر اطلاقات کو دریافت کرنا چاہتے ہیں؟ نیچے [Review & Self Study](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) سیکشن دیکھیں۔
یہ شکل دیگر ڈومینز اور ڈیٹا سائنس تکنیکوں کے اطلاقات کی مثالیں دکھاتی ہے۔ کیا آپ دیگر اطلاقات کو دریافت کرنا چاہتے ہیں؟ نیچے [جائزہ اور خود مطالعہ](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) سیکشن دیکھیں۔
## ڈیٹا سائنس + تحقیق
|  ](../../sketchnotes/20-DataScience-Research.png) |
|  کی اسکیچ نوٹ ](../../sketchnotes/20-DataScience-Research.png) |
| ڈیٹا سائنس اور تحقیق - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ڈیٹا سائنس اور تحقیق - _اسکیچ نوٹ از [@nitya](https://twitter.com/nitya)_ |
جبکہ حقیقی دنیا کے اطلاقات اکثر صنعت کے استعمال کے معاملات پر توجہ مرکوز کرتے ہیں، _تحقیق_ کے اطلاقات اور پروجیکٹس دو نقطہ نظر سے مفید ہو سکتے ہیں:
* _جدت کے مواقع_ - جدید تصورات کے تیز پروٹوٹائپنگ اور اگلی نسل کے اطلاقات کے لیے صارف کے تجربات کی جانچ کریں۔
* _تعیناتی کے چیلنجز_ - حقیقی دنیا کے سیاق و سباق میں ڈیٹا سائنس ٹیکنالوجیز کے ممکنہ نقصانات یا غیر ارادی نتائج کی تحقیقات کریں۔
* _جدت کے مواقع_ - جدید تصورات کے تیز پروٹوٹائپنگ اور اگلی نسل کے اطلاقات کے لیے صارف کے تجربات کی جانچ کرنا۔
* _تعیناتی کے چیلنجز_ - حقیقی دنیا کے سیاق و سباق میں ڈیٹا سائنس ٹیکنالوجیز کے ممکنہ نقصانات یا غیر ارادی نتائج کی تحقیقات کرنا۔
طلباء کے لیے، یہ تحقیقی پروجیکٹس سیکھنے اور تعاون کے مواقع فراہم کر سکتے ہیں جو آپ کی موضوع کی سمجھ کو بہتر بنا سکتے ہیں، اور دلچسپی کے شعبوں میں کام کرنے والے متعلقہ افراد یا ٹیموں کے ساتھ آپ کی آگاہی اور مشغولیت کو وسیع کر سکتے ہیں۔ تو تحقیقی پروجیکٹس کیسے نظر آتے ہیں اور وہ کیسے اثر ڈال سکتے ہیں؟
آئیے ایک مثال دیکھتے ہیں - [MIT Gender Shades Study](http://gendershades.org/overview.html) جوائے بولااموینی (MIT میڈیا لیبز) کی طرف سے ایک [نمایاں تحقیقی مقالہ](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) کے ساتھ، جسے ٹمنیت گیبرو (اس وقت مائیکروسافٹ ریسرچ میں) کے ساتھ شریک تحریر کیا گیا تھا، جس نے توجہ مرکوز کی:
آئیے ایک مثال دیکھتے ہیں - [MIT جنس شیڈز اسٹڈی](http://gendershades.org/overview.html) جوائے بولااموینی (MIT میڈیا لیبز) کی جانب سے ایک [دستخطی تحقیقی مقالہ](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) کے ساتھ، جو ٹم نٹ گیبرو (اس وقت مائیکروسافٹ ریسرچ میں) کے ساتھ شریک مصنف تھا، جس نے توجہ مرکوز کی:
* **کیا:** تحقیقی پروجیکٹ کا مقصد _خودکار چہرے کے تجزیے کے الگورتھمز اور ڈیٹا سیٹس میں موجود تعصب کا جائزہ لینا_ تھا، جنس اور جلد کی قسم کی بنیاد پر۔
* **کیوں:** چہرے کا تجزیہ قانون نافذ کرنے، ہوائی اڈے کی حفاظت، ہائرنگ سسٹمز اور مزید جیسے شعبوں میں استعمال ہوتا ہے - ایسے سیاق و سباق جہاں غلط درجہ بندی (جیسے تعصب کی وجہ سے) متاثرہ افراد یا گروہوں کو ممکنہ اقتصادی اور سماجی نقصانات پہنچا سکتی ہے۔ استعمال میں انصاف کے لیے تعصبات کو سمجھنا (اور ختم یا کم کرنا) کلیدی ہے۔
* **کیسے:** محققین نے تسلیم کیا کہ موجودہ بینچ مارکس نے زیادہ تر ہلکی جلد والے مضامین کو استعمال کیا، اور ایک نیا ڈیٹا سیٹ (1000+ تصاویر) تیار کیا جو جنس اور جلد کی قسم کے لحاظ سے _زیادہ متوازن_ تھا۔ ڈیٹا سیٹ کو تین جنس کی درجہ بندی کی مصنوعات (مائیکروسافٹ، IBM اور Face++) کی درستگی کا جائزہ لینے کے لیے استعمال کیا گیا۔
* **کیا:** تحقیقی پروجیکٹ کا مقصد _خودکار چہرے کے تجزیہ کے الگورتھمز اور ڈیٹا سیٹس میں موجود تعصب کا جائزہ لینا_ تھا، جنس اور جلد کی قسم کی بنیاد پر۔
* **کیوں:** چہرے کا تجزیہ قانون نافذ کرنے، ہوائی اڈے کی حفاظت، ہائرنگ سسٹمز اور مزید جیسے شعبوں میں استعمال ہوتا ہے - ایسے سیاق و سباق جہاں غلط درجہ بندی (جیسے تعصب کی وجہ سے) متاثرہ افراد یا گروہوں کو ممکنہ اقتصادی اور سماجی نقصانات پہنچا سکتی ہے۔ استعمال میں انصاف کو بہتر بنانے کے لیے تعصبات کو سمجھنا (اور ختم یا کم کرنا) کلیدی ہے۔
* **کیسے:** محققین نے تسلیم کیا کہ موجودہ بینچ مارکس زیادہ تر ہلکی جلد والے مضامین استعمال کرتے ہیں، اور ایک نیا ڈیٹا سیٹ (1000+ تصاویر) تیار کیا جو جنس اور جلد کی قسم کے لحاظ سے _زیادہ متوازن_ تھا۔ ڈیٹا سیٹ کو تین جنس کی درجہ بندی کی مصنوعات (مائیکروسافٹ، IBM اور Face++ سے) کی درستگی کا جائزہ لینے کے لیے استعمال کیا گیا۔
نتائج نے ظاہر کیا کہ اگرچہ مجموعی طور پر درجہ بندی کی درستگی اچھی تھی، مختلف ذیلی گروپوں کے درمیان غلطی کی شرح میں نمایاں فرق تھا - **غلط جنس کی شناخت** خواتین یا گہری جلد والے افراد کے لیے زیادہ تھی، جو تعصب کی نشاندہی کرتی ہے۔
نتائج نے ظاہر کیا کہ اگرچہ مجموعی طور پر درجہ بندی کی درستگی اچھی تھی، مختلف ذیلی گروپوں کے درمیان غلطی کی شرح میں نمایاں فرق تھا - **غلط جنس کی شناخت** خواتین یا گہرے جلد والے افراد کے لیے زیادہ تھی، جو تعصب کی نشاندہی کرتی ہے۔
**اہم نتائج:** یہ آگاہی پیدا کی کہ ڈیٹا سائنس کو زیادہ _نمائندہ ڈیٹا سیٹس_ (متوازن ذیلی گروپ) اور زیادہ _جامع ٹیموں_ (متنوع پس منظر) کی ضرورت ہے تاکہ AI حل میں ایسے تعصبات کو جلد پہچاننے اور ختم یا کم کرنے میں مدد ملے۔ اس طرح کی تحقیقی کوششیں بہت سی تنظیموں کے لیے _ذمہ دار AI_ کے اصولوں اور طریقوں کی وضاحت میں بھی اہم ہیں تاکہ ان کے AI مصنوعات اور عمل میں انصاف کو بہتر بنایا جا سکے۔
**مائیکروسافٹ میں متعلقہ تحقیقی کوششوں کے بارے میں جاننا چاہتے ہیں؟**
* [Microsoft Research Projects](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) پر مصنوعی ذہانت کے بارے میں تحقیق کریں۔
* [Microsoft Research Data Science Summer School](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) سے طلباء کے پروجیکٹس کو دریافت کریں۔
* [Fairlearn](https://fairlearn.org/) پروجیکٹ اور [Responsible AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) اقدامات کو دیکھیں۔
* [مائیکروسافٹ ریسرچ پروجیکٹس](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) پر AI کے بارے میں دیکھیں۔
* [مائیکروسافٹ ریسرچ ڈیٹا سائنس سمر اسکول](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/) سے طلباء کے پروجیکٹس کو دریافت کریں۔
* [Fairlearn](https://fairlearn.org/) پروجیکٹ اور [ذمہ دار AI](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) اقدامات کو دیکھیں۔
## ڈیٹا سائنس + ہیومینٹیز
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
|  کی اسکیچ نوٹ ](../../sketchnotes/20-DataScience-Humanities.png) |
| ڈیٹا سائنس اور ڈیجیٹل ہیومینٹیز - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ڈیٹا سائنس اور ڈیجیٹل ہیومینٹیز - _اسکیچ نوٹ از [@nitya](https://twitter.com/nitya)_ |
ڈیجیٹل ہیومینٹیز [کی تعریف کی گئی ہے](https://digitalhumanities.stanford.edu/about-dh-stanford) "ایک مجموعہ طریقوں اور نقطہ نظر کے طور پر جو کمپیوٹیشنل طریقوں کو انسانی تحقیق کے ساتھ جوڑتا ہے"۔ [اسٹینفورڈ پروجیکٹس](https://digitalhumanities.stanford.edu/projects) جیسے _"تاریخ کو دوبارہ شروع کرنا"_ اور _"شاعرانہ سوچ"_ ڈیجیٹل ہیومینٹیز اور ڈیٹا سائنس کے درمیان تعلق کو ظاہر کرتے ہیں - نیٹ ورک تجزیہ، معلومات کی بصریات، مکانی اور متن تجزیہ جیسی تکنیکوں پر زور دیتے ہیں جو ہمیں تاریخی اور ادبی ڈیٹا سیٹس کو دوبارہ دیکھنے اور نئے بصیرت اور نقطہ نظر حاصل کرنے میں مدد دے سکتے ہیں۔
ڈیجیٹل ہیومینٹیز [کی تعریف کی گئی ہے](https://digitalhumanities.stanford.edu/about-dh-stanford) بطور "طریقوں اور نقطہ نظر کا مجموعہ جو کمپیوٹیشنل طریقوں کو انسانی تحقیق کے ساتھ جوڑتا ہے"۔ [اسٹینفورڈ پروجیکٹس](https://digitalhumanities.stanford.edu/projects) جیسے _"تاریخ کو دوبارہ شروع کرنا"_ اور _"شاعرانہ سوچ"_ ڈیجیٹل ہیومینٹیز اور ڈیٹا سائنس کے درمیان تعلق کو ظاہر کرتے ہیں - نیٹ ورک تجزیہ، معلومات کی بصریات، مکانی اور متن تجزیہ جیسی تکنیکوں پر زور دیتے ہیں جو ہمیں تاریخی اور ادبی ڈیٹا سیٹس کو دوبارہ دیکھنے اور نئے بصیرت اور نقطہ نظر حاصل کرنے میں مدد دے سکتے ہیں۔
*کیا آپ اس شعبے میں کسی پروجیکٹ کو دریافت اور بڑھانا چاہتے ہیں؟*
["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) کو دیکھیں - [Jen Looper](https://twitter.com/jenlooper) کی طرف سے ایک بہترین مثال جو پوچھتی ہے کہ ہم ڈیٹا سائنس کا استعمال کرتے ہوئے مانوس شاعری کو دوبارہ دیکھ سکتے ہیں اور اس کے معنی اور اس کے مصنف کی شراکت کو نئے سیاق و سباق میں دوبارہ جانچ سکتے ہیں۔ مثال کے طور پر، _کیا ہم شاعری کے لہجے یا جذبات کا تجزیہ کرکے اس موسم کی پیش گوئی کر سکتے ہیں جس میں ایک نظم لکھی گئی تھی_ - اور اس سے متعلقہ مدت کے دوران مصنف کی ذہنی حالت کے بارے میں ہمیں کیا بتاتا ہے؟
["ایملی ڈکنسن اور موڈ کے میٹر"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) کو دیکھیں - [جن لوپر](https://twitter.com/jenlooper) کی ایک بہترین مثال جو پوچھتی ہے کہ ہم ڈیٹا سائنس کا استعمال کرتے ہوئے مانوس شاعری کو دوبارہ دیکھ سکتے ہیں اور اس کے معنی اور اس کے مصنف کی شراکت کو نئے سیاق و سباق میں دوبارہ جانچ سکتے ہیں۔ مثال کے طور پر، _کیا ہم ایک نظم کے لہجے یا جذبات کا تجزیہ کرکے اس موسم کی پیش گوئی کر سکتے ہیں جس میں یہ لکھی گئی تھی_ - اور اس سے متعلقہ مدت کے دوران مصنف کی ذہنی حالت کے بارے میں ہمیں کیا پتہ چلتا ہے؟
اس سوال کا جواب دینے کے لیے، ہم اپنے ڈیٹا سائنس لائف سائیکل کے مراحل پر عمل کرتے ہیں:
* [`ڈیٹا حاصل کرنا`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - تجزیے کے لیے متعلقہ ڈیٹا سیٹ جمع کرنے کے لیے۔ اختیارات میں API کا استعمال (جیسے [Poetry DB API](https://poetrydb.org/index.html)) یا ویب صفحات کو اسکریپ کرنا شامل ہیں (جیسے [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) جیسے ٹولز کا استعمال کرتے ہوئے [Scrapy](https://scrapy.org/)۔
* [`ڈیٹا صاف کرنا`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - وضاحت کرتا ہے کہ متن کو بنیادی ٹولز جیسے Visual Studio Code اور Microsoft Excel کا استعمال کرتے ہوئے فارمیٹ، صاف اور آسان بنایا جا سکتا ہے۔
* [`ڈیٹا تجزیہ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - وضاحت کرتا ہے کہ ہم اب ڈیٹا سیٹ کو "نوٹ بکس" میں تجزیے کے لیے درآمد کر سکتے ہیں، Python پیکجز (جیسے pandas، numpy اور matplotlib) کا استعمال کرتے ہوئے ڈیٹا کو منظم اور بصری بنانے کے لیے۔
* [`جذبات کا تجزیہ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - وضاحت کرتا ہے کہ ہم کلاؤڈ سروسز جیسے Text Analytics کو کم کوڈ ٹولز جیسے [Power Automate](https://flow.microsoft.com/en-us/) کے ساتھ خودکار ڈیٹا پروسیسنگ ورک فلو کے لیے کیسے مربوط کر سکتے ہیں۔
* [`ڈیٹا حاصل کرنا`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - تجزیہ کے لیے متعلقہ ڈیٹا سیٹ جمع کرنا۔ اختیارات میں API کا استعمال (جیسے [Poetry DB API](https://poetrydb.org/index.html)) یا ویب صفحات کو سکریپ کرنا (جیسے [پروجیکٹ گٹنبرگ](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) شامل ہیں، جیسے [Scrapy](https://scrapy.org/) جیسے آلات کا استعمال۔
* [`ڈیٹا صاف کرنا`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - وضاحت کرتا ہے کہ متن کو بنیادی آلات جیسے Visual Studio Code اور Microsoft Excel کا استعمال کرتے ہوئے فارمیٹ، صاف اور آسان بنایا جا سکتا ہے۔
* [`ڈیٹا تجزیہ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - وضاحت کرتا ہے کہ ہم اب ڈیٹا سیٹ کو "نوٹ بکس" میں تجزیہ کے لیے درآمد کر سکتے ہیں، Python پیکجز (جیسے pandas، numpy اور matplotlib) کا استعمال کرتے ہوئے ڈیٹا کو منظم اور بصری بنانے کے لیے۔
* [`جذبات کا تجزیہ`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - وضاحت کرتا ہے کہ ہم کلاؤڈ سروسز جیسے Text Analytics کو کم کوڈ آلات جیسے [Power Automate](https://flow.microsoft.com/en-us/) کے ساتھ خودکار ڈیٹا پروسیسنگ ورک فلو کے لیے کیسے شامل کر سکتے ہیں۔
اس ورک فلو کا استعمال کرتے ہوئے، ہم نظموں کے جذبات پر موسمی اثرات کو دریافت کر سکتے ہیں، اور ہمیں مصنف کے بارے میں اپنے نقطہ نظر کو تشکیل دینے میں مدد دے سکتے ہیں۔ خود اسے آزمائیں - پھر نوٹ بک کو بڑھائیں تاکہ دیگر سوالات پوچھ سکیں یا ڈیٹا کو نئے طریقوں سے بصری بنا سکیں!
> آپ [ڈیجیٹل ہیومینٹیز ٹول کٹ](https://github.com/Digital-Humanities-Toolkit) میں موجود کچھ ٹولز کا استعمال کرتے ہوئے ان تحقیقات کے راستوں کو آگے بڑھا سکتے ہیں۔
> آپ [ڈیجیٹل ہیومینٹیز ٹول کٹ](https://github.com/Digital-Humanities-Toolkit) میں موجود کچھ آلات کا استعمال کرتے ہوئے ان تحقیقات کے راستوں کو آگے بڑھا سکتے ہیں۔
## ڈیٹا سائنس + پائیداری
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
|  کی اسکیچ نوٹ ](../../sketchnotes/20-DataScience-Sustainability.png) |
| ڈیٹا سائنس اور پائیداری - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |
| ڈیٹا سائنس اور پائیداری - _اسکیچ نوٹ از [@nitya](https://twitter.com/nitya)_ |
[2030 ایجنڈا برائے پائیدار ترقی](https://sdgs.un.org/2030agenda) - جو 2015 میں تمام اقوام متحدہ کے اراکین نے اپنایا - 17 اہداف کی نشاندہی کرتا ہے، جن میں **سیارے کی حفاظت** کو انحطاط اور موسمیاتی تبدیلی کے اثرات سے شامل کیا گیا ہے۔ [Microsoft Sustainability](https://www.microsoft.com/en-us/sustainability) اقدام ان اہداف کی حمایت کرتا ہے، یہ دریافت کرتے ہوئے کہ ٹیکنالوجی کے حل کس طرح زیادہ پائیدار مستقبل کی تعمیر میں مدد کر سکتے ہیں، [4 اہداف پر توجہ مرکوز کرتے ہوئے](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - 2030 تک کاربن منفی، پانی مثبت، صفر فضلہ، اور حیاتیاتی تنوع۔
[2030 کے پائیدار ترقی کے ایجنڈا](https://sdgs.un.org/2030agenda) - جو 2015 میں تمام اقوام متحدہ کے اراکین نے اپنایا - 17 اہداف کی نشاندہی کرتا ہے، جن میں **سیارے کی حفاظت** کو انحطاط اور موسمی تبدیلی کے اثرات سے شامل کیا گیا ہے۔ [مائیکروسافٹ پائیداری](https://www.microsoft.com/en-us/sustainability) اقدام ان اہداف کی حمایت کرتا ہے، ٹیکنالوجی کے حل کے ذریعے زیادہ پائیدار مستقبل کی تعمیر کے طریقوں کو تلاش کرتا ہے، اور [4 اہداف پر توجہ مرکوز کرتا ہے](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - 2030 تک کاربن منفی، پانی مثبت، صفر فضلہ، اور حیاتیاتی تنوع۔
ان چیلنجوں کو قابل پیمائش اور بروقت انداز میں حل کرنے کے لیے کلاؤڈ پیمانے کی سوچ اور بڑے پیمانے پر ڈیٹا کی ضرورت ہے۔ [Planetary Computer](https://planetarycomputer.microsoft.com/) اقدام ڈیٹا سائنسدانوں اور ڈویلپرز کو اس کوشش میں مدد کے لیے 4 اجزاء فراہم کرتا ہے:
ان چیلنجز کو قابل پیمائش اور بروقت انداز میں حل کرنے کے لیے کلاؤڈ پیمانے کی سوچ اور بڑے پیمانے پر ڈیٹا کی ضرورت ہے۔ [سیاروی کمپیوٹر](https://planetarycomputer.microsoft.com/) اقدام ڈیٹا سائنسدانوں اور ڈویلپرز کی مدد کے لیے 4 اجزاء فراہم کرتا ہے:
* [ڈیٹا کیٹلاگ](https://planetarycomputer.microsoft.com/catalog) - زمین کے نظام کے ڈیٹا کے پیٹا بائٹس (مفت اور Azure پر میزبانی شدہ)۔
* [Planetary API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - صارفین کو جگہ اور وقت کے لحاظ سے متعلقہ ڈیٹا تلاش کرنے میں مدد کرنے کے لیے۔
* [ڈیٹا کیٹلاگ](https://planetarycomputer.microsoft.com/catalog) - زمین کے نظام کے ڈیٹا کے پیٹا بائٹس (مفت اور Azure پر میزبانی شدہ) کے ساتھ۔
* [سیاروی API](https://planetarycomputer.microsoft.com/docs/reference/stac/) - صارفین کو جگہ اور وقت کے لحاظ سے متعلقہ ڈیٹا تلاش کرنے میں مدد کرنے کے لیے۔
* [ہب](https://planetarycomputer.microsoft.com/docs/overview/environment/) - سائنسدانوں کے لیے بڑے جغرافیائی ڈیٹا سیٹس کو پروسیس کرنے کے لیے منظم ماحول۔
* [ایپلیکیشنز](https://planetarycomputer.microsoft.com/applications) - پائیداری کے بصیرت کے لیے استعمال کے معاملات اور ٹولز کو ظاہر کرنے کے لیے۔
**سیاروی کمپیوٹر پروجیکٹ فی الحال پیش نظارہ میں ہے (ستمبر 2021 تک)** - یہاں بتایا گیا ہے کہ آپ ڈیٹا سائنس کا استعمال کرتے ہوئے پائیداری کے حل میں تعاون کیسے شروع کر سکتے ہیں۔
* [اطلاقات](https://planetarycomputer.microsoft.com/applications) - پائیداری کے بصیرت کے لیے استعمال کے معاملات اور آلات کو ظاہر کرنے کے لیے۔
**سیاروی کمپیوٹر پروجیکٹ فی الحال پیش نظارہ میں ہے (ستمبر 2021 تک)** - یہاں یہ بتایا گیا ہے کہ آپ ڈیٹا سائنس کا استعمال کرتے ہوئے پائیداری کے حل میں تعاون کیسے شروع کر سکتے ہیں۔
* [رسائی کی درخواست کریں](https://planetarycomputer.microsoft.com/account/request) تاکہ تحقیق شروع کریں اور ساتھیوں سے جڑیں۔
* [دستاویزات کا جائزہ لیں](https://planetarycomputer.microsoft.com/docs/overview/about) تاکہ معاون ڈیٹا سیٹس اور APIs کو سمجھ سکیں۔
* [ایکو سسٹم مانیٹرنگ](https://analytics-lab.org/ecosystemmonitoring/) جیسے ایپلیکیشنز کا جائزہ لیں تاکہ ایپلیکیشن آئیڈیاز کے لیے تحریک حاصل ہو۔
* [رسائی کی درخواست کریں](https://planetarycomputer.microsoft.com/account/request) تاکہ تحقیق شروع کی جا سکے اور ساتھیوں سے رابطہ قائم کیا جا سکے۔
* [دستاویزات کا جائزہ لیں](https://planetarycomputer.microsoft.com/docs/overview/about) تاکہ معاون ڈیٹا سیٹس اور APIs کو سمجھا جا سکے۔
* [ایکو سسٹم مانیٹرنگ](https://analytics-lab.org/ecosystemmonitoring/) جیسے ایپلیکیشنز کو دریافت کریں تاکہ ایپلیکیشن آئیڈیاز کے لیے تحریک حاصل ہو۔
سوچیں کہ آپ ڈیٹا ویژولائزیشن کا استعمال کیسے کر سکتے ہیں تاکہ موسمیاتی تبدیلی اور جنگلات کی کٹائی جیسے موضوعات میں متعلقہ بصیرت کو اجاگر یا بڑھا سکیں۔ یا یہ سوچیں کہ بصیرت کو کیسے استعمال کیا جا سکتا ہے تاکہ نئے صارف تجربات تخلیق کیے جا سکیں جو زیادہ پائیدار زندگی کے لیے رویوں میں تبدیلی کی ترغیب دیں۔
سوچیں کہ آپ ڈیٹا ویژولائزیشن کا استعمال کیسے کر سکتے ہیں تاکہ موسمیاتی تبدیلی اور جنگلات کی کٹائی جیسے موضوعات میں متعلقہ بصیرت کو اجاگر یا بڑھایا جا سکے۔ یا یہ سوچیں کہ بصیرت کو کیسے استعمال کیا جا سکتا ہے تاکہ نئے صارف تجربات تخلیق کیے جا سکیں جو زیادہ پائیدار زندگی کے لیے رویوں میں تبدیلی کی ترغیب دیں۔
## ڈیٹا سائنس + طلباء
ہم نے صنعت اور تحقیق میں حقیقی دنیا کی ایپلیکیشنز کے بارے میں بات کی ہے، اور ڈیجیٹل ہیومینٹیز اور پائیداری میں ڈیٹا سائنس ایپلیکیشن کی مثالوں کا جائزہ لیا ہے۔ تو آپ بطور ڈیٹا سائنس کے ابتدائی افراد اپنی مہارت کیسے بنا سکتے ہیں اور اپنی قابلیت کیسے بانٹ سکتے ہیں؟
ہم نے صنعت اور تحقیق میں حقیقی دنیا کی ایپلیکیشنز کے بارے میں بات کی ہے، اور ڈیجیٹل ہیومینٹیز اور پائیداری میں ڈیٹا سائنس ایپلیکیشن کی مثالوں کو دریافت کیا ہے۔ تو آپ بطور ڈیٹا سائنس کے ابتدائی افراد اپنی مہارت کیسے بنا سکتے ہیں اور اپنی قابلیت کیسے بانٹ سکتے ہیں؟
یہاں ڈیٹا سائنس کے طلباء کے پروجیکٹس کی کچھ مثالیں ہیں جو آپ کو تحریک دے سکتی ہیں۔
* [MSR ڈیٹا سائنس سمر اسکول](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/#!projects) کے GitHub [پروجیکٹس](https://github.com/msr-ds3) جو درج ذیل موضوعات کو دریافت کرتے ہیں:
- [پولیس کے طاقت کے استعمال میں نسلی تعصب](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2019-replicating-an-empirical-analysis-of-racial-differences-in-police-use-of-force/) | [Github](https://github.com/msr-ds3/stop-question-frisk)
- [NYC سب وے سسٹم کی قابل اعتمادیت](https://www.microsoft.com/en-us/research/video/data-science-summer-school-2018-exploring-the-reliability-of-the-nyc-subway-system/) | [Github](https://github.com/msr-ds3/nyctransit)
* [مادی ثقافت کو ڈیجیٹائز کرنا: سرکپ میں سماجی و اقتصادی تقسیمات کا جائزہ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [اورنیلا آلٹونیان](https://twitter.com/ornelladotcom) اور کلیرمونٹ کی ٹیم کی جانب سے، [ArcGIS StoryMaps](https://storymaps.arcgis.com/) کا استعمال کرتے ہوئے۔
* [مادی ثقافت کو ڈیجیٹل بنانا: سرکاپ میں سماجی و اقتصادی تقسیمات کا جائزہ](https://claremont.maps.arcgis.com/apps/Cascade/index.html?appid=bdf2aef0f45a4674ba41cd373fa23afc) - [اورنیلا آلٹونیان](https://twitter.com/ornelladotcom) اور کلیرمونٹ کی ٹیم کی جانب سے، [ArcGIS StoryMaps](https://storymaps.arcgis.com/) کا استعمال کرتے ہوئے۔
## 🚀 چیلنج
@ -143,13 +143,14 @@ AI کی جمہوریت کی بدولت، ڈویلپرز کے لیے AI سے چل
* [17 ڈیٹا سائنس ایپلیکیشنز اور مثالیں](https://builtin.com/data-science/data-science-applications-examples) - جولائی 2021
* [حقیقی دنیا میں 11 حیرت انگیز ڈیٹا سائنس ایپلیکیشنز](https://myblindbird.com/data-science-applications-real-world/) - مئی 2021
* [حقیقی دنیا میں ڈیٹا سائنس](https://towardsdatascience.com/data-science-in-the-real-world/home) - مضامین کا مجموعہ
* ڈیٹا سائنس میں: [تعلیم](https://data-flair.training/blogs/data-science-in-education/)، [زراعت](https://data-flair.training/blogs/data-science-in-agriculture/)، [مالیات](https://data-flair.training/blogs/data-science-in-finance/)، [فلمیں](https://data-flair.training/blogs/data-science-at-movies/) اور مزید۔
* [12 حقیقی دنیا کی ڈیٹا سائنس ایپلیکیشنز مثالوں کے ساتھ](https://www.scaler.com/blog/data-science-applications/) - مئی 2024
* ڈیٹا سائنس میں: [تعلیم](https://data-flair.training/blogs/data-science-in-education/)، [زراعت](https://data-flair.training/blogs/data-science-in-agriculture/)، [مالیات](https://data-flair.training/blogs/data-science-in-finance/)، [فلمیں](https://data-flair.training/blogs/data-science-at-movies/)، [صحت کی دیکھ بھال](https://onlinedegrees.sandiego.edu/data-science-health-care/) اور مزید۔
## اسائنمنٹ
[سیاروی کمپیوٹر ڈیٹا سیٹ کا جائزہ لیں](assignment.md)
[سیاروی کمپیوٹر ڈیٹا سیٹ کو دریافت کریں](assignment.md)
---
**ڈسکلیمر**:
یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا غیر درستیاں ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ ہم اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے ذمہ دار نہیں ہیں۔
یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستگی ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے لیے ہم ذمہ دار نہیں ہیں۔
| Khoa Học Dữ Liệu Trong Thế Giới Thực - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
| Khoa học Dữ liệu trong Thế giới Thực - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
Chúng ta gần như đã hoàn thành hành trình học tập này!
Chúng ta đã bắt đầu với các định nghĩa về khoa học dữ liệu và đạo đức, khám phá các công cụ và kỹ thuật phân tích và trực quan hóa dữ liệu, xem xét vòng đời khoa học dữ liệu, và tìm hiểu cách mở rộng và tự động hóa quy trình làm việc khoa học dữ liệu với các dịch vụ điện toán đám mây. Vì vậy, bạn có thể đang tự hỏi: _"Làm thế nào để áp dụng tất cả những kiến thức này vào các bối cảnh thực tế?"_
Chúng ta đã bắt đầu với các định nghĩa về khoa học dữ liệu và đạo đức, khám phá các công cụ và kỹ thuật phân tích và trực quan hóa dữ liệu, xem xét vòng đời khoa học dữ liệu, và tìm hiểu cách mở rộng và tự động hóa quy trình khoa học dữ liệu với các dịch vụ điện toán đám mây. Vì vậy, bạn có thể đang tự hỏi: _"Làm thế nào để áp dụng tất cả những kiến thức này vào các bối cảnh thực tế?"_
Trong bài học này, chúng ta sẽ khám phá các ứng dụng thực tế của khoa học dữ liệu trong ngành công nghiệp và đi sâu vào các ví dụ cụ thể trong nghiên cứu, nhân văn số và bền vững. Chúng ta sẽ xem xét các cơ hội dự án cho sinh viên và kết thúc với các tài nguyên hữu ích để giúp bạn tiếp tục hành trình học tập của mình!
Trong bài học này, chúng ta sẽ khám phá các ứng dụng thực tế của khoa học dữ liệu trong ngành công nghiệp và đi sâu vào các ví dụ cụ thể trong nghiên cứu, nhân văn số, và bền vững. Chúng ta sẽ xem xét các cơ hội dự án dành cho sinh viên và kết thúc với các tài nguyên hữu ích để giúp bạn tiếp tục hành trình học tập của mình!
## Câu Hỏi Trước Bài Giảng
## Câu hỏi trước bài giảng
## [Câu hỏi trước bài giảng](https://ff-quizzes.netlify.app/en/ds/quiz/38)
## Khoa Học Dữ Liệu + Ngành Công Nghiệp
## Khoa học Dữ liệu + Ngành Công nghiệp
Nhờ vào sự dân chủ hóa AI, các nhà phát triển hiện nay dễ dàng hơn trong việc thiết kế và tích hợp các quyết định dựa trên AI và các thông tin chi tiết dựa trên dữ liệu vào trải nghiệm người dùng và quy trình phát triển. Dưới đây là một vài ví dụ về cách khoa học dữ liệu được "ứng dụng" vào các bối cảnh thực tế trong ngành công nghiệp:
Nhờ sự phổ biến của AI, các nhà phát triển hiện nay dễ dàng hơn trong việc thiết kế và tích hợp các quyết định dựa trên AI và các thông tin chi tiết dựa trên dữ liệu vào trải nghiệm người dùng và quy trình phát triển. Dưới đây là một vài ví dụ về cách khoa học dữ liệu được "áp dụng" vào các ứng dụng thực tế trong ngành công nghiệp:
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) đã sử dụng khoa học dữ liệu để liên kết các thuật ngữ tìm kiếm với xu hướng cúm. Mặc dù cách tiếp cận này có những sai sót, nó đã nâng cao nhận thức về các khả năng (và thách thức) của dự đoán y tế dựa trên dữ liệu.
* [Google Flu Trends](https://www.wired.com/2015/10/can-learn-epic-failure-google-flu-trends/) đã sử dụng khoa học dữ liệu để liên kết các thuật ngữ tìm kiếm với xu hướng bệnh cúm. Mặc dù phương pháp này có những hạn chế, nó đã nâng cao nhận thức về khả năng (và thách thức) của dự đoán y tế dựa trên dữ liệu.
* [Dự đoán Tuyến Đường của UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - giải thích cách UPS sử dụng khoa học dữ liệu và học máy để dự đoán các tuyến đường tối ưu cho việc giao hàng, tính đến điều kiện thời tiết, lưu lượng giao thông, thời hạn giao hàng và nhiều yếu tố khác.
* [Dự đoán tuyến đường của UPS](https://www.technologyreview.com/2018/11/21/139000/how-ups-uses-ai-to-outsmart-bad-weather/) - giải thích cách UPS sử dụng khoa học dữ liệu và học máy để dự đoán các tuyến đường tối ưu cho việc giao hàng, bao gồm điều kiện thời tiết, lưu lượng giao thông, thời hạn giao hàng và nhiều yếu tố khác.
* [Trực Quan Hóa Tuyến Đường Taxi NYC](http://chriswhong.github.io/nyctaxi/) - dữ liệu thu thập được thông qua [Luật Tự Do Thông Tin](https://chriswhong.com/open-data/foil_nyc_taxi/) đã giúp trực quan hóa một ngày làm việc của các taxi ở NYC, giúp chúng ta hiểu cách họ di chuyển trong thành phố bận rộn, số tiền họ kiếm được, và thời gian của các chuyến đi trong mỗi 24 giờ.
* [Trực quan hóa tuyến đường taxi NYC](http://chriswhong.github.io/nyctaxi/) - dữ liệu thu thập được thông qua [Luật Tự do Thông tin](https://chriswhong.com/open-data/foil_nyc_taxi/) đã giúp trực quan hóa một ngày làm việc của taxi NYC, giúp chúng ta hiểu cách họ di chuyển trong thành phố bận rộn, số tiền họ kiếm được, và thời gian của các chuyến đi trong mỗi khoảng thời gian 24 giờ.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - sử dụng dữ liệu (về địa điểm đón & trả khách, thời gian chuyến đi, tuyến đường ưa thích, v.v.) thu thập từ hàng triệu chuyến đi Uber *hàng ngày* để xây dựng một công cụ phân tích dữ liệu giúp định giá, đảm bảo an toàn, phát hiện gian lận và đưa ra quyết định điều hướng.
* [Uber Data Science Workbench](https://eng.uber.com/dsw/) - sử dụng dữ liệu (về địa điểm đón & trả khách, thời gian chuyến đi, tuyến đường ưa thích, v.v.) thu thập từ hàng triệu chuyến đi Uber *hàng ngày* để xây dựng công cụ phân tích dữ liệu hỗ trợ định giá, an toàn, phát hiện gian lận và quyết định điều hướng.
* [Phân Tích Dữ Liệu Trong Thể Thao](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - tập trung vào _phân tích dự đoán_ (phân tích đội và cầu thủ - nghĩ đến [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - và quản lý người hâm mộ) và _trực quan hóa dữ liệu_ (bảng điều khiển đội & người hâm mộ, trò chơi, v.v.) với các ứng dụng như tìm kiếm tài năng, cá cược thể thao và quản lý hàng tồn kho/địa điểm.
* [Phân tích thể thao](https://towardsdatascience.com/scope-of-analytics-in-sports-world-37ed09c39860) - tập trung vào _phân tích dự đoán_ (phân tích đội và cầu thủ - như [Moneyball](https://datasciencedegree.wisconsin.edu/blog/moneyball-proves-importance-big-data-big-ideas/) - và quản lý người hâm mộ) và _trực quan hóa dữ liệu_ (bảng điều khiển đội & người hâm mộ, trò chơi, v.v.) với các ứng dụng như tìm kiếm tài năng, cá cược thể thao và quản lý hàng tồn kho/địa điểm.
* [Khoa Học Dữ Liệu Trong Ngân Hàng](https://data-flair.training/blogs/data-science-in-banking/) - nhấn mạnh giá trị của khoa học dữ liệu trong ngành tài chính với các ứng dụng từ mô hình rủi ro và phát hiện gian lận, đến phân khúc khách hàng, dự đoán thời gian thực và hệ thống gợi ý. Phân tích dự đoán cũng thúc đẩy các biện pháp quan trọng như [điểm tín dụng](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Khoa học Dữ liệu trong Ngân hàng](https://data-flair.training/blogs/data-science-in-banking/) - nhấn mạnh giá trị của khoa học dữ liệu trong ngành tài chính với các ứng dụng từ mô hình rủi ro và phát hiện gian lận, đến phân khúc khách hàng, dự đoán thời gian thực và hệ thống gợi ý. Phân tích dự đoán cũng thúc đẩy các biện pháp quan trọng như [điểm tín dụng](https://dzone.com/articles/using-big-data-and-predictive-analytics-for-credit).
* [Khoa Học Dữ Liệu Trong Y Tế](https://data-flair.training/blogs/data-science-in-healthcare/) - nhấn mạnh các ứng dụng như hình ảnh y tế (ví dụ: MRI, X-Ray, CT-Scan), gen học (giải trình tự DNA), phát triển thuốc (đánh giá rủi ro, dự đoán thành công), phân tích dự đoán (chăm sóc bệnh nhân & hậu cần cung ứng), theo dõi & phòng ngừa dịch bệnh, v.v.
* [Khoa học Dữ liệu trong Y tế](https://data-flair.training/blogs/data-science-in-healthcare/) - nhấn mạnh các ứng dụng như hình ảnh y tế (ví dụ: MRI, X-Ray, CT-Scan), genomics (giải trình tự DNA), phát triển thuốc (đánh giá rủi ro, dự đoán thành công), phân tích dự đoán (chăm sóc bệnh nhân & hậu cần cung cấp), theo dõi & phòng ngừa bệnh, v.v.
 Nguồn Hình Ảnh: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Nguồn hình ảnh: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
Hình minh họa các lĩnh vực và ví dụ khác về việc áp dụng các kỹ thuật khoa học dữ liệu. Muốn khám phá thêm các ứng dụng khác? Hãy xem phần [Ôn Tập & Tự Học](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) bên dưới.
Hình minh họa cho thấy các lĩnh vực và ví dụ khác về việc áp dụng các kỹ thuật khoa học dữ liệu. Muốn khám phá thêm các ứng dụng khác? Hãy xem phần [Ôn tập & Tự học](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) bên dưới.
## Khoa Học Dữ Liệu + Nghiên Cứu
## Khoa học Dữ liệu + Nghiên cứu
|  ](../../sketchnotes/20-DataScience-Research.png) |
| Khoa Học Dữ Liệu & Nghiên Cứu - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
| Khoa học Dữ liệu & Nghiên cứu - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
Trong khi các ứng dụng thực tế thường tập trung vào các trường hợp sử dụng trong ngành công nghiệp ở quy mô lớn, các ứng dụng và dự án _nghiên cứu_ có thể hữu ích từ hai góc độ:
* _cơ hội đổi mới_ - khám phá nguyên mẫu nhanh các khái niệm tiên tiến và thử nghiệm trải nghiệm người dùng cho các ứng dụng thế hệ tiếp theo.
* _thách thức triển khai_ - điều tra các tác hại tiềm ẩn hoặc hậu quả không mong muốn của các công nghệ khoa học dữ liệu trong bối cảnh thực tế.
* _cơ hội đổi mới_ - khám phá nguyên mẫu nhanh của các khái niệm tiên tiến và thử nghiệm trải nghiệm người dùng cho các ứng dụng thế hệ tiếp theo.
* _thách thức triển khai_ - điều tra các tác hại tiềm ẩn hoặc hậu quả không mong muốn của các công nghệ khoa học dữ liệu trong các bối cảnh thực tế.
Đối với sinh viên, các dự án nghiên cứu này có thể cung cấp cả cơ hội học tập và hợp tác, giúp cải thiện sự hiểu biết của bạn về chủ đề, và mở rộng nhận thức cũng như sự tham gia của bạn với những người hoặc nhóm làm việc trong các lĩnh vực quan tâm. Vậy các dự án nghiên cứu trông như thế nào và chúng có thể tạo ra tác động ra sao?
Hãy xem một ví dụ - [Nghiên Cứu Gender Shades của MIT](http://gendershades.org/overview.html) từ Joy Buolamwini (MIT Media Labs) với một [bài báo nghiên cứu nổi bật](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) đồng tác giả với Timnit Gebru (khi đó tại Microsoft Research) tập trung vào:
Hãy xem một ví dụ - [Nghiên cứu Gender Shades của MIT](http://gendershades.org/overview.html) từ Joy Buolamwini (MIT Media Labs) với một [bài báo nghiên cứu nổi bật](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf) đồng tác giả với Timnit Gebru (khi đó tại Microsoft Research) tập trung vào:
* **Cái gì:** Mục tiêu của dự án nghiên cứu là _đánh giá sự thiên vị trong các thuật toán và tập dữ liệu phân tích khuôn mặt tự động_ dựa trên giới tính và màu da.
* **Cái gì:** Mục tiêu của dự án nghiên cứu là _đánh giá sự thiên vị hiện diện trong các thuật toán và tập dữ liệu phân tích khuôn mặt tự động_ dựa trên giới tính và loại da.
* **Tại sao:** Phân tích khuôn mặt được sử dụng trong các lĩnh vực như thực thi pháp luật, an ninh sân bay, hệ thống tuyển dụng và nhiều lĩnh vực khác - những bối cảnh mà phân loại không chính xác (ví dụ: do thiên vị) có thể gây ra các tác hại kinh tế và xã hội tiềm ẩn cho các cá nhân hoặc nhóm bị ảnh hưởng. Hiểu (và loại bỏ hoặc giảm thiểu) sự thiên vị là chìa khóa để đảm bảo công bằng trong việc sử dụng.
* **Làm thế nào:** Các nhà nghiên cứu nhận ra rằng các tiêu chuẩn hiện có chủ yếu sử dụng các đối tượng có màu da sáng hơn, và đã tạo ra một tập dữ liệu mới (hơn 1000 hình ảnh) _cân bằng hơn_về giới tính và màu da. Tập dữ liệu này được sử dụng để đánh giá độ chính xác của ba sản phẩm phân loại giới tính (từ Microsoft, IBM & Face++).
* **Cách thực hiện:** Các nhà nghiên cứu nhận ra rằng các tiêu chuẩn hiện tại chủ yếu sử dụng các đối tượng có làn da sáng hơn, và đã tạo ra một tập dữ liệu mới (hơn 1000 hình ảnh) _cân bằng hơn_theo giới tính và loại da. Tập dữ liệu này được sử dụng để đánh giá độ chính xác của ba sản phẩm phân loại giới tính (từ Microsoft, IBM & Face++).
Kết quả cho thấy mặc dù độ chính xác phân loại tổng thể là tốt, nhưng có sự khác biệt đáng kể về tỷ lệ lỗi giữa các nhóm phụ khác nhau - với **sai sót nhận diện giới tính** cao hơn đối với nữ giới hoặc người có màu da tối hơn, cho thấy sự thiên vị.
Kết quả cho thấy mặc dù độ chính xác phân loại tổng thể là tốt, có sự khác biệt đáng kể về tỷ lệ lỗi giữa các nhóm phụ khác nhau - với **sai sót phân loại giới tính** cao hơn đối với nữ giới hoặc người có làn da tối màu, cho thấy sự thiên vị.
**Kết Quả Chính:** Nâng cao nhận thức rằng khoa học dữ liệu cần có các _tập dữ liệu đại diện hơn_ (các nhóm phụ cân bằng) và các _nhóm làm việc bao gồm hơn_ (nhiều nền tảng đa dạng) để nhận ra và loại bỏ hoặc giảm thiểu các thiên vị như vậy sớm hơn trong các giải pháp AI. Các nỗ lực nghiên cứu như thế này cũng đóng vai trò quan trọng trong việc nhiều tổ chức định nghĩa các nguyên tắc và thực hành cho _AI có trách nhiệm_ nhằm cải thiện tính công bằng trong các sản phẩm và quy trình AI của họ.
**Kết quả chính:** Nâng cao nhận thức rằng khoa học dữ liệu cần có các _tập dữ liệu đại diện hơn_ (các nhóm phụ cân bằng) và các _đội ngũ đa dạng hơn_ (nền tảng phong phú) để nhận ra và loại bỏ hoặc giảm thiểu các thiên vị như vậy sớm hơn trong các giải pháp AI. Các nỗ lực nghiên cứu như thế này cũng đóng vai trò quan trọng trong việc nhiều tổ chức định nghĩa các nguyên tắc và thực hành cho _AI có trách nhiệm_ nhằm cải thiện sự công bằng trong các sản phẩm và quy trình AI của họ.
**Muốn tìm hiểu về các nỗ lực nghiên cứu liên quan tại Microsoft?**
* Xem [Dự Án Nghiên Cứu Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) về Trí Tuệ Nhân Tạo.
* Khám phá các dự án sinh viên từ [Trường Hè Khoa Học Dữ Liệu Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Xem dự án [Fairlearn](https://fairlearn.org/) và các sáng kiến [AI Có Trách Nhiệm](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
* Xem [Các dự án nghiên cứu của Microsoft](https://www.microsoft.com/research/research-area/artificial-intelligence/?facet%5Btax%5D%5Bmsr-research-area%5D%5B%5D=13556&facet%5Btax%5D%5Bmsr-content-type%5D%5B%5D=msr-project) về Trí tuệ Nhân tạo.
* Khám phá các dự án sinh viên từ [Trường Hè Khoa học Dữ liệu của Microsoft Research](https://www.microsoft.com/en-us/research/academic-program/data-science-summer-school/).
* Xem dự án [Fairlearn](https://fairlearn.org/) và các sáng kiến [AI có trách nhiệm](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6).
## Khoa Học Dữ Liệu + Nhân Văn
## Khoa học Dữ liệu + Nhân văn
|  ](../../sketchnotes/20-DataScience-Humanities.png) |
| Khoa Học Dữ Liệu & Nhân Văn Số - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
| Khoa học Dữ liệu & Nhân văn số - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
Nhân Văn Số [được định nghĩa](https://digitalhumanities.stanford.edu/about-dh-stanford) là "một tập hợp các thực hành và cách tiếp cận kết hợp các phương pháp tính toán với nghiên cứu nhân văn". Các dự án [Stanford](https://digitalhumanities.stanford.edu/projects) như _"tái khởi động lịch sử"_ và _"tư duy thơ ca"_ minh họa mối liên kết giữa [Nhân Văn Số và Khoa Học Dữ Liệu](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - nhấn mạnh các kỹ thuật như phân tích mạng, trực quan hóa thông tin, phân tích không gian và văn bản có thể giúp chúng ta xem xét lại các tập dữ liệu lịch sử và văn học để rút ra những hiểu biết và góc nhìn mới.
Nhân văn số [được định nghĩa](https://digitalhumanities.stanford.edu/about-dh-stanford) là "một tập hợp các thực hành và cách tiếp cận kết hợp các phương pháp tính toán với nghiên cứu nhân văn". Các dự án [Stanford](https://digitalhumanities.stanford.edu/projects) như _"rebooting history"_ và _"poetic thinking"_ minh họa mối liên kết giữa [Nhân văn số và Khoa học Dữ liệu](https://digitalhumanities.stanford.edu/digital-humanities-and-data-science) - nhấn mạnh các kỹ thuật như phân tích mạng, trực quan hóa thông tin, phân tích không gian và văn bản, giúp chúng ta xem xét lại các tập dữ liệu lịch sử và văn học để rút ra những hiểu biết và góc nhìn mới.
*Muốn khám phá và mở rộng một dự án trong lĩnh vực này?*
Hãy xem ["Emily Dickinson và Nhịp Điệu Cảm Xúc"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - một ví dụ tuyệt vời từ [Jen Looper](https://twitter.com/jenlooper) đặt câu hỏi làm thế nào chúng ta có thể sử dụng khoa học dữ liệu để xem xét lại thơ ca quen thuộc và đánh giá lại ý nghĩa cũng như đóng góp của tác giả trong các bối cảnh mới. Ví dụ, _chúng ta có thể dự đoán mùa mà một bài thơ được sáng tác bằng cách phân tích giọng điệu hoặc cảm xúc của nó không_ - và điều này nói lên điều gì về trạng thái tinh thần của tác giả trong giai đoạn đó?
Hãy xem ["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - một ví dụ tuyệt vời từ [Jen Looper](https://twitter.com/jenlooper) đặt câu hỏi làm thế nào chúng ta có thể sử dụng khoa học dữ liệu để xem xét lại thơ ca quen thuộc và đánh giá lại ý nghĩa cũng như đóng góp của tác giả trong các bối cảnh mới. Ví dụ, _chúng ta có thể dự đoán mùa mà một bài thơ được sáng tác bằng cách phân tích giọng điệu hoặc cảm xúc của nó không_ - và điều này nói lên điều gì về trạng thái tâm trí của tác giả trong khoảng thời gian liên quan?
Để trả lời câu hỏi đó, chúng ta làm theo các bước của vòng đời khoa học dữ liệu:
* [`Thu Thập Dữ Liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - để thu thập một tập dữ liệu phù hợp để phân tích. Các lựa chọn bao gồm sử dụng API (ví dụ: [Poetry DB API](https://poetrydb.org/index.html)) hoặc thu thập dữ liệu từ các trang web (ví dụ: [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) bằng các công cụ như [Scrapy](https://scrapy.org/).
* [`Làm Sạch Dữ Liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - giải thích cách văn bản có thể được định dạng, làm sạch và đơn giản hóa bằng các công cụ cơ bản như Visual Studio Code và Microsoft Excel.
* [`Phân Tích Dữ Liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - giải thích cách chúng ta có thể nhập tập dữ liệu vào "Notebooks" để phân tích bằng các gói Python (như pandas, numpy và matplotlib) để tổ chức và trực quan hóa dữ liệu.
* [`Phân Tích Cảm Xúc`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - giải thích cách chúng ta có thể tích hợp các dịch vụ đám mây như Text Analytics, sử dụng các công cụ low-code như [Power Automate](https://flow.microsoft.com/en-us/) cho các quy trình xử lý dữ liệu tự động.
* [`Thu thập dữ liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - để thu thập một tập dữ liệu phù hợp cho phân tích. Các tùy chọn bao gồm sử dụng API (ví dụ: [Poetry DB API](https://poetrydb.org/index.html)) hoặc quét các trang web (ví dụ: [Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)) bằng các công cụ như [Scrapy](https://scrapy.org/).
* [`Làm sạch dữ liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - giải thích cách văn bản có thể được định dạng, làm sạch và đơn giản hóa bằng các công cụ cơ bản như Visual Studio Code và Microsoft Excel.
* [`Phân tích dữ liệu`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#working-with-the-data-in-a-notebook) - giải thích cách chúng ta có thể nhập tập dữ liệu vào "Notebooks" để phân tích bằng các gói Python (như pandas, numpy và matplotlib) để tổ chức và trực quan hóa dữ liệu.
* [`Phân tích cảm xúc`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#sentiment-analysis-using-cognitive-services) - giải thích cách chúng ta có thể tích hợp các dịch vụ đám mây như Text Analytics, sử dụng các công cụ mã thấp như [Power Automate](https://flow.microsoft.com/en-us/) cho các quy trình xử lý dữ liệu tự động.
Sử dụng quy trình này, chúng ta có thể khám phá tác động của mùa đối với cảm xúc của các bài thơ, và giúp chúng ta hình thành quan điểm riêng về tác giả. Hãy thử tự mình thực hiện - sau đó mở rộng notebook để đặt các câu hỏi khác hoặc trực quan hóa dữ liệu theo những cách mới!
Sử dụng quy trình này, chúng ta có thể khám phá tác động của mùa đối với cảm xúc của các bài thơ, và giúp chúng ta hình thành quan điểm riêng về tác giả. Hãy thử nghiệm - sau đó mở rộng notebook để đặt các câu hỏi khác hoặc trực quan hóa dữ liệu theo cách mới!
> Bạn có thể sử dụng một số công cụ trong [Bộ Công Cụ Nhân Văn Số](https://github.com/Digital-Humanities-Toolkit) để theo đuổi các hướng nghiên cứu này.
> Bạn có thể sử dụng một số công cụ trong [bộ công cụ Nhân văn số](https://github.com/Digital-Humanities-Toolkit) để theo đuổi các hướng nghiên cứu này.
## Khoa Học Dữ Liệu + Bền Vững
## Khoa học Dữ liệu + Bền vững
|  ](../../sketchnotes/20-DataScience-Sustainability.png) |
| Khoa Học Dữ Liệu & Bền Vững - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
| Khoa học Dữ liệu & Bền vững - _Sketchnote của [@nitya](https://twitter.com/nitya)_ |
[Chương Trình Nghị Sự 2030 Vì Phát Triển Bền Vững](https://sdgs.un.org/2030agenda) - được tất cả các thành viên Liên Hợp Quốc thông qua vào năm 2015 - xác định 17 mục tiêu bao gồm các mục tiêu tập trung vào **Bảo Vệ Hành Tinh** khỏi sự suy thoái và tác động của biến đổi khí hậu. Sáng kiến [Bền Vững của Microsoft](https://www.microsoft.com/en-us/sustainability) hỗ trợ các mục tiêu này bằng cách khám phá cách các giải pháp công nghệ có thể hỗ trợ và xây dựng các tương lai bền vững hơn với [trọng tâm vào 4 mục tiêu](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - trở thành tiêu cực carbon, tích cực nước, không rác thải, và đa dạng sinh học vào năm 2030.
[Chương trình Nghị sự 2030 về Phát triển Bền vững](https://sdgs.un.org/2030agenda) - được tất cả các thành viên Liên Hợp Quốc thông qua vào năm 2015 - xác định 17 mục tiêu bao gồm các mục tiêu tập trung vào **Bảo vệ Hành tinh** khỏi sự suy thoái và tác động của biến đổi khí hậu. Sáng kiến [Bền vững của Microsoft](https://www.microsoft.com/en-us/sustainability) hỗ trợ các mục tiêu này bằng cách khám phá cách các giải pháp công nghệ có thể hỗ trợ và xây dựng tương lai bền vững hơn với [tập trung vào 4 mục tiêu](https://dev.to/azure/a-visual-guide-to-sustainable-software-engineering-53hh) - trở thành carbon âm, nước dương, không rác thải, và đa dạng sinh học vào năm 2030.
Để giải quyết các thách thức này một cách có quy mô và kịp thời, cần có tư duy quy mô đám mây - và dữ liệu quy mô lớn. Sáng kiến [Máy Tính Hành Tinh](https://planetarycomputer.microsoft.com/) cung cấp 4 thành phần để giúp các nhà khoa học dữ liệu và nhà phát triển trong nỗ lực này:
Để giải quyết các thách thức này một cách quy mô và kịp thời, cần có tư duy quy mô đám mây - và dữ liệu quy mô lớn. Sáng kiến [Máy tính Hành tinh](https://planetarycomputer.microsoft.com/) cung cấp 4 thành phần để giúp các nhà khoa học dữ liệu và nhà phát triển trong nỗ lực này:
* [Danh Mục Dữ Liệu](https://planetarycomputer.microsoft.com/catalog) - với hàng petabyte dữ liệu Hệ Thống Trái Đất (miễn phí & được lưu trữ trên Azure).
* [API Hành Tinh](https://planetarycomputer.microsoft.com/docs/reference/stac/) - để giúp người dùng tìm kiếm dữ liệu liên quan theo không gian và thời gian.
* [Danh mục Dữ liệu](https://planetarycomputer.microsoft.com/catalog) - với hàng petabyte dữ liệu Hệ thống Trái Đất (miễn phí & được lưu trữ trên Azure).
* [API Máy tính Hành tinh](https://planetarycomputer.microsoft.com/docs/reference/stac/) - giúp người dùng tìm kiếm dữ liệu liên quan theo không gian và thời gian.
* [Hub](https://planetarycomputer.microsoft.com/docs/overview/environment/) - môi trường được quản lý cho các nhà khoa học xử lý các tập dữ liệu địa lý lớn.
* [Ứng Dụng](https://planetarycomputer.microsoft.com/applications) - trình bày các trường hợp sử dụng & công cụ để có được thông tin chi tiết về bền vững.
**Dự án Planetary Computer hiện đang trong giai đoạn xem trước (tính đến tháng 9 năm 2021)** - đây là cách bạn có thể bắt đầu đóng góp vào các giải pháp bền vững bằng cách sử dụng khoa học dữ liệu.
* [Ứng dụng](https://planetarycomputer.microsoft.com/applications) - trình bày các trường hợp sử dụng & công cụ để có những hiểu biết về bền vững.
**Dự án Planetary Computer hiện đang trong giai đoạn thử nghiệm (tính đến tháng 9 năm 2021)** - đây là cách bạn có thể bắt đầu đóng góp vào các giải pháp bền vững bằng cách sử dụng khoa học dữ liệu.
* [Yêu cầu quyền truy cập](https://planetarycomputer.microsoft.com/account/request) để bắt đầu khám phá và kết nối với các đồng nghiệp.
* [Yêu cầu quyền truy cập](https://planetarycomputer.microsoft.com/account/request) để bắt đầu khám phá và kết nối với cộng đồng.
* [Khám phá tài liệu](https://planetarycomputer.microsoft.com/docs/overview/about) để hiểu các tập dữ liệu và API được hỗ trợ.
* Khám phá các ứng dụng như [Ecosystem Monitoring](https://analytics-lab.org/ecosystemmonitoring/) để tìm cảm hứng cho các ý tưởng ứng dụng.
Hãy suy nghĩ về cách bạn có thể sử dụng trực quan hóa dữ liệu để làm nổi bật hoặc khuếch đại những hiểu biết liên quan đến các lĩnh vực như biến đổi khí hậu và nạn phá rừng. Hoặc suy nghĩ về cách những hiểu biết này có thể được sử dụng để tạo ra các trải nghiệm người dùng mới nhằm thúc đẩy thay đổi hành vi hướng tới lối sống bền vững hơn.
Hãy suy nghĩ về cách bạn có thể sử dụng trực quan hóa dữ liệu để làm nổi bật hoặc khuếch đại những hiểu biết quan trọng về các lĩnh vực như biến đổi khí hậu và nạn phá rừng. Hoặc suy nghĩ về cách những hiểu biết này có thể được sử dụng để tạo ra trải nghiệm người dùng mới, thúc đẩy thay đổi hành vi hướng tới lối sống bền vững hơn.
## Khoa học dữ liệu + Sinh viên
Chúng ta đã nói về các ứng dụng thực tế trong ngành công nghiệp và nghiên cứu, đồng thời khám phá các ví dụ ứng dụng khoa học dữ liệu trong nhân văn số và bền vững. Vậy làm thế nào bạn có thể xây dựng kỹ năng và chia sẻ chuyên môn của mình khi là người mới bắt đầu với khoa học dữ liệu?
Chúng ta đã thảo luận về các ứng dụng thực tế trong ngành công nghiệp và nghiên cứu, cũng như khám phá các ví dụ ứng dụng khoa học dữ liệu trong nhân văn số và bền vững. Vậy làm thế nào bạn có thể xây dựng kỹ năng và chia sẻ chuyên môn của mình khi là người mới bắt đầu trong khoa học dữ liệu?
Dưới đây là một số ví dụ về các dự án khoa học dữ liệu của sinh viên để truyền cảm hứng cho bạn.
@ -131,7 +131,7 @@ Dưới đây là một số ví dụ về các dự án khoa học dữ liệu
## 🚀 Thử thách
Tìm kiếm các bài viết gợi ý các dự án khoa học dữ liệu phù hợp cho người mới bắt đầu - như [50 lĩnh vực chủ đề này](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) hoặc [21 ý tưởng dự án này](https://www.intellspot.com/data-science-project-ideas) hoặc [16 dự án với mã nguồn này](https://data-flair.training/blogs/data-science-project-ideas/) mà bạn có thể phân tích và tái sử dụng. Và đừng quên viết blog về hành trình học tập của bạn và chia sẻ những hiểu biết của bạn với tất cả chúng tôi.
Tìm kiếm các bài viết gợi ý các dự án khoa học dữ liệu thân thiện với người mới bắt đầu - như [50 lĩnh vực chủ đề này](https://www.upgrad.com/blog/data-science-project-ideas-topics-beginners/) hoặc [21 ý tưởng dự án này](https://www.intellspot.com/data-science-project-ideas) hoặc [16 dự án với mã nguồn này](https://data-flair.training/blogs/data-science-project-ideas/) mà bạn có thể phân tích và tái sử dụng. Và đừng quên viết blog về hành trình học tập của bạn và chia sẻ những hiểu biết của bạn với tất cả chúng tôi.
## Câu hỏi kiểm tra sau bài giảng
@ -139,11 +139,12 @@ Tìm kiếm các bài viết gợi ý các dự án khoa học dữ liệu phù
## Ôn tập & Tự học
Muốn khám phá thêm các trường hợp sử dụng? Dưới đây là một số bài viết liên quan:
Muốn khám phá thêm các trường hợp sử dụng? Dưới đây là một vài bài viết liên quan:
* [17 Ứng dụng và Ví dụ về Khoa học Dữ liệu](https://builtin.com/data-science/data-science-applications-examples) - Tháng 7 năm 2021
* [11 Ứng dụng Khoa học Dữ liệu Đáng Kinh Ngạc trong Thế Giới Thực](https://myblindbird.com/data-science-applications-real-world/) - Tháng 5 năm 2021
* [Khoa học Dữ liệu Trong Thế Giới Thực](https://towardsdatascience.com/data-science-in-the-real-world/home) - Bộ sưu tập bài viết
* Khoa học Dữ liệu Trong: [Giáo dục](https://data-flair.training/blogs/data-science-in-education/), [Nông nghiệp](https://data-flair.training/blogs/data-science-in-agriculture/), [Tài chính](https://data-flair.training/blogs/data-science-in-finance/), [Phim ảnh](https://data-flair.training/blogs/data-science-at-movies/) & nhiều lĩnh vực khác.
* [12 Ứng dụng Khoa học Dữ liệu Thực Tế với Ví dụ](https://www.scaler.com/blog/data-science-applications/) - Tháng 5 năm 2024
* Khoa học Dữ liệu Trong: [Giáo dục](https://data-flair.training/blogs/data-science-in-education/), [Nông nghiệp](https://data-flair.training/blogs/data-science-in-agriculture/), [Tài chính](https://data-flair.training/blogs/data-science-in-finance/), [Phim ảnh](https://data-flair.training/blogs/data-science-at-movies/), [Chăm sóc sức khỏe](https://onlinedegrees.sandiego.edu/data-science-health-care/) & nhiều lĩnh vực khác.
## Bài tập
@ -152,4 +153,4 @@ Muốn khám phá thêm các trường hợp sử dụng? Dưới đây là mộ
---
**Tuyên bố miễn trừ trách nhiệm**:
Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng các bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ bản địa nên được coi là nguồn tham khảo chính thức. Đối với các thông tin quan trọng, chúng tôi khuyến nghị sử dụng dịch vụ dịch thuật chuyên nghiệp từ con người. Chúng tôi không chịu trách nhiệm cho bất kỳ sự hiểu lầm hoặc diễn giải sai nào phát sinh từ việc sử dụng bản dịch này.
Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng các bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ bản địa nên được coi là nguồn thông tin chính thức. Đối với các thông tin quan trọng, khuyến nghị sử dụng dịch vụ dịch thuật chuyên nghiệp bởi con người. Chúng tôi không chịu trách nhiệm cho bất kỳ sự hiểu lầm hoặc diễn giải sai nào phát sinh từ việc sử dụng bản dịch này.
查看["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671) - 这是 [Jen Looper](https://twitter.com/jenlooper) 的一个优秀案例，探讨如何利用数据科学重新审视熟悉的诗歌，并在新的背景下重新评估其意义及作者的贡献。例如，_我们能否通过分析诗歌的语气或情感来预测其创作的季节_——这又能告诉我们作者在相关时期的心境如何？
查看["Emily Dickinson and the Meter of Mood"](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671)——这是一个来自[Jen Looper](https://twitter.com/jenlooper)的优秀案例，探讨如何利用数据科学重新审视熟悉的诗歌，并在新的背景下重新评估其意义及作者的贡献。例如，_我们能否通过分析诗歌的语气或情感来预测其创作的季节_——这又能告诉我们作者在相关时期的心境如何？
* [`数据清理`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - 解释如何使用基本工具（如 Visual Studio Code 和 Microsoft Excel）对文本进行格式化、清理和简化。
* [`数据获取`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#acquiring-the-dataset) - 收集相关数据集进行分析。选项包括使用 API（如[Poetry DB API](https://poetrydb.org/index.html)）或使用工具（如[Scrapy](https://scrapy.org/)）抓取网页（如[Project Gutenberg](https://www.gutenberg.org/files/12242/12242-h/12242-h.htm)）。
* [`数据清理`](https://gist.github.com/jlooper/ce4d102efd057137bc000db796bfd671#clean-the-data) - 解释如何使用基本工具（如 Visual Studio Code 和 Microsoft Excel）格式化、清理和简化文本。
leestott
4 months ago
committed by
GitHub