|
|
5 months ago | |
|---|---|---|
| .. | ||
| README.md | 5 months ago | |
| assignment.md | 5 months ago | |
README.md
علم داده در دنیای واقعی
![]() |
|---|
| علم داده در دنیای واقعی - تصویر طراحی شده توسط @nitya |
ما تقریباً به پایان این مسیر یادگیری رسیدهایم!
ما با تعریفهای علم داده و اخلاق شروع کردیم، ابزارها و تکنیکهای مختلف برای تحلیل و بصریسازی دادهها را بررسی کردیم، چرخه عمر علم داده را مرور کردیم و به مقیاسپذیری و خودکارسازی جریانهای کاری علم داده با خدمات رایانش ابری پرداختیم. بنابراین، احتمالاً از خود میپرسید: "چطور میتوانم همه این یادگیریها را به زمینههای دنیای واقعی مرتبط کنم؟"
در این درس، کاربردهای واقعی علم داده در صنعت را بررسی میکنیم و به مثالهای خاص در زمینههای تحقیق، علوم انسانی دیجیتال و پایداری میپردازیم. همچنین فرصتهای پروژههای دانشجویی را مرور کرده و با منابع مفیدی برای ادامه مسیر یادگیری شما به پایان میرسیم!
آزمون پیش از درس
آزمون پیش از درس
علم داده + صنعت
به لطف دموکراتیزه شدن هوش مصنوعی، توسعهدهندگان اکنون راحتتر میتوانند تصمیمگیریهای مبتنی بر هوش مصنوعی و بینشهای مبتنی بر داده را در تجربههای کاربری و جریانهای کاری توسعه ادغام کنند. در اینجا چند مثال از نحوه "کاربرد" علم داده در دنیای واقعی در صنعت آورده شده است:
-
Google Flu Trends از علم داده برای ارتباط دادن اصطلاحات جستجو با روندهای آنفولانزا استفاده کرد. اگرچه این روش دارای نقصهایی بود، اما آگاهی از امکانات (و چالشهای) پیشبینیهای بهداشتی مبتنی بر داده را افزایش داد.
-
پیشبینی مسیرهای UPS - توضیح میدهد که چگونه UPS از علم داده و یادگیری ماشین برای پیشبینی مسیرهای بهینه برای تحویل استفاده میکند، با در نظر گرفتن شرایط آب و هوایی، الگوهای ترافیکی، مهلتهای تحویل و موارد دیگر.
-
بصریسازی مسیر تاکسیهای نیویورک - دادههای جمعآوری شده با استفاده از قوانین آزادی اطلاعات به ما کمک کرد تا یک روز از زندگی تاکسیهای نیویورک را بصریسازی کنیم، و بفهمیم چگونه در شهر شلوغ حرکت میکنند، چقدر درآمد دارند و مدت زمان سفرهایشان در هر دوره ۲۴ ساعته چقدر است.
-
محیط کاری علم داده Uber - از دادههای جمعآوری شده از میلیونها سفر روزانه Uber (مانند مکانهای سوار شدن و پیاده شدن، مدت زمان سفر، مسیرهای ترجیحی و غیره) برای ساخت یک ابزار تحلیل داده استفاده میکند که به تصمیمگیریهای مربوط به قیمتگذاری، ایمنی، تشخیص تقلب و مسیریابی کمک میکند.
-
تحلیلهای ورزشی - بر تحلیلهای پیشبینیکننده (تحلیل تیم و بازیکن - مانند Moneyball - و مدیریت طرفداران) و بصریسازی دادهها (داشبوردهای تیم و طرفداران، بازیها و غیره) تمرکز دارد، با کاربردهایی مانند استعدادیابی، شرطبندی ورزشی و مدیریت موجودی/مکان.
-
علم داده در بانکداری - ارزش علم داده در صنعت مالی را با کاربردهایی از مدلسازی ریسک و تشخیص تقلب گرفته تا تقسیمبندی مشتریان، پیشبینیهای لحظهای و سیستمهای توصیهکننده برجسته میکند. تحلیلهای پیشبینیکننده همچنین اقدامات حیاتی مانند امتیازات اعتباری را هدایت میکنند.
-
علم داده در مراقبتهای بهداشتی - کاربردهایی مانند تصویربرداری پزشکی (مانند MRI، اشعه ایکس، سیتیاسکن)، ژنومیک (توالییابی DNA)، توسعه دارو (ارزیابی ریسک، پیشبینی موفقیت)، تحلیلهای پیشبینیکننده (مراقبت از بیمار و لجستیک تامین)، ردیابی و پیشگیری از بیماری و غیره را برجسته میکند.
اعتبار تصویر: Data Flair: 6 Amazing Data Science Applications
این شکل حوزهها و مثالهای دیگری برای کاربرد تکنیکهای علم داده را نشان میدهد. آیا میخواهید کاربردهای دیگری را بررسی کنید؟ بخش مرور و مطالعه خود را در زیر ببینید.
علم داده + تحقیق
![]() |
|---|
| علم داده و تحقیق - تصویر طراحی شده توسط @nitya |
در حالی که کاربردهای دنیای واقعی اغلب بر موارد استفاده صنعتی در مقیاس بزرگ تمرکز دارند، پروژهها و کاربردهای تحقیقاتی میتوانند از دو منظر مفید باشند:
- فرصتهای نوآوری - بررسی نمونهسازی سریع مفاهیم پیشرفته و آزمایش تجربههای کاربری برای کاربردهای نسل بعدی.
- چالشهای استقرار - تحقیق در مورد آسیبهای احتمالی یا پیامدهای ناخواسته فناوریهای علم داده در زمینههای دنیای واقعی.
برای دانشجویان، این پروژههای تحقیقاتی میتوانند فرصتهای یادگیری و همکاری فراهم کنند که درک شما از موضوع را بهبود بخشیده و آگاهی و تعامل شما با افراد یا تیمهای مرتبط در حوزههای مورد علاقه را گسترش دهند. پس پروژههای تحقیقاتی چگونه به نظر میرسند و چگونه میتوانند تاثیرگذار باشند؟
بیایید یک مثال را بررسی کنیم - مطالعه Gender Shades MIT از Joy Buolamwini (آزمایشگاههای رسانهای MIT) با یک مقاله تحقیقاتی برجسته که با همکاری Timnit Gebru (در آن زمان در Microsoft Research) نوشته شده است و بر موارد زیر تمرکز دارد:
- چه چیزی: هدف پروژه تحقیقاتی ارزیابی تعصب موجود در الگوریتمها و مجموعه دادههای تحلیل خودکار چهره بر اساس جنسیت و نوع پوست بود.
- چرا: تحلیل چهره در زمینههایی مانند اجرای قانون، امنیت فرودگاه، سیستمهای استخدام و موارد دیگر استفاده میشود - زمینههایی که طبقهبندیهای نادرست (مثلاً به دلیل تعصب) میتوانند آسیبهای اقتصادی و اجتماعی بالقوهای به افراد یا گروههای متاثر وارد کنند. درک (و حذف یا کاهش) تعصبها کلید عدالت در استفاده است.
- چگونه: محققان تشخیص دادند که معیارهای موجود عمدتاً از افراد با پوست روشنتر استفاده میکنند و یک مجموعه داده جدید (بیش از ۱۰۰۰ تصویر) ایجاد کردند که متعادلتر از نظر جنسیت و نوع پوست بود. این مجموعه داده برای ارزیابی دقت سه محصول طبقهبندی جنسیت (از Microsoft، IBM و Face++) استفاده شد.
نتایج نشان داد که اگرچه دقت کلی طبقهبندی خوب بود، تفاوت قابل توجهی در نرخ خطا بین گروههای مختلف وجود داشت - با اشتباه در تشخیص جنسیت بیشتر برای زنان یا افراد با پوست تیرهتر، که نشاندهنده تعصب بود.
نتایج کلیدی: آگاهی را افزایش داد که علم داده به مجموعه دادههای نمایندهتر (گروههای متعادل) و تیمهای فراگیرتر (پیشینههای متنوع) نیاز دارد تا این تعصبها را زودتر در راهحلهای هوش مصنوعی شناسایی و حذف یا کاهش دهد. تلاشهای تحقیقاتی مانند این همچنین در تعریف اصول و شیوههای هوش مصنوعی مسئولانه توسط بسیاری از سازمانها برای بهبود عدالت در محصولات و فرآیندهای هوش مصنوعی آنها نقش اساسی دارند.
آیا میخواهید درباره تلاشهای تحقیقاتی مرتبط در Microsoft اطلاعات کسب کنید؟
- پروژههای تحقیقاتی Microsoft در زمینه هوش مصنوعی را بررسی کنید.
- پروژههای دانشجویی از مدرسه تابستانی علم داده Microsoft Research را مرور کنید.
- پروژه Fairlearn و ابتکارات هوش مصنوعی مسئولانه را بررسی کنید.
علم داده + علوم انسانی
![]() |
|---|
| علم داده و علوم انسانی دیجیتال - تصویر طراحی شده توسط @nitya |
علوم انسانی دیجیتال تعریف شده است به عنوان "مجموعهای از شیوهها و رویکردها که روشهای محاسباتی را با تحقیق انسانی ترکیب میکنند". پروژههای Stanford مانند "بازنگری تاریخ" و "تفکر شاعرانه" ارتباط بین علوم انسانی دیجیتال و علم داده را نشان میدهند - تاکید بر تکنیکهایی مانند تحلیل شبکه، بصریسازی اطلاعات، تحلیل فضایی و متنی که میتوانند به ما کمک کنند مجموعه دادههای تاریخی و ادبی را بازنگری کنیم تا بینشها و دیدگاههای جدیدی به دست آوریم.
آیا میخواهید پروژهای در این زمینه را بررسی و گسترش دهید؟
پروژه "امیلی دیکینسون و وزن احساسات" را بررسی کنید - یک مثال عالی از Jen Looper که میپرسد چگونه میتوانیم از علم داده برای بازنگری در شعرهای آشنا و ارزیابی مجدد معنای آنها و مشارکتهای نویسنده در زمینههای جدید استفاده کنیم. برای مثال، آیا میتوانیم فصل سرودن یک شعر را با تحلیل لحن یا احساسات آن پیشبینی کنیم - و این چه چیزی درباره وضعیت ذهنی نویسنده در دوره مربوطه به ما میگوید؟
برای پاسخ به این سوال، مراحل چرخه عمر علم داده را دنبال میکنیم:
جمعآوری دادهها- برای جمعآوری مجموعه داده مرتبط برای تحلیل. گزینهها شامل استفاده از API (مانند Poetry DB API) یا استخراج صفحات وب (مانند Project Gutenberg) با استفاده از ابزارهایی مانند Scrapy.پاکسازی دادهها- توضیح میدهد که چگونه متن میتواند با ابزارهای سادهای مانند Visual Studio Code و Microsoft Excel قالببندی، بهینهسازی و ساده شود.تحلیل دادهها- توضیح میدهد که چگونه میتوانیم اکنون مجموعه داده را برای تحلیل وارد "دفترچهها" کنیم، با استفاده از بستههای پایتون (مانند pandas، numpy و matplotlib) برای سازماندهی و بصریسازی دادهها.تحلیل احساسات- توضیح میدهد که چگونه میتوانیم خدمات ابری مانند Text Analytics را با استفاده از ابزارهای کمکد مانند Power Automate برای جریانهای کاری پردازش داده خودکار ادغام کنیم.
با استفاده از این جریان کاری، میتوانیم تاثیرات فصلی بر احساسات شعرها را بررسی کنیم و به ما کمک کنیم دیدگاههای خودمان را درباره نویسنده شکل دهیم. خودتان امتحان کنید - سپس دفترچه را گسترش دهید تا سوالات دیگری بپرسید یا دادهها را به روشهای جدید بصریسازی کنید!
میتوانید از برخی ابزارهای موجود در جعبه ابزار علوم انسانی دیجیتال برای دنبال کردن این مسیرهای تحقیقاتی استفاده کنید.
علم داده + پایداری
![]() |
|---|
| علم داده و پایداری - تصویر طراحی شده توسط @nitya |
دستور کار ۲۰۳۰ برای توسعه پایدار - که توسط همه اعضای سازمان ملل در سال ۲۰۱۵ تصویب شد - ۱۷ هدف را شناسایی میکند، از جمله اهدافی که بر حفاظت از سیاره در برابر تخریب و تاثیر تغییرات اقلیمی تمرکز دارند. ابتکار پایداری Microsoft از این اهداف حمایت میکند و راههایی را بررسی میکند که راهحلهای فناوری میتوانند آیندههای پایدارتر را پشتیبانی و ایجاد کنند، با تمرکز بر ۴ هدف - کربن منفی، آب مثبت، صفر زباله و تنوع زیستی تا سال ۲۰۳۰.
مقابله با این چالشها به صورت مقیاسپذیر و به موقع نیازمند تفکر در مقیاس ابری - و دادههای بزرگ است. ابتکار Planetary Computer ۴ مؤلفه را برای کمک به دانشمندان داده و توسعهدهندگان در این تلاش ارائه میدهد:
-
کاتالوگ دادهها - با پتابایتهای دادههای سیستمهای زمین (رایگان و میزبانی شده در Azure).
-
API سیارهای - برای کمک به کاربران در جستجوی دادههای مرتبط در فضا و زمان.
-
مرکز - محیط مدیریت شده برای دانشمندان برای پردازش مجموعه دادههای عظیم جغرافیایی.
-
برنامهها - نمایش موارد استفاده و ابزارهایی برای بینشهای پایداری. پروژه کامپیوتر سیارهای در حال حاضر در مرحله پیشنمایش است (از سپتامبر 2021) - در اینجا نحوه شروع مشارکت در راهحلهای پایداری با استفاده از علم داده توضیح داده شده است.
-
درخواست دسترسی برای شروع کاوش و ارتباط با همتایان.
-
بررسی مستندات برای درک مجموعه دادهها و APIهای پشتیبانیشده.
-
برنامههایی مانند پایش اکوسیستم را برای الهام گرفتن از ایدههای کاربردی بررسی کنید.
به این فکر کنید که چگونه میتوانید از تجسم دادهها برای آشکار کردن یا تقویت بینشهای مرتبط در زمینههایی مانند تغییرات اقلیمی و جنگلزدایی استفاده کنید. یا به این فکر کنید که چگونه میتوان از این بینشها برای ایجاد تجربیات کاربری جدید استفاده کرد که تغییرات رفتاری را برای زندگی پایدارتر انگیزه دهد.
علم داده + دانشجویان
ما درباره کاربردهای واقعی در صنعت و پژوهش صحبت کردهایم و نمونههایی از کاربرد علم داده در علوم انسانی دیجیتال و پایداری را بررسی کردهایم. حالا چگونه میتوانید مهارتهای خود را بسازید و تخصص خود را به عنوان مبتدیان علم داده به اشتراک بگذارید؟
در اینجا چند نمونه از پروژههای دانشجویی علم داده برای الهام گرفتن آورده شده است.
- مدرسه تابستانی علم داده MSR با پروژههای GitHub که موضوعاتی مانند:
- دیجیتالی کردن فرهنگ مادی: بررسی توزیعهای اجتماعی-اقتصادی در سیرکاپ - از اورنلا آلتونیان و تیمش در کلرمونت، با استفاده از ArcGIS StoryMaps.
🚀 چالش
مقالات را جستجو کنید که پروژههای علم داده مناسب برای مبتدیان را توصیه میکنند - مانند این 50 موضوع یا این 21 ایده پروژه یا این 16 پروژه با کد منبع که میتوانید آنها را تجزیه و تحلیل کنید و دوباره ترکیب کنید. و فراموش نکنید که درباره سفرهای یادگیری خود وبلاگ بنویسید و بینشهای خود را با همه ما به اشتراک بگذارید.
آزمون پس از سخنرانی
آزمون پس از سخنرانی
مرور و مطالعه شخصی
میخواهید موارد استفاده بیشتری را بررسی کنید؟ در اینجا چند مقاله مرتبط آورده شده است:
- 17 کاربرد و مثال علم داده - جولای 2021
- 11 کاربرد شگفتانگیز علم داده در دنیای واقعی - مه 2021
- علم داده در دنیای واقعی - مجموعه مقالات
- علم داده در: آموزش، کشاورزی، مالی، فیلمها و موارد دیگر.
تکلیف
یک مجموعه داده کامپیوتر سیارهای را بررسی کنید
سلب مسئولیت:
این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما برای دقت تلاش میکنیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادقتیهایی باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حساس، ترجمه حرفهای انسانی توصیه میشود. ما هیچ مسئولیتی در قبال سوءتفاهمها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.



