leestott
0f1def896e
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 4 weeks ago | |
README.md
علم داده در دنیای واقعی
 |
|---|
| علم داده در دنیای واقعی - Sketchnote by @nitya |
ما تقریباً به پایان این سفر آموزشی رسیده‌ایم!
ما با تعریف‌های علم داده و اخلاق شروع کردیم، ابزارها و تکنیک‌های مختلف برای تحلیل و مصورسازی داده‌ها را بررسی کردیم، چرخه عمر علم داده را مرور کردیم و به مقیاس‌پذیری و خودکارسازی جریان‌های کاری علم داده با خدمات رایانش ابری پرداختیم. بنابراین احتمالاً از خود می‌پرسید: "چطور می‌توانم همه این آموخته‌ها را به زمینه‌های واقعی مرتبط کنم؟"
در این درس، کاربردهای واقعی علم داده در صنعت را بررسی می‌کنیم و به مثال‌های خاص در زمینه‌های تحقیق، علوم انسانی دیجیتال و پایداری می‌پردازیم. همچنین فرصت‌های پروژه‌های دانشجویی را مرور کرده و با منابع مفیدی برای ادامه مسیر یادگیری شما به پایان می‌رسیم!
آزمون پیش از درس
آزمون پیش از درس
علم داده + صنعت
به لطف دموکراتیزه شدن هوش مصنوعی، توسعه‌دهندگان اکنون راحت‌تر می‌توانند تصمیم‌گیری‌های مبتنی بر هوش مصنوعی و بینش‌های مبتنی بر داده را در تجربه‌های کاربری و جریان‌های کاری توسعه ادغام کنند. در اینجا چند مثال از نحوه "کاربرد" علم داده در زمینه‌های واقعی صنعت آورده شده است:
-
Google Flu Trends از علم داده برای ارتباط دادن اصطلاحات جستجو با روندهای آنفولانزا استفاده کرد. اگرچه این روش دارای نقص‌هایی بود، اما آگاهی از امکانات (و چالش‌های) پیش‌بینی‌های بهداشتی مبتنی بر داده را افزایش داد.
-
پیش‌بینی مسیرهای UPS - توضیح می‌دهد که چگونه UPS از علم داده و یادگیری ماشین برای پیش‌بینی مسیرهای بهینه برای تحویل استفاده می‌کند، با در نظر گرفتن شرایط آب و هوایی، الگوهای ترافیکی، مهلت‌های تحویل و موارد دیگر.
-
مصورسازی مسیر تاکسی‌های NYC - داده‌های جمع‌آوری شده با استفاده از قوانین آزادی اطلاعات به مصورسازی یک روز از زندگی تاکسی‌های NYC کمک کرد، و به ما نشان داد که چگونه در شهر شلوغ حرکت می‌کنند، چقدر درآمد دارند و مدت زمان سفرها در هر دوره ۲۴ ساعته چقدر است.
-
محیط کار علم داده Uber - از داده‌های جمع‌آوری شده از میلیون‌ها سفر روزانه Uber (مانند مکان‌های سوار شدن و پیاده شدن، مدت زمان سفر، مسیرهای ترجیحی و غیره) برای ساخت ابزار تحلیل داده استفاده می‌کند که به تصمیم‌گیری‌های مربوط به قیمت‌گذاری، ایمنی، تشخیص تقلب و ناوبری کمک می‌کند.
-
تحلیل‌های ورزشی - بر تحلیل‌های پیش‌بینی‌کننده (تحلیل تیم و بازیکن - مانند Moneyball - و مدیریت طرفداران) و مصورسازی داده‌ها (داشبوردهای تیم و طرفداران، بازی‌ها و غیره) تمرکز دارد، با کاربردهایی مانند استعدادیابی، شرط‌بندی ورزشی و مدیریت موجودی/محل برگزاری.
-
علم داده در بانکداری - ارزش علم داده در صنعت مالی را با کاربردهایی از مدل‌سازی ریسک و تشخیص تقلب گرفته تا تقسیم‌بندی مشتریان، پیش‌بینی‌های لحظه‌ای و سیستم‌های توصیه‌کننده برجسته می‌کند. تحلیل‌های پیش‌بینی‌کننده همچنین اقدامات حیاتی مانند امتیازات اعتباری را هدایت می‌کنند.
-
علم داده در مراقبت‌های بهداشتی - کاربردهایی مانند تصویربرداری پزشکی (مانند MRI، اشعه ایکس، سی‌تی‌اسکن)، ژنومیک (توالی‌یابی DNA)، توسعه دارو (ارزیابی ریسک، پیش‌بینی موفقیت)، تحلیل‌های پیش‌بینی‌کننده (مراقبت از بیمار و لجستیک تامین)، ردیابی و پیشگیری از بیماری و غیره را برجسته می‌کند.
اعتبار تصویر: Data Flair: 6 Amazing Data Science Applications
این شکل حوزه‌ها و مثال‌های دیگری برای کاربرد تکنیک‌های علم داده را نشان می‌دهد. آیا می‌خواهید کاربردهای دیگری را بررسی کنید؟ بخش مرور و مطالعه خود را در زیر ببینید.
علم داده + تحقیق
 |
|---|
| علم داده و تحقیق - Sketchnote by @nitya |
در حالی که کاربردهای واقعی اغلب بر موارد استفاده صنعتی در مقیاس بزرگ تمرکز دارند، پروژه‌ها و کاربردهای تحقیقاتی می‌توانند از دو منظر مفید باشند:
- فرصت‌های نوآوری - بررسی نمونه‌سازی سریع مفاهیم پیشرفته و آزمایش تجربه‌های کاربری برای کاربردهای نسل بعدی.
- چالش‌های استقرار - تحقیق در مورد آسیب‌های احتمالی یا پیامدهای ناخواسته فناوری‌های علم داده در زمینه‌های واقعی.
برای دانشجویان، این پروژه‌های تحقیقاتی می‌توانند فرصت‌های یادگیری و همکاری فراهم کنند که درک شما از موضوع را بهبود بخشند و آگاهی و تعامل شما با افراد یا تیم‌های مرتبط در حوزه‌های مورد علاقه را گسترش دهند. پس پروژه‌های تحقیقاتی چگونه به نظر می‌رسند و چگونه می‌توانند تأثیرگذار باشند؟
بیایید یک مثال را بررسی کنیم - مطالعه Gender Shades MIT از Joy Buolamwini (MIT Media Labs) با یک مقاله تحقیقاتی برجسته که با همکاری Timnit Gebru (در آن زمان در Microsoft Research) نوشته شده است و بر موارد زیر تمرکز دارد:
- چه چیزی: هدف پروژه تحقیقاتی ارزیابی تعصب موجود در الگوریتم‌ها و مجموعه داده‌های تحلیل خودکار چهره بر اساس جنسیت و نوع پوست بود.
- چرا: تحلیل چهره در زمینه‌هایی مانند اجرای قانون، امنیت فرودگاه، سیستم‌های استخدام و موارد دیگر استفاده می‌شود - زمینه‌هایی که طبقه‌بندی‌های نادرست (مثلاً به دلیل تعصب) می‌توانند آسیب‌های اقتصادی و اجتماعی بالقوه‌ای به افراد یا گروه‌های تحت تأثیر وارد کنند. درک (و حذف یا کاهش) تعصب‌ها کلید عدالت در استفاده است.
- چگونه: محققان تشخیص دادند که معیارهای موجود عمدتاً از افراد با پوست روشن‌تر استفاده می‌کنند و یک مجموعه داده جدید (بیش از ۱۰۰۰ تصویر) ایجاد کردند که متعادل‌تر از نظر جنسیت و نوع پوست بود. این مجموعه داده برای ارزیابی دقت سه محصول طبقه‌بندی جنسیت (از Microsoft، IBM و Face++) استفاده شد.
نتایج نشان داد که اگرچه دقت کلی طبقه‌بندی خوب بود، تفاوت قابل توجهی در نرخ خطا بین گروه‌های مختلف وجود داشت - با اشتباه در جنسیت بیشتر برای زنان یا افراد با پوست تیره‌تر، که نشان‌دهنده تعصب بود.
نتایج کلیدی: آگاهی را افزایش داد که علم داده نیاز به مجموعه داده‌های نماینده‌تر (گروه‌های متعادل) و تیم‌های فراگیرتر (پیشینه‌های متنوع) دارد تا بتوان چنین تعصب‌هایی را زودتر در راه‌حل‌های هوش مصنوعی شناسایی و حذف یا کاهش داد. تلاش‌های تحقیقاتی مانند این همچنین در تعریف اصول و شیوه‌ها برای هوش مصنوعی مسئولانه در بسیاری از سازمان‌ها برای بهبود عدالت در محصولات و فرآیندهای هوش مصنوعی آن‌ها نقش اساسی دارند.
آیا می‌خواهید درباره تلاش‌های تحقیقاتی مرتبط در Microsoft اطلاعات کسب کنید؟
- پروژه‌های تحقیقاتی Microsoft در زمینه هوش مصنوعی را بررسی کنید.
- پروژه‌های دانشجویی از مدرسه تابستانی علم داده Microsoft Research را مرور کنید.
- پروژه Fairlearn و ابتکارات هوش مصنوعی مسئولانه را بررسی کنید.
علم داده + علوم انسانی
 |
|---|
| علم داده و علوم انسانی دیجیتال - Sketchnote by @nitya |
علوم انسانی دیجیتال تعریف شده است به عنوان "مجموعه‌ای از شیوه‌ها و رویکردها که روش‌های محاسباتی را با تحقیق انسانی ترکیب می‌کنند". پروژه‌های Stanford مانند "بازنگری تاریخ" و "تفکر شاعرانه" ارتباط بین علوم انسانی دیجیتال و علم داده را نشان می‌دهند - تأکید بر تکنیک‌هایی مانند تحلیل شبکه، مصورسازی اطلاعات، تحلیل فضایی و متنی که می‌توانند به ما کمک کنند مجموعه داده‌های تاریخی و ادبی را بازنگری کنیم تا بینش‌ها و دیدگاه‌های جدیدی به دست آوریم.
آیا می‌خواهید پروژه‌ای در این زمینه را بررسی و گسترش دهید؟
پروژه "امیلی دیکینسون و وزن احساسات" را بررسی کنید - یک مثال عالی از Jen Looper که می‌پرسد چگونه می‌توانیم از علم داده برای بازنگری در شعرهای آشنا و ارزیابی مجدد معنای آن‌ها و مشارکت‌های نویسنده در زمینه‌های جدید استفاده کنیم. برای مثال، آیا می‌توانیم فصل سرودن یک شعر را با تحلیل لحن یا احساسات آن پیش‌بینی کنیم - و این چه چیزی درباره حالت ذهن نویسنده در دوره مربوطه به ما می‌گوید؟
برای پاسخ به این سوال، مراحل چرخه عمر علم داده را دنبال می‌کنیم:
جمع‌آوری داده‌ها- برای جمع‌آوری مجموعه داده‌های مرتبط برای تحلیل. گزینه‌ها شامل استفاده از API (مانند Poetry DB API) یا استخراج صفحات وب (مانند Project Gutenberg) با استفاده از ابزارهایی مانند Scrapy.پاک‌سازی داده‌ها- توضیح می‌دهد که چگونه متن می‌تواند با ابزارهای ساده‌ای مانند Visual Studio Code و Microsoft Excel قالب‌بندی، بهینه‌سازی و ساده شود.تحلیل داده‌ها- توضیح می‌دهد که چگونه می‌توانیم اکنون مجموعه داده را برای تحلیل وارد "دفترچه‌ها" کنیم و با استفاده از بسته‌های پایتون (مانند pandas، numpy و matplotlib) داده‌ها را سازماندهی و مصورسازی کنیم.تحلیل احساسات- توضیح می‌دهد که چگونه می‌توانیم خدمات ابری مانند Text Analytics را با استفاده از ابزارهای کم‌کد مانند Power Automate برای جریان‌های کاری پردازش داده خودکار ادغام کنیم.
با استفاده از این جریان کاری، می‌توانیم تأثیرات فصلی بر احساسات شعرها را بررسی کنیم و به ما کمک کنیم دیدگاه‌های خود را درباره نویسنده شکل دهیم. خودتان امتحان کنید - سپس دفترچه را گسترش دهید تا سوالات دیگری بپرسید یا داده‌ها را به روش‌های جدید مصورسازی کنید!
می‌توانید از برخی ابزارهای موجود در جعبه ابزار علوم انسانی دیجیتال برای دنبال کردن این مسیرهای تحقیقاتی استفاده کنید.
علم داده + پایداری
 |
|---|
| علم داده و پایداری - Sketchnote by @nitya |
دستور کار ۲۰۳۰ برای توسعه پایدار - که توسط همه اعضای سازمان ملل در سال ۲۰۱۵ تصویب شد - ۱۷ هدف را شناسایی می‌کند، از جمله اهدافی که بر حفاظت از سیاره در برابر تخریب و تأثیر تغییرات اقلیمی تمرکز دارند. ابتکار پایداری Microsoft از این اهداف حمایت می‌کند و راه‌هایی را بررسی می‌کند که راه‌حل‌های فناوری می‌توانند آینده‌های پایدارتر را پشتیبانی و ایجاد کنند، با تمرکز بر ۴ هدف - کربن منفی، آب مثبت، صفر زباله و تنوع زیستی تا سال ۲۰۳۰.
مقابله با این چالش‌ها به صورت مقیاس‌پذیر و به موقع نیازمند تفکر در مقیاس ابری - و داده‌های بزرگ است. ابتکار Planetary Computer ۴ مؤلفه را برای کمک به دانشمندان داده و توسعه‌دهندگان در این تلاش ارائه می‌دهد:
-
کاتالوگ داده‌ها - با پتابایت‌های داده‌های سیستم‌های زمین (رایگان و میزبانی شده در Azure).
-
API سیاره‌ای - برای کمک به کاربران در جستجوی داده‌های مرتبط در سراسر فضا و زمان.
-
مرکز - محیط مدیریت شده برای دانشمندان برای پردازش مجموعه داده‌های عظیم جغرافیایی.
-
برنامه‌ها - نمایش موارد استفاده و ابزارهایی برای بینش‌های پایداری. پروژه کامپیوتر سیاره‌ای در حال حاضر در مرحله پیش‌نمایش است (از سپتامبر 2021) - در اینجا نحوه شروع مشارکت در راه‌حل‌های پایداری با استفاده از علم داده توضیح داده شده است.
-
درخواست دسترسی برای شروع کاوش و ارتباط با همتایان.
-
کاوش مستندات برای درک مجموعه داده‌ها و APIهای پشتیبانی‌شده.
-
برنامه‌هایی مانند پایش اکوسیستم را برای الهام گرفتن از ایده‌های کاربردی بررسی کنید.
به این فکر کنید که چگونه می‌توانید از تجسم داده‌ها برای آشکار کردن یا تقویت بینش‌های مرتبط در زمینه‌هایی مانند تغییرات اقلیمی و جنگل‌زدایی استفاده کنید. یا به این فکر کنید که چگونه می‌توان از این بینش‌ها برای ایجاد تجربیات جدید کاربری که تغییرات رفتاری را برای زندگی پایدارتر انگیزه می‌دهد، استفاده کرد.
علم داده + دانشجویان
ما درباره کاربردهای واقعی در صنعت و پژوهش صحبت کرده‌ایم و نمونه‌هایی از کاربرد علم داده در علوم انسانی دیجیتال و پایداری را بررسی کرده‌ایم. حالا چگونه می‌توانید مهارت‌های خود را توسعه دهید و تخصص خود را به عنوان مبتدیان علم داده به اشتراک بگذارید؟
در اینجا چند نمونه از پروژه‌های دانشجویی علم داده برای الهام گرفتن آورده شده است:
- مدرسه تابستانی علم داده MSR با پروژه‌های GitHub که موضوعاتی مانند:
- دیجیتالی کردن فرهنگ مادی: بررسی توزیع‌های اجتماعی-اقتصادی در سیرکاپ - از اورنلا آلتونیان و تیمش در کلرمونت، با استفاده از ArcGIS StoryMaps.
🚀 چالش
مقالات را جستجو کنید که پروژه‌های علم داده مناسب برای مبتدیان را توصیه می‌کنند - مانند این 50 موضوع یا این 21 ایده پروژه یا این 16 پروژه با کد منبع که می‌توانید آن‌ها را تجزیه و تحلیل کنید و دوباره ترکیب کنید. و فراموش نکنید که درباره سفرهای یادگیری خود وبلاگ بنویسید و بینش‌های خود را با همه ما به اشتراک بگذارید.
آزمون پس از سخنرانی
آزمون پس از سخنرانی
مرور و مطالعه خودآموز
می‌خواهید موارد استفاده بیشتری را بررسی کنید؟ در اینجا چند مقاله مرتبط آورده شده است:
- 17 کاربرد و مثال علم داده - جولای 2021
- 11 کاربرد شگفت‌انگیز علم داده در دنیای واقعی - مه 2021
- علم داده در دنیای واقعی - مجموعه مقالات
- 12 کاربرد واقعی علم داده با مثال‌ها - مه 2024
- علم داده در: آموزش، کشاورزی، مالی، فیلم‌ها، مراقبت‌های بهداشتی و موارد دیگر.
تکلیف
یک مجموعه داده کامپیوتر سیاره‌ای را بررسی کنید
سلب مسئولیت:
این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما تلاش می‌کنیم دقت را حفظ کنیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است شامل خطاها یا نادرستی‌ها باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حساس، توصیه می‌شود از ترجمه حرفه‌ای انسانی استفاده کنید. ما مسئولیتی در قبال سوء تفاهم‌ها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.