19 KiB
Data Science w Rzeczywistym Świecie
 |
|---|
| Data Science w Rzeczywistym Świecie - Sketchnote by @nitya |
Jesteśmy prawie na końcu tej podróży edukacyjnej!
Zaczęliśmy od definicji data science i etyki, zbadaliśmy różne narzędzia i techniki analizy oraz wizualizacji danych, przeanalizowaliśmy cykl życia data science, a także przyjrzeliśmy się skalowaniu i automatyzacji procesów data science za pomocą usług chmurowych. Pewnie zastanawiasz się: "Jak dokładnie mogę przełożyć te wszystkie nauki na rzeczywiste konteksty?"
W tej lekcji zbadamy zastosowania data science w różnych branżach i przyjrzymy się konkretnym przykładom w obszarach badań, humanistyki cyfrowej i zrównoważonego rozwoju. Omówimy również możliwości projektów studenckich i zakończymy przydatnymi zasobami, które pomogą Ci kontynuować naukę!
Quiz Przed Lekcją
Data Science + Przemysł
Dzięki demokratyzacji AI, programiści mają teraz łatwiejszy dostęp do projektowania i integracji decyzji opartych na AI oraz wniosków opartych na danych w doświadczeniach użytkowników i procesach rozwoju. Oto kilka przykładów, jak data science jest "stosowane" w rzeczywistych aplikacjach w przemyśle:
-
Google Flu Trends wykorzystało data science do korelacji wyszukiwanych haseł z trendami grypy. Choć podejście miało wady, zwróciło uwagę na możliwości (i wyzwania) prognozowania zdrowotnego opartego na danych.
-
UPS Routing Predictions - opisuje, jak UPS wykorzystuje data science i uczenie maszynowe do przewidywania optymalnych tras dostaw, uwzględniając warunki pogodowe, wzorce ruchu, terminy dostaw i inne czynniki.
-
NYC Taxicab Route Visualization - dane zebrane dzięki Freedom Of Information Laws pomogły zwizualizować dzień z życia taksówek w Nowym Jorku, pokazując, jak poruszają się po zatłoczonym mieście, ile zarabiają i jak długo trwają ich kursy w ciągu 24 godzin.
-
Uber Data Science Workbench - wykorzystuje dane (o miejscach odbioru i dowozu, czasie trwania podróży, preferowanych trasach itp.) zebrane z milionów codziennych przejazdów Ubera do budowy narzędzia analitycznego wspierającego wyceny, bezpieczeństwo, wykrywanie oszustw i decyzje nawigacyjne.
-
Sports Analytics - koncentruje się na analizie predykcyjnej (analiza drużyn i zawodników - jak w Moneyball - oraz zarządzanie fanami) i wizualizacji danych (dashboardy drużyn i fanów, gry itp.) z zastosowaniami takimi jak scouting talentów, zakłady sportowe i zarządzanie obiektami/wydarzeniami.
-
Data Science w Bankowości - podkreśla wartość data science w branży finansowej, z zastosowaniami od modelowania ryzyka i wykrywania oszustw, po segmentację klientów, prognozowanie w czasie rzeczywistym i systemy rekomendacji. Analiza predykcyjna wspiera również kluczowe miary, takie jak oceny kredytowe.
-
Data Science w Ochronie Zdrowia - podkreśla zastosowania takie jak obrazowanie medyczne (np. MRI, RTG, tomografia komputerowa), genomika (sekwencjonowanie DNA), rozwój leków (ocena ryzyka, prognozowanie sukcesu), analiza predykcyjna (opieka nad pacjentem i logistyka dostaw), śledzenie i zapobieganie chorobom itp.
Źródło obrazu: Data Flair: 6 Amazing Data Science Applications
Rysunek pokazuje inne dziedziny i przykłady zastosowania technik data science. Chcesz zbadać inne zastosowania? Sprawdź sekcję Przegląd i Samodzielna Nauka poniżej.
Data Science + Badania
 |
|---|
| Data Science & Badania - Sketchnote by @nitya |
Podczas gdy rzeczywiste zastosowania często koncentrują się na przypadkach użycia w przemyśle na dużą skalę, zastosowania i projekty badawcze mogą być użyteczne z dwóch perspektyw:
- możliwości innowacji - eksploracja szybkiego prototypowania zaawansowanych koncepcji i testowanie doświadczeń użytkowników dla aplikacji nowej generacji.
- wyzwania wdrożeniowe - badanie potencjalnych szkód lub niezamierzonych konsekwencji technologii data science w rzeczywistych kontekstach.
Dla studentów projekty badawcze mogą dostarczyć zarówno możliwości nauki, jak i współpracy, które poprawią zrozumienie tematu oraz poszerzą świadomość i zaangażowanie w pracę z odpowiednimi osobami lub zespołami w obszarach zainteresowań. Jak więc wyglądają projekty badawcze i jaki mogą mieć wpływ?
Przyjrzyjmy się jednemu przykładowi - MIT Gender Shades Study autorstwa Joy Buolamwini (MIT Media Labs) z kluczowym artykułem badawczym współautorstwa Timnit Gebru (wówczas w Microsoft Research), który koncentrował się na:
- Co: Celem projektu badawczego była ocena uprzedzeń obecnych w algorytmach i zbiorach danych do analizy twarzy w oparciu o płeć i typ skóry.
- Dlaczego: Analiza twarzy jest wykorzystywana w takich obszarach jak egzekwowanie prawa, bezpieczeństwo na lotniskach, systemy rekrutacyjne i inne - konteksty, w których nieprawidłowe klasyfikacje (np. z powodu uprzedzeń) mogą powodować potencjalne szkody ekonomiczne i społeczne dla dotkniętych osób lub grup. Zrozumienie (i eliminowanie lub łagodzenie) uprzedzeń jest kluczowe dla sprawiedliwości w użytkowaniu.
- Jak: Badacze zauważyli, że istniejące benchmarki wykorzystywały głównie osoby o jaśniejszej karnacji, i stworzyli nowy zbiór danych (ponad 1000 obrazów), który był bardziej zrównoważony pod względem płci i typu skóry. Zbiór danych został użyty do oceny dokładności trzech produktów do klasyfikacji płci (od Microsoft, IBM i Face++).
Wyniki pokazały, że choć ogólna dokładność klasyfikacji była dobra, zauważono znaczną różnicę w wskaźnikach błędów między różnymi podgrupami - z błędnym przypisaniem płci częściej występującym u kobiet lub osób o ciemniejszej karnacji, co wskazuje na uprzedzenia.
Kluczowe Wyniki: Zwrócono uwagę, że data science potrzebuje bardziej reprezentatywnych zbiorów danych (zrównoważone podgrupy) i bardziej inkluzji zespołów (różnorodne tła), aby wcześniej rozpoznawać i eliminować lub łagodzić takie uprzedzenia w rozwiązaniach AI. Takie badania są również kluczowe dla wielu organizacji w definiowaniu zasad i praktyk dla odpowiedzialnej AI, aby poprawić sprawiedliwość w ich produktach i procesach AI.
Chcesz dowiedzieć się więcej o odpowiednich badaniach w Microsoft?
- Sprawdź Projekty Badawcze Microsoft dotyczące sztucznej inteligencji.
- Odkryj projekty studenckie z Microsoft Research Data Science Summer School.
- Sprawdź projekt Fairlearn i inicjatywy Responsible AI.
Data Science + Humanistyka
 |
|---|
| Data Science & Humanistyka Cyfrowa - Sketchnote by @nitya |
Humanistyka Cyfrowa została zdefiniowana jako "zbiór praktyk i podejść łączących metody obliczeniowe z badaniami humanistycznymi". Projekty Stanforda takie jak "rebooting history" i "poetic thinking" ilustrują powiązanie między Humanistyką Cyfrową a Data Science - podkreślając techniki takie jak analiza sieci, wizualizacja informacji, analiza przestrzenna i tekstowa, które mogą pomóc nam ponownie przeanalizować historyczne i literackie zbiory danych, aby uzyskać nowe wnioski i perspektywy.
Chcesz zbadać i rozwinąć projekt w tej dziedzinie?
Sprawdź "Emily Dickinson and the Meter of Mood" - świetny przykład od Jen Looper, który pyta, jak możemy wykorzystać data science, aby ponownie przeanalizować znaną poezję i ocenić jej znaczenie oraz wkład autora w nowych kontekstach. Na przykład, czy możemy przewidzieć porę roku, w której wiersz został napisany, analizując jego ton lub nastrój - i co to mówi nam o stanie umysłu autora w danym okresie?
Aby odpowiedzieć na to pytanie, podążamy za krokami cyklu życia data science:
Pozyskiwanie Danych- aby zebrać odpowiedni zbiór danych do analizy. Opcje obejmują korzystanie z API (np. Poetry DB API) lub skrobanie stron internetowych (np. Project Gutenberg) za pomocą narzędzi takich jak Scrapy.Czyszczenie Danych- wyjaśnia, jak tekst może być formatowany, oczyszczany i upraszczany za pomocą podstawowych narzędzi, takich jak Visual Studio Code i Microsoft Excel.Analiza Danych- wyjaśnia, jak możemy teraz zaimportować zbiór danych do "Notatników" w celu analizy za pomocą pakietów Python (takich jak pandas, numpy i matplotlib) do organizowania i wizualizacji danych.Analiza Nastrojów- wyjaśnia, jak możemy zintegrować usługi chmurowe, takie jak Text Analytics, używając narzędzi niskokodowych, takich jak Power Automate do zautomatyzowanych przepływów pracy przetwarzania danych.
Korzystając z tego przepływu pracy, możemy zbadać sezonowe wpływy na nastrój wierszy i pomóc nam wyrobić własne opinie na temat autora. Wypróbuj to sam - a następnie rozbuduj notatnik, aby zadać inne pytania lub zwizualizować dane w nowy sposób!
Możesz użyć niektórych narzędzi z Digital Humanities toolkit, aby realizować te kierunki badań.
Data Science + Zrównoważony Rozwój
 |
|---|
| Data Science & Zrównoważony Rozwój - Sketchnote by @nitya |
Agenda na Rzecz Zrównoważonego Rozwoju 2030 - przyjęta przez wszystkich członków ONZ w 2015 roku - identyfikuje 17 celów, w tym te, które koncentrują się na Ochronie Planety przed degradacją i skutkami zmian klimatycznych. Inicjatywa Microsoft Sustainability wspiera te cele, badając, w jaki sposób rozwiązania technologiczne mogą wspierać i budować bardziej zrównoważoną przyszłość, z fokusem na 4 cele - bycie neutralnym węglowo, pozytywnym wodnie, bezodpadowym i bioróżnorodnym do 2030 roku.
Rozwiązywanie tych wyzwań w sposób skalowalny i terminowy wymaga myślenia w skali chmury - oraz dużych zbiorów danych. Inicjatywa Planetary Computer oferuje 4 komponenty, które pomagają data scientistom i programistom w tym wysiłku:
-
Katalog Danych - z petabajtami danych o systemach Ziemi (dostępnych za darmo i hostowanych na Azure).
-
Planetary API - aby pomóc użytkownikom w wyszukiwaniu odpowiednich danych w przestrzeni i czasie.
-
Hub - zarządzane środowisko dla naukowców do przetwarzania ogromnych zbiorów danych geospołecznych.
-
Aplikacje - prezentują przypadki użycia i narzędzia do uzyskiwania wniosków dotyczących zrównoważonego rozwoju. Projekt Planetary Computer jest obecnie w fazie testowej (stan na wrzesień 2021) - oto jak możesz zacząć przyczyniać się do rozwiązań na rzecz zrównoważonego rozwoju, wykorzystując naukę o danych.
-
Poproś o dostęp, aby rozpocząć eksplorację i nawiązać kontakt z innymi użytkownikami.
-
Przeglądaj dokumentację, aby zrozumieć obsługiwane zestawy danych i interfejsy API.
-
Odkrywaj aplikacje, takie jak Monitorowanie ekosystemu, aby znaleźć inspirację do tworzenia własnych pomysłów na aplikacje.
Zastanów się, jak możesz wykorzystać wizualizację danych, aby ujawnić lub wzmocnić istotne spostrzeżenia dotyczące takich obszarów jak zmiany klimatyczne czy wylesianie. Albo pomyśl, jak te spostrzeżenia mogą być użyte do tworzenia nowych doświadczeń użytkownika, które motywują do zmiany zachowań na bardziej zrównoważone.
Nauka o danych + Studenci
Rozmawialiśmy o zastosowaniach w przemyśle i badaniach, a także o przykładach aplikacji nauki o danych w humanistyce cyfrowej i zrównoważonym rozwoju. Jak więc możesz rozwijać swoje umiejętności i dzielić się wiedzą jako początkujący w nauce o danych?
Oto kilka przykładów projektów studenckich z zakresu nauki o danych, które mogą Cię zainspirować.
- Letnia szkoła nauki o danych MSR z projektami na GitHubie projects, które eksplorują takie tematy jak:
- Cyfryzacja kultury materialnej: Badanie rozkładów społeczno-ekonomicznych w Sirkap - od Ornella Altunyan i zespołu z Claremont, wykorzystując ArcGIS StoryMaps.
🚀 Wyzwanie
Poszukaj artykułów, które polecają projekty z zakresu nauki o danych przyjazne dla początkujących - na przykład te 50 obszarów tematycznych lub te 21 pomysłów na projekty albo te 16 projektów z kodem źródłowym, które możesz rozłożyć na części i przerobić. Nie zapomnij również blogować o swoich doświadczeniach w nauce i dzielić się swoimi spostrzeżeniami z nami wszystkimi.
Quiz po wykładzie
Przegląd i samodzielna nauka
Chcesz zgłębić więcej przypadków użycia? Oto kilka interesujących artykułów:
- 17 zastosowań i przykładów nauki o danych - lipiec 2021
- 11 zapierających dech w piersiach zastosowań nauki o danych w rzeczywistości - maj 2021
- Nauka o danych w rzeczywistości - kolekcja artykułów
- Nauka o danych w: Edukacji, Rolnictwie, Finansach, Filmach i innych.
Zadanie
Zbadaj zestaw danych Planetary Computer
Zastrzeżenie:
Ten dokument został przetłumaczony za pomocą usługi tłumaczenia AI Co-op Translator. Chociaż staramy się zapewnić dokładność, prosimy mieć na uwadze, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego rodzimym języku powinien być uznawany za wiarygodne źródło. W przypadku informacji krytycznych zaleca się skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.