|
2 weeks ago | |
---|---|---|
.. | ||
README.md | 2 weeks ago | |
assignment.md | 4 weeks ago |
README.md
Data Science w Rzeczywistym Świecie
![]() |
---|
Data Science w Rzeczywistym Świecie - Sketchnote autorstwa @nitya |
Jesteśmy prawie na końcu tej podróży edukacyjnej!
Zaczęliśmy od definicji data science i etyki, zgłębiliśmy różne narzędzia i techniki analizy oraz wizualizacji danych, przeanalizowaliśmy cykl życia data science, a także przyjrzeliśmy się skalowaniu i automatyzacji procesów data science za pomocą usług chmurowych. Pewnie zastanawiasz się: "Jak dokładnie przełożyć te wszystkie nauki na rzeczywiste konteksty?"
W tej lekcji przyjrzymy się zastosowaniom data science w różnych branżach i zagłębimy się w konkretne przykłady z obszarów badań, humanistyki cyfrowej i zrównoważonego rozwoju. Omówimy również możliwości projektów studenckich i zakończymy przydatnymi zasobami, które pomogą Ci kontynuować naukę!
Quiz Przed Lekcją
Quiz przed lekcją
Data Science + Przemysł
Dzięki demokratyzacji AI, programistom jest teraz łatwiej projektować i integrować decyzje oparte na sztucznej inteligencji oraz wgląd w dane w doświadczenia użytkowników i procesy deweloperskie. Oto kilka przykładów, jak data science jest "stosowane" w rzeczywistych aplikacjach w przemyśle:
-
Google Flu Trends wykorzystało data science do korelacji wyszukiwanych haseł z trendami grypy. Choć podejście miało swoje wady, zwróciło uwagę na możliwości (i wyzwania) związane z predykcjami zdrowotnymi opartymi na danych.
-
UPS Routing Predictions - opisuje, jak UPS wykorzystuje data science i uczenie maszynowe do przewidywania optymalnych tras dostaw, uwzględniając warunki pogodowe, wzorce ruchu, terminy dostaw i inne czynniki.
-
NYC Taxicab Route Visualization - dane zebrane dzięki Freedom Of Information Laws pomogły zwizualizować dzień z życia nowojorskich taksówek, pokazując, jak poruszają się po zatłoczonym mieście, ile zarabiają i jak długo trwają ich kursy w ciągu 24 godzin.
-
Uber Data Science Workbench - wykorzystuje dane (o miejscach odbioru i wysiadania, czasie trwania podróży, preferowanych trasach itp.) zbierane codziennie z milionów przejazdów Ubera do budowy narzędzia analitycznego wspierającego wyceny, bezpieczeństwo, wykrywanie oszustw i decyzje nawigacyjne.
-
Analiza Sportowa - koncentruje się na analizie predykcyjnej (analiza drużyn i zawodników - np. Moneyball - oraz zarządzanie fanami) i wizualizacji danych (pulpity drużyn i fanów, gry itp.) z zastosowaniami takimi jak scouting talentów, zakłady sportowe i zarządzanie obiektami/wydarzeniami.
-
Data Science w Bankowości - podkreśla wartość data science w branży finansowej, z zastosowaniami od modelowania ryzyka i wykrywania oszustw, po segmentację klientów, predykcję w czasie rzeczywistym i systemy rekomendacyjne. Analiza predykcyjna napędza również kluczowe wskaźniki, takie jak oceny kredytowe.
-
Data Science w Ochronie Zdrowia - podkreśla zastosowania takie jak obrazowanie medyczne (np. MRI, RTG, tomografia komputerowa), genomika (sekwencjonowanie DNA), rozwój leków (ocena ryzyka, przewidywanie sukcesu), analiza predykcyjna (opieka nad pacjentem i logistyka dostaw), śledzenie i zapobieganie chorobom itp.
Źródło obrazu: Data Flair: 6 Amazing Data Science Applications
Rysunek pokazuje inne dziedziny i przykłady zastosowania technik data science. Chcesz odkryć inne zastosowania? Sprawdź sekcję Przegląd i Samodzielna Nauka poniżej.
Data Science + Badania
![]() |
---|
Data Science & Badania - Sketchnote autorstwa @nitya |
Podczas gdy rzeczywiste zastosowania często koncentrują się na przypadkach użycia w przemyśle na dużą skalę, zastosowania i projekty badawcze mogą być użyteczne z dwóch perspektyw:
- możliwości innowacji - eksploracja szybkiego prototypowania zaawansowanych koncepcji i testowanie doświadczeń użytkowników dla aplikacji przyszłości.
- wyzwania wdrożeniowe - badanie potencjalnych szkód lub niezamierzonych konsekwencji technologii data science w rzeczywistych kontekstach.
Dla studentów projekty badawcze mogą dostarczyć zarówno możliwości nauki, jak i współpracy, które poprawią zrozumienie tematu oraz poszerzą świadomość i zaangażowanie w pracę z odpowiednimi ludźmi lub zespołami w obszarach zainteresowań. Jak więc wyglądają projekty badawcze i jaki mogą mieć wpływ?
Przyjrzyjmy się jednemu przykładowi - MIT Gender Shades Study autorstwa Joy Buolamwini (MIT Media Labs) z kluczowym artykułem badawczym współautorstwa Timnit Gebru (wówczas w Microsoft Research), który koncentrował się na:
- Co: Celem projektu badawczego była ocena uprzedzeń obecnych w algorytmach i zbiorach danych do analizy twarzy w oparciu o płeć i typ skóry.
- Dlaczego: Analiza twarzy jest wykorzystywana w takich obszarach jak egzekwowanie prawa, bezpieczeństwo na lotniskach, systemy rekrutacyjne i inne - konteksty, w których błędne klasyfikacje (np. z powodu uprzedzeń) mogą powodować potencjalne szkody ekonomiczne i społeczne dla dotkniętych osób lub grup. Zrozumienie (i eliminacja lub łagodzenie) uprzedzeń jest kluczowe dla sprawiedliwego użytkowania.
- Jak: Badacze zauważyli, że istniejące benchmarki wykorzystywały głównie osoby o jaśniejszej karnacji, i stworzyli nowy zbiór danych (ponad 1000 obrazów), który był bardziej zrównoważony pod względem płci i typu skóry. Zbiór danych został wykorzystany do oceny dokładności trzech produktów do klasyfikacji płci (od Microsoft, IBM i Face++).
Wyniki pokazały, że choć ogólna dokładność klasyfikacji była dobra, zauważono znaczną różnicę w wskaźnikach błędów między różnymi podgrupami - z błędnym przypisaniem płci częściej występującym u kobiet lub osób o ciemniejszej karnacji, co wskazuje na uprzedzenia.
Kluczowe Wyniki: Zwrócono uwagę na to, że data science potrzebuje bardziej reprezentatywnych zbiorów danych (zrównoważone podgrupy) i bardziej inkluzji w zespołach (różnorodne tła), aby wcześniej rozpoznawać i eliminować lub łagodzić takie uprzedzenia w rozwiązaniach AI. Takie badania są również kluczowe dla wielu organizacji w definiowaniu zasad i praktyk dla odpowiedzialnej AI, aby poprawić sprawiedliwość w ich produktach i procesach AI.
Chcesz dowiedzieć się więcej o badaniach w Microsoft?
- Sprawdź Projekty Badawcze Microsoft w obszarze sztucznej inteligencji.
- Odkryj projekty studenckie z Microsoft Research Data Science Summer School.
- Sprawdź projekt Fairlearn i inicjatywy Responsible AI.
Data Science + Humanistyka
![]() |
---|
Data Science & Humanistyka Cyfrowa - Sketchnote autorstwa @nitya |
Humanistyka Cyfrowa została zdefiniowana jako "zbiór praktyk i podejść łączących metody obliczeniowe z badaniami humanistycznymi". Projekty Stanforda takie jak "rebooting history" i "poetic thinking" ilustrują powiązanie między Humanistyką Cyfrową a Data Science - podkreślając techniki takie jak analiza sieci, wizualizacja informacji, analiza przestrzenna i tekstowa, które mogą pomóc nam ponownie przeanalizować historyczne i literackie zbiory danych, aby uzyskać nowe wglądy i perspektywy.
Chcesz zbadać i rozwinąć projekt w tej dziedzinie?
Sprawdź "Emily Dickinson and the Meter of Mood" - świetny przykład od Jen Looper, który pyta, jak możemy wykorzystać data science, aby ponownie przeanalizować znaną poezję i zrewidować jej znaczenie oraz wkład autora w nowych kontekstach. Na przykład, czy możemy przewidzieć porę roku, w której wiersz został napisany, analizując jego ton lub nastrój - i co to mówi nam o stanie umysłu autora w danym okresie?
Aby odpowiedzieć na to pytanie, podążamy za krokami cyklu życia data science:
Pozyskiwanie Danych
- aby zebrać odpowiedni zbiór danych do analizy. Opcje obejmują korzystanie z API (np. Poetry DB API) lub skrobanie stron internetowych (np. Project Gutenberg) za pomocą narzędzi takich jak Scrapy.Czyszczenie Danych
- wyjaśnia, jak tekst może być formatowany, oczyszczany i upraszczany za pomocą podstawowych narzędzi, takich jak Visual Studio Code i Microsoft Excel.Analiza Danych
- wyjaśnia, jak możemy teraz zaimportować zbiór danych do "Notebooks" w celu analizy za pomocą pakietów Python (takich jak pandas, numpy i matplotlib) do organizacji i wizualizacji danych.Analiza Nastroju
- wyjaśnia, jak możemy zintegrować usługi chmurowe, takie jak Text Analytics, używając narzędzi niskokodowych, takich jak Power Automate do automatyzacji przepływów pracy związanych z przetwarzaniem danych.
Korzystając z tego przepływu pracy, możemy zbadać sezonowe wpływy na nastrój wierszy i pomóc nam wyrobić własne perspektywy na temat autora. Wypróbuj to sam - a następnie rozbuduj notebook, aby zadać inne pytania lub zwizualizować dane w nowy sposób!
Możesz użyć niektórych narzędzi z Digital Humanities toolkit, aby zgłębiać te kierunki badań.
Data Science + Zrównoważony Rozwój
![]() |
---|
Data Science & Zrównoważony Rozwój - Sketchnote autorstwa @nitya |
Agenda 2030 na rzecz Zrównoważonego Rozwoju - przyjęta przez wszystkich członków ONZ w 2015 roku - identyfikuje 17 celów, w tym te, które koncentrują się na Ochronie Planety przed degradacją i skutkami zmian klimatycznych. Inicjatywa Microsoft Sustainability wspiera te cele, badając, w jaki sposób rozwiązania technologiczne mogą wspierać i budować bardziej zrównoważoną przyszłość, koncentrując się na 4 celach - bycie neutralnym węglowo, dodatnim pod względem wody, bezodpadowym i bioróżnorodnym do 2030 roku.
Rozwiązywanie tych wyzwań w sposób skalowalny i terminowy wymaga myślenia na skalę chmury - i dużych zbiorów danych. Inicjatywa Planetary Computer oferuje 4 komponenty, które pomagają data scientistom i deweloperom w tym wysiłku:
-
Katalog Danych - z petabajtami danych o systemach Ziemi (darmowe i hostowane na Azure).
-
Planetary API - aby pomóc użytkownikom w wyszukiwaniu odpowiednich danych w przestrzeni i czasie.
-
Hub - zarządzane środowisko dla naukowców do przetwarzania ogromnych zbiorów danych geoprzestrzennych.
-
Aplikacje - prezentują przypadki użycia i narzędzia do uzyskiwania wglądu w zrównoważony rozwój. Projekt Planetary Computer jest obecnie w fazie podglądu (stan na wrzesień 2021) - oto jak możesz zacząć przyczyniać się do rozwiązań na rzecz zrównoważonego rozwoju, korzystając z nauki o danych.
-
Poproś o dostęp, aby rozpocząć eksplorację i nawiązać kontakt z innymi użytkownikami.
-
Przeglądaj dokumentację, aby zrozumieć obsługiwane zestawy danych i interfejsy API.
-
Odkrywaj aplikacje, takie jak Monitorowanie Ekosystemów, aby znaleźć inspirację do tworzenia własnych pomysłów na aplikacje.
Zastanów się, jak możesz wykorzystać wizualizację danych, aby ujawnić lub wzmocnić istotne spostrzeżenia w obszarach takich jak zmiany klimatyczne i wylesianie. Albo pomyśl, jak te spostrzeżenia mogą być wykorzystane do tworzenia nowych doświadczeń użytkownika, które motywują do zmiany zachowań na bardziej zrównoważone.
Nauka o danych + Studenci
Rozmawialiśmy o rzeczywistych zastosowaniach w przemyśle i badaniach oraz przyjrzeliśmy się przykładom zastosowań nauki o danych w humanistyce cyfrowej i zrównoważonym rozwoju. Jak więc możesz rozwijać swoje umiejętności i dzielić się swoją wiedzą jako początkujący w nauce o danych?
Oto kilka przykładów projektów studenckich z zakresu nauki o danych, które mogą Cię zainspirować.
- Letnia Szkoła Nauki o Danych MSR z projektami na GitHubie projects, które eksplorują tematy takie jak:
- Cyfryzacja kultury materialnej: Badanie rozkładów społeczno-ekonomicznych w Sirkap - projekt Ornelli Altunyan i zespołu z Claremont, wykorzystujący ArcGIS StoryMaps.
🚀 Wyzwanie
Poszukaj artykułów, które polecają projekty z zakresu nauki o danych przyjazne dla początkujących - na przykład te 50 obszarów tematycznych, te 21 pomysłów na projekty lub te 16 projektów z kodem źródłowym, które możesz rozłożyć na części i przerobić. Nie zapomnij również blogować o swoich doświadczeniach z nauki i dzielić się swoimi spostrzeżeniami z nami wszystkimi.
Quiz po wykładzie
Quiz po wykładzie
Przegląd i samodzielna nauka
Chcesz poznać więcej przypadków użycia? Oto kilka odpowiednich artykułów:
- 17 zastosowań i przykładów nauki o danych - lipiec 2021
- 11 zapierających dech w piersiach zastosowań nauki o danych w rzeczywistym świecie - maj 2021
- Nauka o danych w rzeczywistym świecie - kolekcja artykułów
- 12 rzeczywistych zastosowań nauki o danych z przykładami - maj 2024
- Nauka o danych w: Edukacji, Rolnictwie, Finansach, Filmach, Opiece zdrowotnej i innych.
Zadanie
Zbadaj zestaw danych Planetary Computer
Zastrzeżenie:
Ten dokument został przetłumaczony za pomocą usługi tłumaczenia AI Co-op Translator. Chociaż dokładamy wszelkich starań, aby tłumaczenie było precyzyjne, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego rodzimym języku powinien być uznawany za źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zaleca się skorzystanie z profesjonalnego tłumaczenia przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.