18 KiB
Data Science i Verkligheten
 |
|---|
| Data Science i Verkligheten - Sketchnote av @nitya |
Vi är nästan i mål med denna läranderesa!
Vi började med att definiera data science och etik, utforskade olika verktyg och tekniker för dataanalys och visualisering, gick igenom data science-livscykeln och tittade på hur man kan skala och automatisera data science-arbetsflöden med molntjänster. Så du kanske undrar: "Hur kan jag koppla allt detta till verkliga sammanhang?"
I denna lektion kommer vi att utforska verkliga tillämpningar av data science inom olika branscher och dyka ner i specifika exempel inom forskning, digital humaniora och hållbarhet. Vi kommer att titta på studentprojektmöjligheter och avsluta med användbara resurser för att hjälpa dig fortsätta din läranderesa!
Förhandsquiz
Förhandsquiz
Data Science + Industri
Tack vare AI:s demokratisering är det nu enklare för utvecklare att designa och integrera AI-drivna beslutsprocesser och datadrivna insikter i användarupplevelser och utvecklingsarbetsflöden. Här är några exempel på hur data science används i verkliga tillämpningar inom industrin:
-
Google Flu Trends använde data science för att korrelera söktermer med influensatrender. Även om metoden hade brister, väckte den medvetenhet om möjligheterna (och utmaningarna) med datadrivna hälsoprediktioner.
-
UPS Routing Predictions - förklarar hur UPS använder data science och maskininlärning för att förutsäga optimala leveransrutter, med hänsyn till väderförhållanden, trafikmönster, leveransdeadlines och mer.
-
NYC Taxicab Route Visualization - data insamlad med hjälp av Freedom Of Information Laws hjälpte till att visualisera en dag i livet för NYC-taxibilar, vilket gav insikter om hur de navigerar i den hektiska staden, hur mycket pengar de tjänar och hur lång tid resorna tar under en 24-timmarsperiod.
-
Uber Data Science Workbench - använder data (om upphämtnings- och avlämningsplatser, reslängd, föredragna rutter etc.) insamlad från miljontals Uber-resor dagligen för att bygga ett dataanalysverktyg som hjälper med prissättning, säkerhet, bedrägeridetektion och navigeringsbeslut.
-
Sports Analytics - fokuserar på prediktiv analys (lag- och spelaranalys - tänk Moneyball - och hantering av fans) och datavisualisering (lag- och fandashboards, spel etc.) med tillämpningar som talangscouting, sportspel och hantering av inventarier/arenor.
-
Data Science i Banksektorn - lyfter fram värdet av data science inom finansindustrin med tillämpningar som riskmodellering och bedrägeridetektion, kundsegmentering, realtidsprognoser och rekommendationssystem. Prediktiv analys driver också viktiga mått som kreditvärderingar.
-
Data Science inom Hälsovård - lyfter fram tillämpningar som medicinsk bildbehandling (t.ex. MRI, röntgen, CT-skanning), genomik (DNA-sekvensering), läkemedelsutveckling (riskbedömning, framgångsprognoser), prediktiv analys (patientvård och logistik), sjukdomsspårning och förebyggande åtgärder.
Bildkälla: Data Flair: 6 Amazing Data Science Applications
Figuren visar andra områden och exempel på hur data science-tekniker kan tillämpas. Vill du utforska fler tillämpningar? Kolla in Review & Self Study-avsnittet nedan.
Data Science + Forskning
 |
|---|
| Data Science & Forskning - Sketchnote av @nitya |
Medan verkliga tillämpningar ofta fokuserar på industriella användningsfall i stor skala, kan forskningsprojekt vara användbara ur två perspektiv:
- innovationsmöjligheter - utforska snabb prototypframtagning av avancerade koncept och testning av användarupplevelser för nästa generations applikationer.
- implementeringsutmaningar - undersök potentiella skador eller oavsiktliga konsekvenser av data science-teknologier i verkliga sammanhang.
För studenter kan dessa forskningsprojekt ge både lärande och samarbetsmöjligheter som förbättrar din förståelse för ämnet och breddar din medvetenhet och engagemang med relevanta personer eller team som arbetar inom intressanta områden. Så hur ser forskningsprojekt ut och hur kan de göra skillnad?
Låt oss titta på ett exempel - MIT Gender Shades Study av Joy Buolamwini (MIT Media Labs) med en signaturforskningsartikel medförfattad av Timnit Gebru (då vid Microsoft Research) som fokuserade på:
- Vad: Syftet med forskningsprojektet var att utvärdera bias i automatiserade algoritmer och dataset för ansiktsanalys baserat på kön och hudtyp.
- Varför: Ansiktsanalys används inom områden som brottsbekämpning, flygplatssäkerhet, rekryteringssystem och mer - sammanhang där felaktiga klassificeringar (t.ex. på grund av bias) kan orsaka ekonomiska och sociala skador för drabbade individer eller grupper. Att förstå (och eliminera eller mildra) bias är avgörande för rättvisa i användningen.
- Hur: Forskarna insåg att befintliga benchmarks huvudsakligen använde ljushyade personer och skapade ett nytt dataset (1000+ bilder) som var mer balanserat vad gäller kön och hudtyp. Datasetet användes för att utvärdera noggrannheten hos tre könsklassificeringsprodukter (från Microsoft, IBM & Face++).
Resultaten visade att även om den totala klassificeringsnoggrannheten var bra, fanns det en märkbar skillnad i felprocent mellan olika undergrupper - med felkönande som var högre för kvinnor eller personer med mörkare hudtyper, vilket indikerar bias.
Viktiga Resultat: Ökad medvetenhet om att data science behöver mer representativa dataset (balanserade undergrupper) och mer inkluderande team (mångsidiga bakgrunder) för att identifiera och eliminera eller mildra sådana bias tidigt i AI-lösningar. Forskningsinsatser som denna är också avgörande för att många organisationer ska kunna definiera principer och praxis för ansvarsfull AI för att förbättra rättvisa i sina AI-produkter och processer.
Vill du lära dig om relevanta forskningsinsatser på Microsoft?
- Kolla in Microsoft Research Projects inom artificiell intelligens.
- Utforska studentprojekt från Microsoft Research Data Science Summer School.
- Kolla in projektet Fairlearn och initiativen för Ansvarsfull AI.
Data Science + Humaniora
 |
|---|
| Data Science & Digital Humaniora - Sketchnote av @nitya |
Digital Humaniora har definierats som "en samling av metoder och tillvägagångssätt som kombinerar beräkningsmetoder med humanistisk forskning". Stanford-projekt som "rebooting history" och "poetic thinking" illustrerar kopplingen mellan Digital Humaniora och Data Science - med fokus på tekniker som nätverksanalys, informationsvisualisering, rumslig och textanalys som kan hjälpa oss att återbesöka historiska och litterära dataset för att få nya insikter och perspektiv.
Vill du utforska och utveckla ett projekt inom detta område?
Kolla in "Emily Dickinson and the Meter of Mood" - ett utmärkt exempel från Jen Looper som frågar hur vi kan använda data science för att återbesöka välkänd poesi och omvärdera dess betydelse och författarens bidrag i nya sammanhang. Till exempel, kan vi förutsäga vilken årstid en dikt skrevs genom att analysera dess ton eller känsla - och vad säger detta om författarens sinnestillstånd under den relevanta perioden?
För att besvara den frågan följer vi stegen i vår data science-livscykel:
Data Acquisition- för att samla in ett relevant dataset för analys. Alternativ inkluderar att använda ett API (t.ex. Poetry DB API) eller att skrapa webbsidor (t.ex. Project Gutenberg) med verktyg som Scrapy.Data Cleaning- förklarar hur text kan formateras, saneras och förenklas med grundläggande verktyg som Visual Studio Code och Microsoft Excel.Data Analysis- förklarar hur vi kan importera datasetet till "Notebooks" för analys med Python-paket (som pandas, numpy och matplotlib) för att organisera och visualisera data.Sentiment Analysis- förklarar hur vi kan integrera molntjänster som Text Analytics, med hjälp av lågkodverktyg som Power Automate för automatiserade databehandlingsarbetsflöden.
Med denna arbetsflöde kan vi utforska årstidernas påverkan på dikternas känslor och hjälpa oss att skapa våra egna perspektiv på författaren. Testa det själv - och utveckla sedan notebooken för att ställa andra frågor eller visualisera data på nya sätt!
Du kan använda några av verktygen i Digital Humanities toolkit för att utforska dessa forskningsvägar.
Data Science + Hållbarhet
 |
|---|
| Data Science & Hållbarhet - Sketchnote av @nitya |
Agenda 2030 för Hållbar Utveckling - antagen av alla FN-medlemmar 2015 - identifierar 17 mål, inklusive de som fokuserar på att Skydda Planeten från nedbrytning och klimatförändringarnas påverkan. Microsoft Sustainability-initiativet stödjer dessa mål genom att utforska hur teknologilösningar kan bidra till att bygga mer hållbara framtider med ett fokus på 4 mål - att vara koldioxidnegativa, vattenpositiva, noll avfall och biologiskt mångfaldiga till 2030.
Att hantera dessa utmaningar på ett skalbart och tidsenligt sätt kräver tänkande i molnskala - och stora mängder data. Planetary Computer-initiativet erbjuder 4 komponenter för att hjälpa dataforskare och utvecklare i detta arbete:
-
Data Catalog - med petabyte av data om jordens system (gratis och Azure-hostad).
-
Planetary API - för att hjälpa användare att söka efter relevant data över tid och rum.
-
Hub - en hanterad miljö för forskare att bearbeta massiva geospatiala dataset.
-
Applications - visar användningsfall och verktyg för insikter om hållbarhet. Planetary Computer-projektet är för närvarande i förhandsvisning (från och med september 2021) - här är hur du kan börja bidra till hållbara lösningar med hjälp av data science.
-
Begär åtkomst för att börja utforska och koppla samman med andra.
-
Utforska dokumentation för att förstå vilka dataset och API:er som stöds.
-
Utforska applikationer som Ecosystem Monitoring för inspiration till applikationsidéer.
Fundera på hur du kan använda datavisualisering för att avslöja eller förstärka relevanta insikter inom områden som klimatförändringar och avskogning. Eller fundera på hur insikter kan användas för att skapa nya användarupplevelser som motiverar beteendeförändringar för ett mer hållbart liv.
Data Science + Studenter
Vi har pratat om verkliga tillämpningar inom industrin och forskningen och utforskat exempel på data science-applikationer inom digital humaniora och hållbarhet. Så hur kan du bygga dina färdigheter och dela din expertis som nybörjare inom data science?
Här är några exempel på studentprojekt inom data science för att inspirera dig.
- MSR Data Science Summer School med GitHub projekt som utforskar ämnen som:
- Digitalisering av materiell kultur: Utforska socio-ekonomiska fördelningar i Sirkap - från Ornella Altunyan och teamet vid Claremont, med hjälp av ArcGIS StoryMaps.
🚀 Utmaning
Sök efter artiklar som rekommenderar data science-projekt som är nybörjarvänliga - som dessa 50 ämnesområden eller dessa 21 projektidéer eller dessa 16 projekt med källkod som du kan analysera och remix. Och glöm inte att blogga om dina läranderesor och dela dina insikter med oss alla.
Efterföreläsningsquiz
Efterföreläsningsquiz
Granskning & Självstudier
Vill du utforska fler användningsområden? Här är några relevanta artiklar:
- 17 Data Science-applikationer och exempel - juli 2021
- 11 Fantastiska Data Science-applikationer i verkliga världen - maj 2021
- Data Science i den verkliga världen - Artikelkollektion
- 12 Verkliga Data Science-applikationer med exempel - maj 2024
- Data Science inom: Utbildning, Jordbruk, Finans, Film, Hälsovård och mer.
Uppgift
Utforska ett Planetary Computer-dataset
Ansvarsfriskrivning:
Detta dokument har översatts med hjälp av AI-översättningstjänsten Co-op Translator. Även om vi strävar efter noggrannhet, bör det noteras att automatiserade översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess originalspråk bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för eventuella missförstånd eller feltolkningar som uppstår vid användning av denna översättning.