leestott
264ebcc9fd
|
5 months ago | |
|---|---|---|
| .. | ||
| README.md | 5 months ago | |
| assignment.md | 5 months ago | |
README.md
Data Science i den Virkelige Verden
 |
|---|
| Data Science i den Virkelige Verden - Sketchnote av @nitya |
Vi nærmer oss slutten av denne læringsreisen!
Vi startet med definisjoner av data science og etikk, utforsket ulike verktøy og teknikker for dataanalyse og visualisering, gjennomgikk livssyklusen for data science, og så på hvordan man kan skalere og automatisere arbeidsflyter for data science med skytjenester. Så du lurer kanskje: "Hvordan kan jeg egentlig koble alt dette til virkelige sammenhenger?"
I denne leksjonen skal vi utforske virkelige anvendelser av data science på tvers av bransjer og dykke ned i spesifikke eksempler innen forskning, digitale humaniora og bærekraft. Vi skal også se på studentprosjektmuligheter og avslutte med nyttige ressurser som kan hjelpe deg med å fortsette læringsreisen din!
Quiz før forelesning
Quiz før forelesning
Data Science + Industri
Takket være demokratiseringen av AI, finner utviklere det nå enklere å designe og integrere AI-drevne beslutningsprosesser og datadrevne innsikter i brukeropplevelser og utviklingsarbeidsflyter. Her er noen eksempler på hvordan data science "brukes" i virkelige applikasjoner på tvers av bransjer:
-
Google Flu Trends brukte data science for å korrelere søketermer med influensatrender. Selv om tilnærmingen hadde svakheter, skapte den bevissthet om mulighetene (og utfordringene) ved datadrevne helseprediksjoner.
-
UPS Routing Predictions - forklarer hvordan UPS bruker data science og maskinlæring for å forutsi optimale leveringsruter, med hensyn til værforhold, trafikkmønstre, leveringsfrister og mer.
-
NYC Taxicab Route Visualization - data samlet inn ved hjelp av Freedom Of Information Laws bidro til å visualisere en dag i livet til NYC-taxier, og hjalp oss med å forstå hvordan de navigerer i den travle byen, hvor mye de tjener, og varigheten av turer over en 24-timers periode.
-
Uber Data Science Workbench - bruker data (om hente- og leveringssteder, turvarighet, foretrukne ruter osv.) samlet fra millioner av Uber-turer daglig for å bygge et dataanalytisk verktøy som hjelper med prissetting, sikkerhet, svindeldeteksjon og navigasjonsbeslutninger.
-
Sports Analytics - fokuserer på prediktiv analyse (lag- og spilleranalyse - tenk Moneyball - og fanhåndtering) og datavisualisering (lag- og fandashboards, spill osv.) med applikasjoner som talentspeiding, sportsbetting og inventar-/arenaadministrasjon.
-
Data Science i Banksektoren - fremhever verdien av data science i finansindustrien med applikasjoner som risikomodellering og svindeldeteksjon, kundesegmentering, sanntidsprediksjon og anbefalingssystemer. Prediktiv analyse driver også kritiske tiltak som kredittscore.
-
Data Science i Helsevesenet - fremhever applikasjoner som medisinsk bildediagnostikk (f.eks. MR, røntgen, CT-skanning), genomikk (DNA-sekvensering), legemiddelutvikling (risikovurdering, suksessprediksjon), prediktiv analyse (pasientbehandling og logistikk), sykdomssporing og forebygging.
Bildekreditt: Data Flair: 6 Amazing Data Science Applications
Figuren viser andre domener og eksempler på bruk av data science-teknikker. Vil du utforske andre applikasjoner? Sjekk ut Gjennomgang og Selvstudium-seksjonen nedenfor.
Data Science + Forskning
 |
|---|
| Data Science & Forskning - Sketchnote av @nitya |
Mens virkelige applikasjoner ofte fokuserer på bruksområder i industrien i stor skala, kan forskningsapplikasjoner og prosjekter være nyttige fra to perspektiver:
- innovasjonsmuligheter - utforske rask prototyping av avanserte konsepter og testing av brukeropplevelser for neste generasjons applikasjoner.
- utfordringer ved implementering - undersøke potensielle skader eller utilsiktede konsekvenser av data science-teknologier i virkelige sammenhenger.
For studenter kan disse forskningsprosjektene gi både lærings- og samarbeidsmuligheter som kan forbedre forståelsen av emnet og utvide bevisstheten og engasjementet med relevante personer eller team som jobber innen interesseområder. Hvordan ser forskningsprosjekter ut, og hvordan kan de ha en innvirkning?
La oss se på ett eksempel - MIT Gender Shades Study av Joy Buolamwini (MIT Media Labs) med en signaturforskningsartikkel medforfattet av Timnit Gebru (den gang ved Microsoft Research) som fokuserte på:
- Hva: Målet med forskningsprosjektet var å evaluere skjevheter i automatiserte ansiktsanalysealgoritmer og datasett basert på kjønn og hudtype.
- Hvorfor: Ansiktsanalyse brukes i områder som rettshåndhevelse, flyplassikkerhet, ansettelsessystemer og mer - sammenhenger der unøyaktige klassifiseringer (f.eks. på grunn av skjevheter) kan forårsake økonomiske og sosiale skader for berørte individer eller grupper. Å forstå (og eliminere eller redusere) skjevheter er nøkkelen til rettferdighet i bruk.
- Hvordan: Forskerne oppdaget at eksisterende referansedata hovedsakelig brukte personer med lysere hud, og kuraterte et nytt datasett (1000+ bilder) som var mer balansert med hensyn til kjønn og hudtype. Datasettet ble brukt til å evaluere nøyaktigheten til tre kjønnsklassifiseringsprodukter (fra Microsoft, IBM og Face++).
Resultatene viste at selv om den generelle klassifiseringsnøyaktigheten var god, var det en merkbar forskjell i feilrater mellom ulike undergrupper - med feilkjønning som var høyere for kvinner eller personer med mørkere hudtyper, noe som indikerte skjevheter.
Viktige Resultater: Økt bevissthet om at data science trenger mer representative datasett (balanserte undergrupper) og mer inkluderende team (mangfoldige bakgrunner) for å oppdage og eliminere eller redusere slike skjevheter tidligere i AI-løsninger. Forskningsinnsatser som dette er også avgjørende for at mange organisasjoner kan definere prinsipper og praksiser for ansvarlig AI for å forbedre rettferdighet i deres AI-produkter og prosesser.
Vil du lære om relevante forskningsinnsatser hos Microsoft?
- Sjekk ut Microsoft Research Projects innen kunstig intelligens.
- Utforsk studentprosjekter fra Microsoft Research Data Science Summer School.
- Sjekk ut Fairlearn-prosjektet og Ansvarlig AI-initiativene.
Data Science + Humaniora
 |
|---|
| Data Science & Digitale Humaniora - Sketchnote av @nitya |
Digitale Humaniora er definert som "en samling av praksiser og tilnærminger som kombinerer beregningsmetoder med humanistisk undersøkelse". Stanford-prosjekter som "rebooting history" og "poetic thinking" illustrerer koblingen mellom Digitale Humaniora og Data Science - med vekt på teknikker som nettverksanalyse, informasjonsvisualisering, romlig og tekstanalyse som kan hjelpe oss med å gjenbesøke historiske og litterære datasett for å utlede nye innsikter og perspektiver.
Vil du utforske og utvide et prosjekt innen dette området?
Sjekk ut "Emily Dickinson and the Meter of Mood" - et flott eksempel fra Jen Looper som spør hvordan vi kan bruke data science til å gjenbesøke kjent poesi og revurdere dens betydning og bidragene fra forfatteren i nye sammenhenger. For eksempel, kan vi forutsi hvilken årstid et dikt ble skrevet i ved å analysere tonen eller sentimentet - og hva forteller dette oss om forfatterens sinnstilstand i den aktuelle perioden?
For å svare på det spørsmålet følger vi trinnene i livssyklusen for data science:
Dataanskaffelse- for å samle inn et relevant datasett for analyse. Alternativer inkluderer bruk av en API (f.eks. Poetry DB API) eller skraping av nettsider (f.eks. Project Gutenberg) ved hjelp av verktøy som Scrapy.Datavask- forklarer hvordan tekst kan formateres, renses og forenkles ved hjelp av grunnleggende verktøy som Visual Studio Code og Microsoft Excel.Dataanalyse- forklarer hvordan vi nå kan importere datasettet til "Notebooks" for analyse ved hjelp av Python-pakker (som pandas, numpy og matplotlib) for å organisere og visualisere dataene.Sentimentanalyse- forklarer hvordan vi kan integrere skytjenester som Text Analytics, ved hjelp av lavkodeverktøy som Power Automate for automatiserte databehandlingsarbeidsflyter.
Ved å bruke denne arbeidsflyten kan vi utforske sesongmessige påvirkninger på sentimentet i diktene og hjelpe oss med å forme våre egne perspektiver på forfatteren. Prøv det selv - og utvid deretter notatboken for å stille andre spørsmål eller visualisere dataene på nye måter!
Du kan bruke noen av verktøyene i Digital Humanities Toolkit for å forfølge disse undersøkelsene.
Data Science + Bærekraft
 |
|---|
| Data Science & Bærekraft - Sketchnote av @nitya |
2030 Agenda for Bærekraftig Utvikling - vedtatt av alle FN-medlemmer i 2015 - identifiserer 17 mål, inkludert mål som fokuserer på å beskytte planeten mot degradering og virkningen av klimaendringer. Microsoft Sustainability-initiativet støtter disse målene ved å utforske måter teknologiløsninger kan støtte og bygge mer bærekraftige fremtider med et fokus på 4 mål - å være karbonnegative, vannpositive, null avfall og biologisk mangfoldige innen 2030.
Å takle disse utfordringene på en skalerbar og tidsriktig måte krever tenkning i skyskala - og store mengder data. Planetary Computer-initiativet gir 4 komponenter for å hjelpe dataforskere og utviklere i denne innsatsen:
-
Data Catalog - med petabyte av data om jordens systemer (gratis og Azure-hostet).
-
Planetary API - for å hjelpe brukere med å søke etter relevante data på tvers av rom og tid.
-
Hub - et administrert miljø for forskere til å behandle massive geospatiale datasett.
-
Applikasjoner - viser bruksområder og verktøy for bærekraftige innsikter. Planetary Computer-prosjektet er for øyeblikket i forhåndsvisning (per september 2021) – her er hvordan du kan komme i gang med å bidra til bærekraftige løsninger ved hjelp av dataanalyse.
-
Be om tilgang for å starte utforskningen og koble deg til andre.
-
Utforsk dokumentasjonen for å forstå hvilke datasett og API-er som støttes.
-
Utforsk applikasjoner som Ecosystem Monitoring for inspirasjon til applikasjonsideer.
Tenk på hvordan du kan bruke datavisualisering for å avdekke eller forsterke relevante innsikter innen områder som klimaendringer og avskoging. Eller vurder hvordan innsikter kan brukes til å skape nye brukeropplevelser som motiverer til atferdsendringer for et mer bærekraftig liv.
Dataanalyse + Studenter
Vi har snakket om virkelige applikasjoner i industrien og forskningen, og utforsket eksempler på dataanalyseapplikasjoner innen digital humaniora og bærekraft. Så hvordan kan du bygge ferdighetene dine og dele ekspertisen din som nybegynner innen dataanalyse?
Her er noen eksempler på studentprosjekter innen dataanalyse for å inspirere deg.
- MSR Data Science Summer School med GitHub prosjekter som utforsker temaer som:
- Digitalisering av materiell kultur: Utforsking av sosioøkonomiske fordelinger i Sirkap – fra Ornella Altunyan og teamet ved Claremont, ved bruk av ArcGIS StoryMaps.
🚀 Utfordring
Søk etter artikler som anbefaler nybegynnervennlige dataanalyseprosjekter – som disse 50 temaområdene eller disse 21 prosjektideene eller disse 16 prosjektene med kildekode som du kan dekonstruere og remikse. Og ikke glem å blogge om læringsreisen din og dele innsiktene dine med oss alle.
Quiz etter forelesning
Quiz etter forelesning
Gjennomgang og selvstudium
Vil du utforske flere bruksområder? Her er noen relevante artikler:
- 17 Data Science Applications and Examples – juli 2021
- 11 Breathtaking Data Science Applications in Real World – mai 2021
- Data Science In The Real World – Artikkelsamling
- Dataanalyse innen: Utdanning, Landbruk, Finans, Film og mer.
Oppgave
Utforsk et Planetary Computer-datasett
Ansvarsfraskrivelse:
Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten Co-op Translator. Selv om vi tilstreber nøyaktighet, vennligst vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.