Data-Science-For-Beginners/translations/lt/6-Data-Science-In-Wild/20-Real-World-Examples

Duomenų mokslas realiame pasaulyje

Duomenų mokslas realiame pasaulyje - Sketchnote by @nitya

Mes beveik pasiekėme šios mokymosi kelionės pabaigą!

Pradėjome nuo duomenų mokslo ir etikos apibrėžimų, ištyrėme įvairius duomenų analizės ir vizualizacijos įrankius bei technikas, peržiūrėjome duomenų mokslo gyvavimo ciklą ir aptarėme, kaip mastelį ir automatizaciją galima pasiekti naudojant debesų kompiuterijos paslaugas. Taigi, tikriausiai klausiate: "Kaip tiksliai pritaikyti visus šiuos mokymus realiame pasaulyje?"

Šioje pamokoje nagrinėsime duomenų mokslo taikymą įvairiose pramonės srityse ir gilinsimės į konkrečius pavyzdžius, susijusius su tyrimais, skaitmeninėmis humanitarinėmis mokslų sritimis ir tvarumu. Aptarsime studentų projektų galimybes ir užbaigsime naudingais ištekliais, kurie padės tęsti mokymosi kelionę!

Prieš paskaitą: testas

Prieš paskaitą: testas

Duomenų mokslas + Pramonė

Dėl AI demokratizacijos kūrėjams dabar lengviau kurti ir integruoti AI pagrįstus sprendimus bei duomenimis pagrįstas įžvalgas į vartotojų patirtis ir kūrimo procesus. Štai keletas pavyzdžių, kaip duomenų mokslas "taikomas" realiame pasaulyje įvairiose pramonės srityse:

• Google Flu Trends naudojo duomenų mokslą, kad susietų paieškos terminus su gripo tendencijomis. Nors metodas turėjo trūkumų, jis atkreipė dėmesį į galimybes (ir iššūkius) prognozuojant sveikatos būklę remiantis duomenimis.

• UPS maršrutų prognozės - paaiškina, kaip UPS naudoja duomenų mokslą ir mašininį mokymąsi, kad numatytų optimaliausius pristatymo maršrutus, atsižvelgiant į oro sąlygas, eismo modelius, pristatymo terminus ir kt.

• NYC taksi maršrutų vizualizacija - duomenys, surinkti naudojant Informacijos laisvės įstatymus, padėjo vizualizuoti vieną dieną NYC taksi gyvenime, padėdami suprasti, kaip jie naviguoja užimtame mieste, kiek uždirba ir kiek trunka kelionės per 24 valandas.

• Uber duomenų mokslų darbo aplinka - naudoja duomenis (apie paėmimo ir išlaipinimo vietas, kelionės trukmę, pageidaujamus maršrutus ir kt.), surinktus iš milijonų Uber kelionių kasdien, kad sukurtų duomenų analizės įrankį, padedantį nustatyti kainas, saugumą, sukčiavimo aptikimą ir navigacijos sprendimus.

• Sporto analitika - orientuojasi į prognozavimo analitiką (komandų ir žaidėjų analizė - pagalvokite apie Moneyball - ir fanų valdymą) bei duomenų vizualizaciją (komandų ir fanų prietaisų skydeliai, žaidimai ir kt.) su taikymu, kaip talentų paieška, sporto lažybos ir inventoriaus/vietos valdymas.

• Duomenų mokslas bankininkystėje - pabrėžia duomenų mokslo vertę finansų pramonėje, taikant rizikos modeliavimą, sukčiavimo aptikimą, klientų segmentavimą, realaus laiko prognozes ir rekomendacijų sistemas. Prognozavimo analitika taip pat skatina svarbias priemones, tokias kaip kredito balai.

• Duomenų mokslas sveikatos apsaugoje - pabrėžia taikymą, kaip medicininiai vaizdai (pvz., MRT, rentgenas, CT-skenavimas), genomika (DNR sekos nustatymas), vaistų kūrimas (rizikos vertinimas, sėkmės prognozė), prognozavimo analitika (pacientų priežiūra ir tiekimo logistika), ligų stebėjimas ir prevencija ir kt.

Vaizdo kreditas: Data Flair: 6 Amazing Data Science Applications

Paveikslėlyje parodytos kitos sritys ir pavyzdžiai, kaip taikyti duomenų mokslo technikas. Norite tyrinėti kitus taikymus? Peržiūrėkite Peržiūra ir savarankiškas mokymasis skyrių žemiau.

Duomenų mokslas + Tyrimai

Duomenų mokslas ir tyrimai - Sketchnote by @nitya

Nors realaus pasaulio taikymas dažnai orientuojasi į pramonės naudojimo atvejus dideliu mastu, tyrimų taikymas ir projektai gali būti naudingi iš dviejų perspektyvų:

• inovacijų galimybės - greitas pažangių koncepcijų prototipų kūrimas ir vartotojų patirties testavimas naujos kartos taikymams.
• diegimo iššūkiai - galimų žalingų ar netikėtų duomenų mokslo technologijų pasekmių tyrimas realiame pasaulyje.

Studentams šie tyrimų projektai gali suteikti mokymosi ir bendradarbiavimo galimybių, kurios pagerins jūsų supratimą apie temą ir praplės jūsų sąmoningumą bei įsitraukimą su atitinkamais žmonėmis ar komandomis, dirbančiomis jus dominančiose srityse. Taigi, kaip atrodo tyrimų projektai ir kaip jie gali turėti įtakos?

Pažvelkime į vieną pavyzdį - MIT Gender Shades Study iš Joy Buolamwini (MIT Media Labs) su reikšmingu tyrimo straipsniu, bendraautoriu Timnit Gebru (tuomet Microsoft Research), kuris orientavosi į:

• Kas: Tyrimo projekto tikslas buvo įvertinti šališkumą automatizuotų veido analizės algoritmų ir duomenų rinkinių pagrindu pagal lytį ir odos tipą.
• Kodėl: Veido analizė naudojama tokiose srityse kaip teisėsauga, oro uostų saugumas, įdarbinimo sistemos ir kt. - kontekstuose, kur netikslūs klasifikavimai (pvz., dėl šališkumo) gali sukelti ekonominę ir socialinę žalą paveiktiems asmenims ar grupėms. Šališkumo supratimas (ir jo pašalinimas arba mažinimas) yra raktas į teisingumą naudojime.
• Kaip: Tyrėjai pastebėjo, kad esami etalonai daugiausia naudojo šviesesnės odos subjektus, ir sukūrė naują duomenų rinkinį (1000+ vaizdų), kuris buvo labiau subalansuotas pagal lytį ir odos tipą. Duomenų rinkinys buvo naudojamas trijų lyties klasifikavimo produktų (Microsoft, IBM ir Face++) tikslumui įvertinti.

Rezultatai parodė, kad nors bendras klasifikavimo tikslumas buvo geras, buvo pastebimas skirtumas klaidų rodikliuose tarp įvairių pogrupių - su neteisingu lyties priskyrimu, kuris buvo didesnis moterims arba tamsesnės odos tipų asmenims, rodantis šališkumą.

Pagrindiniai rezultatai: Atkreiptas dėmesys, kad duomenų mokslui reikia daugiau reprezentatyvių duomenų rinkinių (subalansuotų pogrupių) ir daugiau įtraukiančių komandų (įvairių kilmės), kad būtų galima anksčiau atpažinti ir pašalinti arba sumažinti tokį šališkumą AI sprendimuose. Tokie tyrimų pastangos taip pat yra svarbios daugeliui organizacijų, apibrėžiančių principus ir praktikas atsakingam AI, siekiant pagerinti teisingumą jų AI produktuose ir procesuose.

Norite sužinoti apie atitinkamus tyrimų pastangas Microsoft?

• Peržiūrėkite Microsoft tyrimų projektus apie dirbtinį intelektą.
• Tyrinėkite studentų projektus iš Microsoft Research Data Science Summer School.
• Peržiūrėkite Fairlearn projektą ir Atsakingo AI iniciatyvas.

Duomenų mokslas + Humanitariniai mokslai

Duomenų mokslas ir skaitmeniniai humanitariniai mokslai - Sketchnote by @nitya

Skaitmeniniai humanitariniai mokslai apibrėžiami kaip "praktikų ir metodų rinkinys, derinantis skaičiavimo metodus su humanitariniais tyrimais". Stanfordo projektai, tokie kaip "istorijos perkrovimas" ir "poetinis mąstymas", iliustruoja ryšį tarp Skaitmeninių humanitarinių mokslų ir duomenų mokslo - pabrėžiant technikas, tokias kaip tinklo analizė, informacijos vizualizacija, erdvinė ir teksto analizė, kurios gali padėti mums iš naujo peržiūrėti istorinius ir literatūrinius duomenų rinkinius, kad gautume naujų įžvalgų ir perspektyvų.

Norite tyrinėti ir plėsti projektą šioje srityje?

Peržiūrėkite "Emily Dickinson ir nuotaikos metras" - puikus pavyzdys iš Jen Looper, kuris klausia, kaip galime naudoti duomenų mokslą, kad iš naujo peržiūrėtume pažįstamą poeziją ir įvertintume jos prasmę bei autoriaus indėlį naujame kontekste. Pavyzdžiui, ar galime prognozuoti sezoną, kuriame buvo sukurtas eilėraštis, analizuodami jo toną ar nuotaiką - ir ką tai pasakoja apie autoriaus būseną per atitinkamą laikotarpį?

Norėdami atsakyti į šį klausimą, sekame duomenų mokslo gyvavimo ciklo žingsnius:

• Duomenų gavimas - surinkti tinkamą duomenų rinkinį analizei. Galimybės apima API naudojimą (pvz., Poetry DB API) arba tinklalapių nuskaitymą (pvz., Project Gutenberg) naudojant įrankius, tokius kaip Scrapy.
• Duomenų valymas - paaiškina, kaip tekstas gali būti formatuojamas, valomas ir supaprastinamas naudojant pagrindinius įrankius, tokius kaip Visual Studio Code ir Microsoft Excel.
• Duomenų analizė - paaiškina, kaip galime importuoti duomenų rinkinį į "Notebooks" analizei naudojant Python paketus (pvz., pandas, numpy ir matplotlib), kad organizuotume ir vizualizuotume duomenis.
• Nuotaikos analizė - paaiškina, kaip galime integruoti debesų paslaugas, tokias kaip Teksto analizė, naudojant mažo kodo įrankius, tokius kaip Power Automate automatizuotoms duomenų apdorojimo darbo eigoms.

Naudodami šį darbo eigą, galime tyrinėti sezoninius poveikius eilėraščių nuotaikai ir padėti mums suformuoti savo perspektyvas apie autorių. Išbandykite patys - tada išplėskite užrašų knygelę, kad užduotumėte kitus klausimus arba vizualizuotumėte duomenis naujais būdais!

Galite naudoti kai kuriuos įrankius iš Skaitmeninių humanitarinių mokslų įrankių rinkinio, kad tęstumėte šias tyrimų kryptis.

Duomenų mokslas + Tvarumas

Duomenų mokslas ir tvarumas - Sketchnote by @nitya

2030 m. Darbotvarkė tvariam vystymuisi - priimta visų Jungtinių Tautų narių 2015 m. - nustato 17 tikslų, įskaitant tuos, kurie orientuojasi į planetos apsaugą nuo degradacijos ir klimato kaitos poveikio. Microsoft tvarumo iniciatyva remia šiuos tikslus, tyrinėdama, kaip technologiniai sprendimai gali padėti kurti tvaresnę ateitį, orientuojantis į 4 tikslus - būti anglies neigiamais, vandens teigiamais, be atliekų ir bioįvairiais iki 2030 m.

Šių iššūkių sprendimas masteliu ir laiku reikalauja debes Planetary Computer projektas šiuo metu yra peržiūros stadijoje (nuo 2021 m. rugsėjo) - štai kaip galite pradėti prisidėti prie tvarumo sprendimų naudodami duomenų mokslą.

• Prašyti prieigos, kad galėtumėte pradėti tyrinėti ir bendrauti su kolegomis.
• Naršyti dokumentaciją, kad suprastumėte palaikomus duomenų rinkinius ir API.
• Naršykite tokias programas kaip Ekosistemos stebėjimas, kad gautumėte idėjų programų kūrimui.

Pagalvokite, kaip galite naudoti duomenų vizualizaciją, kad atskleistumėte ar sustiprintumėte svarbias įžvalgas tokiose srityse kaip klimato kaita ir miškų naikinimas. Arba apsvarstykite, kaip įžvalgos gali būti panaudotos kuriant naujas vartotojų patirtis, kurios motyvuotų elgesio pokyčius siekiant tvaresnio gyvenimo.

Duomenų mokslas + studentai

Mes kalbėjome apie realaus pasaulio pritaikymą pramonėje ir tyrimuose, taip pat nagrinėjome duomenų mokslo taikymo pavyzdžius skaitmeninėse humanitarinėse mokslų srityse ir tvarume. Taigi, kaip galite ugdyti savo įgūdžius ir dalintis savo žiniomis kaip pradedantieji duomenų mokslo srityje?

Štai keletas duomenų mokslo studentų projektų pavyzdžių, kurie gali jus įkvėpti:

• MSR Duomenų mokslo vasaros mokykla su GitHub projektais, nagrinėjančiais tokias temas kaip:
  • Rasinis šališkumas policijos jėgos naudojime | Github
  • Niujorko metro sistemos patikimumas | Github
• Materialinės kultūros skaitmeninimas: socioekonominių pasiskirstymų tyrimas Sirkape - nuo Ornella Altunyan ir komandos Claremont, naudojant ArcGIS StoryMaps.

🚀 Iššūkis

Ieškokite straipsnių, kurie rekomenduoja pradedantiesiems tinkamus duomenų mokslo projektus - pavyzdžiui, šios 50 temų arba šios 21 projekto idėjos arba šie 16 projektų su šaltinio kodu, kuriuos galite išskaidyti ir perkurti. Nepamirškite rašyti tinklaraščio apie savo mokymosi keliones ir dalintis savo įžvalgomis su visais.

Po paskaitos viktorina

Po paskaitos viktorina

Apžvalga ir savarankiškas mokymasis

Norite tyrinėti daugiau pritaikymo atvejų? Štai keletas susijusių straipsnių:

• 17 duomenų mokslo pritaikymo pavyzdžių - 2021 m. liepa
• 11 stulbinančių duomenų mokslo pritaikymo realiame pasaulyje - 2021 m. gegužė
• Duomenų mokslas realiame pasaulyje - straipsnių kolekcija
• Duomenų mokslas: Švietime, Žemės ūkyje, Finansuose, Filmuose ir daugiau.

Užduotis

Naršykite Planetary Computer duomenų rinkinį

---

Atsakomybės apribojimas:
Šis dokumentas buvo išverstas naudojant AI vertimo paslaugą Co-op Translator. Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama profesionali žmogaus vertimo paslauga. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus interpretavimus, atsiradusius naudojant šį vertimą.