msb-public
/
Data-Science-For-Beginners
mirror of https://github.com/microsoft/Data-Science-For-Beginners.git
1
0
Code Issues Projects Releases Wiki Activity
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'cd575a82b7'
${ noResults }
Data-Science-For-Beginners/translations/et/6-Data-Science-In-Wild/20-Real-World-Examples
History
localizeflow[bot] 002600ec7c
chore(i18n): sync translations with latest source changes (chunk 1/8, 1000 changes) 		2 weeks ago
..
README.md chore(i18n): sync translations with latest source changes (chunk 1/8, 1000 changes) 2 weeks ago
assignment.md chore(i18n): sync translations with latest source changes (chunk 1/8, 1000 changes) 2 weeks ago

README.md

Andmeteadus päriselus

Sketchnote by (@sketchthedocs)
Andmeteadus päriselus - Sketchnote by @nitya

Meie õppekäik on peaaegu lõppenud!

Alustasime andmeteaduse ja eetika definitsioonidest, uurisime erinevaid tööriistu ja tehnikaid andmeanalüüsiks ja visualiseerimiseks, vaatasime üle andmeteaduse elutsükli ning uurisime, kuidas pilveteenuste abil andmeteaduse töövooge skaleerida ja automatiseerida. Nüüd võite mõelda: "Kuidas ma saan kõik need teadmised päriselu kontekstidesse rakendada?"

Selles õppetükis uurime andmeteaduse rakendusi tööstuses ja süveneme konkreetsetesse näidetesse teadusuuringute, digitaalse humanitaarteaduse ja jätkusuutlikkuse valdkondades. Vaatame õpilasprojektide võimalusi ja lõpetame kasulike ressurssidega, mis aitavad teil oma õppekäiku jätkata!

Loengu-eelne viktoriin

Loengu-eelne viktoriin

Andmeteadus + Tööstus

Tänu tehisintellekti demokratiseerimisele on arendajatel nüüd lihtsam kujundada ja integreerida tehisintellekti juhitud otsuste tegemist ja andmepõhiseid teadmisi kasutajakogemustesse ja arendusprotsessidesse. Siin on mõned näited, kuidas andmeteadust rakendatakse päriselu tööstusvaldkondades:

  • Google Flu Trends kasutas andmeteadust, et korreleerida otsingutermineid gripitrendidega. Kuigi lähenemisel oli puudusi, tõstis see teadlikkust andmepõhiste terviseprognooside võimalustest (ja väljakutsetest).

  • UPS marsruutide prognoosid - selgitab, kuidas UPS kasutab andmeteadust ja masinõpet, et prognoosida optimaalseid tarne marsruute, arvestades ilmastikutingimusi, liiklusmustreid, tarne tähtaegu ja muud.

  • NYC taksoteekonna visualiseerimine - andmed, mis koguti avaliku teabe seaduste abil, aitasid visualiseerida ühe päeva NYC taksode elust, aidates mõista, kuidas nad liiguvad läbi tiheda linna, kui palju nad teenivad ja kui kaua kestavad reisid 24-tunnise perioodi jooksul.

  • Uber Data Science Workbench - kasutab andmeid (pealevõtmise ja mahapaneku asukohad, reisi kestus, eelistatud marsruudid jne), mis kogutakse igapäevaselt miljonitest Uberi reisidest, et luua andmeanalüüsi tööriist, mis aitab hinnakujunduses, turvalisuses, pettuste tuvastamises ja navigeerimisotsustes.

  • Spordianalüütika - keskendub ennustavale analüütikale (meeskonna ja mängija analüüs - mõelge Moneyball - ja fännide haldamine) ning andmete visualiseerimisele (meeskonna ja fännide armatuurlauad, mängud jne) rakendustega nagu talendiskautimine, spordikihlveod ja inventari/kohtade haldamine.

  • Andmeteadus panganduses - toob esile andmeteaduse väärtuse finantssektoris rakendustega, mis ulatuvad riskimudelitest ja pettuste tuvastamisest kuni kliendisegmentatsiooni, reaalajas prognooside ja soovitussüsteemideni. Ennustav analüütika juhib ka kriitilisi meetmeid nagu krediidiskoorid.

  • Andmeteadus tervishoius - toob esile rakendusi nagu meditsiiniline pildistamine (nt MRI, röntgen, CT-skaneerimine), genoomika (DNA järjestamine), ravimite arendamine (riskihindamine, edu prognoosimine), ennustav analüütika (patsiendihooldus ja tarne logistika), haiguste jälgimine ja ennetamine jne.

Andmeteaduse rakendused päriselus Pildi krediit: Data Flair: 6 Amazing Data Science Applications

Joonis näitab teisi valdkondi ja näiteid andmeteaduse tehnikate rakendamiseks. Kas soovite uurida teisi rakendusi? Vaadake Ülevaade ja iseseisev õpe sektsiooni allpool.

Andmeteadus + Teadusuuringud

Sketchnote by (@sketchthedocs)
Andmeteadus ja teadusuuringud - Sketchnote by @nitya

Kuigi päriselu rakendused keskenduvad sageli tööstuse kasutusjuhtudele suurel skaalal, võivad teadusuuringute rakendused ja projektid olla kasulikud kahest vaatenurgast:

  • innovatsioonivõimalused - uurida arenenud kontseptsioonide kiiret prototüüpimist ja kasutajakogemuste testimist järgmise põlvkonna rakenduste jaoks.
  • rakendamise väljakutsed - uurida andmeteaduse tehnoloogiate võimalikke kahjusid või soovimatuid tagajärgi päriselu kontekstides.

Õpilaste jaoks võivad need teadusprojektid pakkuda nii õppimis- kui koostöövõimalusi, mis parandavad teie arusaamist teemast ja laiendavad teie teadlikkust ja kaasatust asjakohaste inimeste või meeskondadega, kes töötavad huvipakkuvates valdkondades. Millised teadusprojektid välja näevad ja kuidas nad võivad mõju avaldada?

Vaatame ühte näidet - MIT Gender Shades Study Joy Buolamwini (MIT Media Labs) poolt koos märkimisväärse teadusartikliga, mille kaasautoriks oli Timnit Gebru (tol ajal Microsoft Researchis), mis keskendus:

  • Mis: Teadusprojekti eesmärk oli hinnata automaatsete näoanalyüsi algoritmide ja andmekogumite kallutatust soo ja nahatüübi alusel.
  • Miks: Näoanalyüsi kasutatakse valdkondades nagu õiguskaitse, lennujaama turvalisus, värbamissüsteemid ja palju muud - kontekstides, kus ebatäpsed klassifikatsioonid (nt kallutatuse tõttu) võivad põhjustada majanduslikke ja sotsiaalseid kahjusid mõjutatud isikutele või rühmadele. Kallutatuse mõistmine (ja selle kõrvaldamine või leevendamine) on kasutamise õiglusel oluline.
  • Kuidas: Teadlased tunnistasid, et olemasolevad võrdlusalused kasutasid peamiselt heledanahalisi subjekte ja koostasid uue andmekogumi (1000+ pilti), mis oli tasakaalustatum soo ja nahatüübi järgi. Andmekogumit kasutati kolme soolise klassifikatsiooni toote (Microsoft, IBM ja Face++) täpsuse hindamiseks.

Tulemused näitasid, et kuigi üldine klassifikatsiooni täpsus oli hea, oli märgatav erinevus veamäärades erinevate alarühmade vahel - valesti määramine oli kõrgem naiste või tumedama nahatüübiga isikute puhul, mis viitas kallutatusele.

Peamised tulemused: Tõsteti teadlikkust, et andmeteadus vajab rohkem esinduslikke andmekogumeid (tasakaalustatud alarühmad) ja rohkem kaasavaid meeskondi (mitmekesised taustad), et tuvastada ja kõrvaldada või leevendada selliseid kallutatusi varakult tehisintellekti lahendustes. Sellised teadusuuringud on samuti olulised paljudele organisatsioonidele, et määratleda põhimõtteid ja tavasid vastutustundliku tehisintellekti jaoks, et parandada õiglust nende tehisintellekti toodetes ja protsessides.

Kas soovite õppida Microsofti asjakohaste teadusuuringute kohta?

Andmeteadus + Humanitaarteadused

Sketchnote by (@sketchthedocs)
Andmeteadus ja digitaalsed humanitaarteadused - Sketchnote by @nitya

Digitaalsed humanitaarteadused on defineeritud kui "praktikate ja lähenemiste kogum, mis ühendab arvutusmeetodid humanitaarteadusliku uurimisega". Stanfordi projektid nagu "ajaloo taaskäivitamine" ja "poeetiline mõtlemine" illustreerivad seost digitaalsete humanitaarteaduste ja andmeteaduse vahel - rõhutades tehnikaid nagu võrgustike analüüs, teabe visualiseerimine, ruumiline ja teksti analüüs, mis aitavad meil ajaloolisi ja kirjanduslikke andmekogumeid uuesti läbi vaadata, et tuletada uusi teadmisi ja perspektiive.

Kas soovite uurida ja laiendada projekti selles valdkonnas?

Vaadake "Emily Dickinson ja meeleolu meetrum" - suurepärane näide Jen Looperilt, mis küsib, kuidas saame andmeteadust kasutada, et uuesti läbi vaadata tuttavat luulet ja hinnata selle tähendust ning autori panust uutes kontekstides. Näiteks, kas saame ennustada hooaja, millal luuletus kirjutati, analüüsides selle tooni või sentimenti - ja mida see räägib autori meeleolust vastaval perioodil?

Sellele küsimusele vastamiseks järgime andmeteaduse elutsükli samme:

  • Andmete hankimine - koguda asjakohane andmekogum analüüsiks. Valikud hõlmavad API kasutamist (nt Poetry DB API) või veebilehtede kraapimist (nt Project Gutenberg) tööriistadega nagu Scrapy.
  • Andmete puhastamine - selgitab, kuidas teksti saab vormindada, puhastada ja lihtsustada, kasutades põhitööriistu nagu Visual Studio Code ja Microsoft Excel.
  • Andmete analüüs - selgitab, kuidas saame nüüd andmekogumi importida "märkmetesse" analüüsiks, kasutades Python'i pakette (nagu pandas, numpy ja matplotlib), et andmeid korraldada ja visualiseerida.
  • Sentimendi analüüs - selgitab, kuidas saame integreerida pilveteenuseid nagu teksti analüüs, kasutades madala koodiga tööriistu nagu Power Automate automatiseeritud andmetöötluse töövoogude jaoks.

Selle töövoo abil saame uurida hooajalisi mõjusid luuletuste sentimentidele ja aidata meil kujundada oma perspektiive autorist. Proovige ise - seejärel laiendage märkmikku, et küsida muid küsimusi või visualiseerida andmeid uutel viisidel!

Võite kasutada mõningaid tööriistu digitaalsete humanitaarteaduste tööriistakomplektist, et jätkata uurimist.

Andmeteadus + Jätkusuutlikkus

Sketchnote by (@sketchthedocs)
Andmeteadus ja jätkusuutlikkus - Sketchnote by @nitya

2030. aasta säästva arengu tegevuskava - mille võtsid 2015. aastal vastu kõik ÜRO liikmed - määratleb 17 eesmärki, sealhulgas need, mis keskenduvad planeedi kaitsmisele degradatsiooni ja kliimamuutuste mõju eest. Microsofti jätkusuutlikkuse algatus toetab neid eesmärke, uurides, kuidas tehnoloogilised lahendused võivad toetada ja luua jätkusuutlikumaid tulevikke, keskendudes neljale eesmärgile - olla süsiniknegatiivne, veepositiivne, nulljäätmetega ja bioloogiliselt mitmekesine aastaks 2030.

Nende väljakutsete lahendamine skaleeritaval ja õigeaegsel viisil nõuab pilvepõhist mõtlemist - ja suures mahus andmeid. Planetary Computer algatus pakub 4 komponenti, mis aitavad andmeteadlastel ja arendajatel selles pingutuses:

  • Andmekataloog - petabaitide ulatuses Maa süsteemide andmeid (tasuta ja Azure'i hostitud).
  • Planetary API - aitab kasutajatel otsida asjakohaseid andmeid ruumi ja aja lõikes.
  • Hub - hallatud keskkond teadlastele massiivsete georuumiliste andmekogumite töötlemiseks.
  • Rakendused - näitavad kasutusjuhtumeid ja tööriistu jätkusuutlikkuse analüüside jaoks.

Planetary Computer projekt on praegu eelvaates (seisuga september 2021) - siin on juhised, kuidas alustada panustamist jätkusuutlikkuse lahendustesse andmeteaduse abil.

Mõtle, kuidas saaksid kasutada andmete visualiseerimist, et tuua esile või võimendada olulisi teadmisi valdkondades nagu kliimamuutused ja metsade hävitamine. Või mõtle, kuidas neid teadmisi saaks kasutada uute kasutajakogemuste loomiseks, mis motiveerivad käitumuslikke muutusi jätkusuutlikuma eluviisi suunas.

Andmeteadus + Õpilased

Oleme rääkinud reaalse maailma rakendustest tööstuses ja teadusuuringutes ning uurinud andmeteaduse rakenduste näiteid digitaalses humanitaarteaduses ja jätkusuutlikkuses. Kuidas aga arendada oma oskusi ja jagada oma teadmisi andmeteaduse algajatena?

Siin on mõned näited andmeteaduse õpilasprojektidest, mis võivad inspireerida.

🚀 Väljakutse

Otsi artikleid, mis soovitavad algajatele sobivaid andmeteaduse projekte - näiteks need 50 teemaala või need 21 projektiideed või need 16 projekti koos lähtekoodiga, mida saad lahti võtta ja uuesti kokku panna. Ära unusta blogida oma õppeprotsessist ja jagada oma teadmisi meie kõigiga.

Loengu järgne viktoriin

Loengu järgne viktoriin

Ülevaade ja iseseisev õpe

Soovid uurida rohkem kasutusjuhtumeid? Siin on mõned asjakohased artiklid:

Ülesanne

Uuri Planetary Computer andmekogumit

Lahtiütlus:
See dokument on tõlgitud AI tõlketeenuse Co-op Translator abil. Kuigi püüame tagada täpsust, palume arvestada, et automaatsed tõlked võivad sisaldada vigu või ebatäpsusi. Algne dokument selle algses keeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitame kasutada professionaalset inimtõlget. Me ei vastuta selle tõlke kasutamisest tulenevate arusaamatuste või valesti tõlgenduste eest.