19 KiB
Adattudomány a való világban
 |
|---|
| Adattudomány a való világban - Sketchnote by @nitya |
Majdnem a tanulási utazás végére értünk!
Az adattudomány és etika definícióival kezdtük, különböző eszközöket és technikákat fedeztünk fel az adatelemzéshez és vizualizációhoz, áttekintettük az adattudomány életciklusát, valamint megvizsgáltuk, hogyan lehet az adattudományi munkafolyamatokat méretezni és automatizálni felhőalapú szolgáltatásokkal. Valószínűleg most azt kérdezed: "Hogyan tudom mindezt a való világban alkalmazni?"
Ebben a leckében az adattudomány iparági alkalmazásait vizsgáljuk meg, és konkrét példákat nézünk meg a kutatás, digitális humán tudományok és fenntarthatóság területén. Megnézzük a diákprojektek lehetőségeit, és hasznos forrásokkal zárjuk, amelyek segítenek folytatni a tanulási utadat!
Előadás előtti kvíz
Adattudomány + Ipar
Az AI demokratizálásának köszönhetően a fejlesztők számára egyre könnyebb AI-alapú döntéshozatali és adatvezérelt betekintéseket integrálni a felhasználói élményekbe és fejlesztési munkafolyamatokba. Íme néhány példa arra, hogyan alkalmazzák az adattudományt a való világban az ipar különböző területein:
-
Google Flu Trends az adattudományt használta arra, hogy összefüggést találjon a keresési kifejezések és az influenzatrendek között. Bár a megközelítésnek voltak hibái, felhívta a figyelmet az adatvezérelt egészségügyi előrejelzések lehetőségeire (és kihívásaira).
-
UPS Routing Predictions - bemutatja, hogyan használja az UPS az adattudományt és gépi tanulást az optimális útvonalak előrejelzésére, figyelembe véve az időjárási viszonyokat, forgalmi mintákat, szállítási határidőket és egyebeket.
-
NYC Taxicab Route Visualization - az Információszabadság törvények alapján gyűjtött adatok segítségével vizualizálták egy napot az NYC taxik életéből, megértve, hogyan navigálnak a zsúfolt városban, mennyi pénzt keresnek, és mennyi ideig tartanak az utazások egy 24 órás időszak alatt.
-
Uber Data Science Workbench - napi szinten gyűjtött adatok (felvételi és leadási helyek, utazási időtartam, preferált útvonalak stb.) felhasználásával épít adattudományi eszközt az árképzés, biztonság, csalásfelismerés és navigációs döntések támogatására.
-
Sports Analytics - a prediktív analitikára (csapat- és játékoselemzés - gondolj Moneyball - és rajongói menedzsmentre) és adatvizualizációra (csapat- és rajongói irányítópultok, játékok stb.) összpontosít, olyan alkalmazásokkal, mint tehetségkutatás, sportfogadás és készlet/helyszín menedzsment.
-
Adattudomány a banki szektorban - kiemeli az adattudomány értékét a pénzügyi iparban, olyan alkalmazásokkal, mint kockázatmodellezés, csalásfelismerés, ügyfél szegmentáció, valós idejű előrejelzés és ajánlórendszerek. A prediktív analitika kritikus intézkedéseket is támogat, mint például hitelpontszámok.
-
Adattudomány az egészségügyben - kiemeli az alkalmazásokat, mint orvosi képalkotás (pl. MRI, röntgen, CT-vizsgálat), genomika (DNS szekvenálás), gyógyszerfejlesztés (kockázatértékelés, siker előrejelzés), prediktív analitika (betegellátás és ellátási logisztika), betegségek nyomon követése és megelőzése stb.
Kép forrása: Data Flair: 6 Amazing Data Science Applications
A fenti ábra további területeket és példákat mutat be az adattudományi technikák alkalmazására. Szeretnél további alkalmazásokat felfedezni? Nézd meg az Áttekintés és önálló tanulás szekciót alább.
Adattudomány + Kutatás
 |
|---|
| Adattudomány és Kutatás - Sketchnote by @nitya |
Míg a való világban az alkalmazások gyakran az ipari felhasználási esetekre összpontosítanak, a kutatási alkalmazások és projektek két szempontból is hasznosak lehetnek:
- innovációs lehetőségek - fejlett koncepciók gyors prototípusának kidolgozása és felhasználói élmények tesztelése a következő generációs alkalmazásokhoz.
- telepítési kihívások - az adattudományi technológiák potenciális káros hatásainak vagy nem szándékos következményeinek vizsgálata a való világban.
A diákok számára ezek a kutatási projektek tanulási és együttműködési lehetőségeket kínálhatnak, amelyek javíthatják a téma megértését, és szélesíthetik a releváns emberekkel vagy csapatokkal való kapcsolataikat az érdeklődési területeken. De hogyan néznek ki ezek a kutatási projektek, és milyen hatással lehetnek?
Nézzünk meg egy példát - az MIT Gender Shades Study projektet Joy Buolamwini (MIT Media Labs) vezetésével, amelyhez egy jelentős kutatási tanulmány is kapcsolódik, Timnit Gebru (akkor Microsoft Research) társszerzőként. A projekt célja:
- Mi: A kutatási projekt célja az volt, hogy értékelje az automatikus arcfelismerési algoritmusok és adathalmazok torzításait nem és bőrtípus alapján.
- Miért: Az arcfelismerés olyan területeken használatos, mint a bűnüldözés, repülőtéri biztonság, munkaerő-felvételi rendszerek és mások - olyan kontextusok, ahol a pontatlan osztályozás (pl. torzítás miatt) gazdasági és társadalmi károkat okozhat az érintett egyéneknek vagy csoportoknak. A torzítások megértése (és megszüntetése vagy enyhítése) kulcsfontosságú a használat méltányosságához.
- Hogyan: A kutatók felismerték, hogy a meglévő referenciaértékek túlnyomórészt világos bőrű alanyokat használtak, és egy új adathalmazt (1000+ kép) állítottak össze, amely kiegyensúlyozottabb volt nem és bőrtípus szerint. Az adathalmazt három nemi osztályozási termék (Microsoft, IBM és Face++) pontosságának értékelésére használták.
Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság jó volt, észrevehető különbség volt a hibaarányok között az egyes alcsoportok esetében - a rossz nemi besorolás gyakoribb volt nőknél vagy sötétebb bőrtípusú személyeknél, ami torzításra utal.
Fő eredmények: Felhívta a figyelmet arra, hogy az adattudománynak szüksége van reprezentatívabb adathalmazokra (kiegyensúlyozott alcsoportok) és inkluzívabb csapatokra (sokszínű háttérrel), hogy korábban felismerjék és megszüntessék vagy enyhítsék az ilyen torzításokat az AI megoldásokban. Az ilyen kutatási erőfeszítések kulcsfontosságúak abban, hogy sok szervezet meghatározza az felelős AI elveit és gyakorlatát, hogy javítsa a méltányosságot AI termékeik és folyamataik során.
Szeretnél többet megtudni a Microsoft releváns kutatási erőfeszítéseiről?
- Nézd meg a Microsoft Research Projects oldalát az AI területén.
- Fedezd fel a diákprojektek lehetőségeit a Microsoft Research Data Science Summer School programban.
- Nézd meg a Fairlearn projektet és a Responsible AI kezdeményezéseket.
Adattudomány + Humán tudományok
 |
|---|
| Adattudomány és Digitális Humán tudományok - Sketchnote by @nitya |
A digitális humán tudományokat úgy definiálták, mint "gyakorlatok és megközelítések gyűjteménye, amelyek kombinálják a számítástechnikai módszereket a humán tudományos kutatással". A Stanford projektek, mint például "rebooting history" és "poetic thinking" bemutatják a kapcsolatot a Digitális Humán tudományok és Adattudomány között - hangsúlyozva olyan technikákat, mint hálózatelemzés, információvizualizáció, térbeli és szövegelemzés, amelyek segíthetnek új betekintéseket és perspektívákat nyerni történelmi és irodalmi adathalmazokból.
Szeretnél felfedezni és kiterjeszteni egy projektet ezen a területen?
Nézd meg az "Emily Dickinson and the Meter of Mood" projektet - egy remek példát Jen Looper munkájából, amely azt kérdezi, hogyan használhatjuk az adattudományt, hogy újraértékeljük az ismert költészetet, és új kontextusban vizsgáljuk meg annak jelentését és szerzőjének hozzájárulását. Például, meg tudjuk-e jósolni, hogy egy vers melyik évszakban íródott a hangulatának vagy érzelmi tónusának elemzésével - és mit mond ez nekünk a szerző lelkiállapotáról az adott időszakban?
Ennek a kérdésnek a megválaszolásához követjük az adattudományi életciklus lépéseit:
Adatgyűjtés- releváns adathalmaz gyűjtése elemzéshez. Lehetőségek közé tartozik API használata (pl. Poetry DB API) vagy weboldalak adatainak lekaparása (pl. Project Gutenberg) olyan eszközökkel, mint Scrapy.Adattisztítás- bemutatja, hogyan lehet a szöveget formázni, tisztítani és egyszerűsíteni alapvető eszközökkel, mint a Visual Studio Code és Microsoft Excel.Adatelemzés- bemutatja, hogyan importálhatjuk az adathalmazt "Notebookokba" elemzéshez Python csomagokkal (mint pandas, numpy és matplotlib), hogy szervezzük és vizualizáljuk az adatokat.Érzelemelemzés- bemutatja, hogyan integrálhatunk felhőszolgáltatásokat, mint például Text Analytics, alacsony kódú eszközökkel, mint Power Automate az automatizált adatfeldolgozási munkafolyamatokhoz.
Ezzel a munkafolyamattal felfedezhetjük a szezonális hatásokat a versek érzelmi tónusára, és segíthetünk saját perspektíváink kialakításában a szerzőről. Próbáld ki magad - majd bővítsd a notebookot, hogy más kérdéseket tegyél fel, vagy új módokon vizualizáld az adatokat!
Használhatod a Digitális Humán tudományok eszköztárának néhány eszközét, hogy folytasd ezeket a kutatásokat.
Adattudomány + Fenntarthatóság
 |
|---|
| Adattudomány és Fenntarthatóság - Sketchnote by @nitya |
A 2030 Fenntartható Fejlődési Agenda - amelyet az ENSZ minden tagja elfogadott 2015-ben - 17 célt határoz meg, köztük olyanokat, amelyek a bolygó védelmére összpontosítanak a degradációtól és az éghajlatváltozás hatásaitól. A Microsoft Fenntarthatósági kezdeményezés támogatja ezeket a célokat, azzal, hogy technológiai megoldásokat keres és fejleszt a fenntarthatóbb jövők érdekében, 4 célra összpontosítva - szén-negatív A Planetary Computer Project jelenleg előzetes verzióban van (2021. szeptember) - íme, hogyan kezdheted el hozzájárulásodat a fenntarthatósági megoldásokhoz adattudomány segítségével.
- Kérj hozzáférést, hogy elkezdhesd a felfedezést és kapcsolatba léphess másokkal.
- Fedezd fel a dokumentációt, hogy megértsd a támogatott adatállományokat és API-kat.
- Fedezz fel alkalmazásokat, mint például az Ecosystem Monitoring, hogy inspirációt nyerj alkalmazási ötletekhez.
Gondolkodj azon, hogyan használhatod az adatvizualizációt arra, hogy releváns betekintéseket tárj fel vagy erősíts meg olyan területeken, mint a klímaváltozás és az erdőirtás. Vagy gondolkodj azon, hogyan lehet ezeket a betekintéseket új felhasználói élmények létrehozására használni, amelyek viselkedésbeli változásokat motiválnak a fenntarthatóbb élet érdekében.
Adattudomány + Diákok
Beszéltünk az iparban és kutatásban alkalmazott valós példákról, valamint felfedeztünk adattudományi alkalmazási példákat a digitális humán tudományokban és a fenntarthatóság területén. Hogyan építheted fel készségeidet és oszthatod meg szakértelmedet adattudományi kezdőként?
Íme néhány példa adattudományi diákprojektekre, amelyek inspirálhatnak.
- MSR Data Science Summer School GitHub projektek témákkal, mint például:
- Anyagi kultúra digitalizálása: társadalmi-gazdasági eloszlások vizsgálata Sirkapban - Ornella Altunyan és csapata Claremontból, ArcGIS StoryMaps használatával.
🚀 Kihívás
Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - például ez az 50 téma, ez a 21 projektötlet vagy ez a 16 projekt forráskóddal, amelyeket elemezhetsz és újraalkothatsz. Ne felejtsd el blogolni tanulási utazásaidról, és oszd meg betekintéseidet velünk.
Előadás utáni kvíz
Áttekintés és önálló tanulás
Szeretnél további felhasználási eseteket felfedezni? Íme néhány releváns cikk:
- 17 adattudományi alkalmazás és példa - 2021. július
- 11 lenyűgöző adattudományi alkalmazás a való világban - 2021. május
- Adattudomány a való világban - cikkgyűjtemény
- Adattudomány az alábbi területeken: Oktatás, Mezőgazdaság, Pénzügy, Filmek és még sok más.
Feladat
Fedezz fel egy Planetary Computer adatállományt
Felelősség kizárása:
Ez a dokumentum az AI fordítási szolgáltatás, a Co-op Translator segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális emberi fordítást igénybe venni. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely a fordítás használatából eredhet.