19 KiB
Adattudomány a való világban
 |
|---|
| Adattudomány a való világban - Sketchnote by @nitya |
Majdnem a tanulási utazás végére értünk!
Az adattudomány és etika definícióival kezdtük, különböző eszközöket és technikákat fedeztünk fel az adatelemzéshez és vizualizációhoz, áttekintettük az adattudomány életciklusát, valamint megvizsgáltuk, hogyan lehet az adattudományi munkafolyamatokat méretezni és automatizálni felhőalapú szolgáltatásokkal. Valószínűleg most azt kérdezed: "Hogyan tudom mindezt a való világban alkalmazni?"
Ebben a leckében az adattudomány iparági alkalmazásait vizsgáljuk meg, és konkrét példákat mutatunk be a kutatás, digitális humán tudományok és fenntarthatóság területén. Megnézzük a diákprojektek lehetőségeit, és hasznos forrásokkal zárjuk, amelyek segítenek folytatni a tanulási utadat!
Előadás előtti kvíz
Előadás előtti kvíz
Adattudomány + Ipar
Az AI demokratizálásának köszönhetően a fejlesztők számára egyre könnyebb AI-alapú döntéshozatali és adatvezérelt betekintéseket integrálni a felhasználói élményekbe és fejlesztési munkafolyamatokba. Íme néhány példa arra, hogyan alkalmazzák az adattudományt a való világban az ipar különböző területein:
-
Google Flu Trends az adattudomány segítségével korrelálta a keresési kifejezéseket az influenzatrendekkel. Bár a megközelítésnek voltak hibái, felhívta a figyelmet az adatvezérelt egészségügyi előrejelzések lehetőségeire (és kihívásaira).
-
UPS útvonal-előrejelzések - bemutatja, hogyan használja az UPS az adattudományt és gépi tanulást az optimális szállítási útvonalak előrejelzésére, figyelembe véve az időjárási viszonyokat, forgalmi mintákat, szállítási határidőket és egyebeket.
-
NYC Taxicab útvonal-vizualizáció - az Információszabadság törvények alapján gyűjtött adatok segítségével vizualizálták egy napot az NYC taxik életéből, bemutatva, hogyan navigálnak a zsúfolt városban, mennyi pénzt keresnek, és mennyi ideig tartanak az utazások egy-egy 24 órás időszakban.
-
Uber Data Science Workbench - napi szinten több millió Uber utazásból gyűjtött adatokat (felvételi és leadási helyek, utazási időtartam, preferált útvonalak stb.) használja egy adat-elemző eszköz létrehozására, amely segít az árképzésben, biztonságban, csalásfelismerésben és navigációs döntésekben.
-
Sportanalitika - a prediktív analitikára (csapat- és játékoselemzés - gondolj Moneyball - és rajongói menedzsmentre) és adatvizualizációra (csapat- és rajongói irányítópultok, játékok stb.) összpontosít, olyan alkalmazásokkal, mint tehetségkutatás, sportfogadás és készlet/helyszín menedzsment.
-
Adattudomány a banki szektorban - kiemeli az adattudomány értékét a pénzügyi iparban, olyan alkalmazásokkal, mint kockázatmodellezés és csalásfelismerés, ügyfél-szegmentáció, valós idejű előrejelzés és ajánlórendszerek. A prediktív analitika kritikus intézkedéseket is támogat, mint például hitelpontszámok.
-
Adattudomány az egészségügyben - olyan alkalmazásokat emel ki, mint orvosi képalkotás (pl. MRI, röntgen, CT-vizsgálat), genomika (DNS szekvenálás), gyógyszerfejlesztés (kockázatértékelés, siker előrejelzés), prediktív analitika (betegellátás és ellátási logisztika), betegségek nyomon követése és megelőzése stb.
Kép forrása: Data Flair: 6 Amazing Data Science Applications
A fenti ábra további területeket és példákat mutat be az adattudományi technikák alkalmazására. Szeretnél további alkalmazásokat felfedezni? Nézd meg az Áttekintés és önálló tanulás szekciót alább.
Adattudomány + Kutatás
 |
|---|
| Adattudomány és Kutatás - Sketchnote by @nitya |
Míg a való világ alkalmazásai gyakran az ipari felhasználási esetekre összpontosítanak nagy léptékben, a kutatási alkalmazások és projektek két szempontból is hasznosak lehetnek:
- innovációs lehetőségek - fejlett koncepciók gyors prototípusának kidolgozása és felhasználói élmények tesztelése a következő generációs alkalmazásokhoz.
- telepítési kihívások - az adattudományi technológiák potenciális káros hatásainak vagy nem szándékos következményeinek vizsgálata a való világban.
A diákok számára ezek a kutatási projektek tanulási és együttműködési lehetőségeket kínálhatnak, amelyek javíthatják a téma megértését, és szélesíthetik a releváns emberekkel vagy csapatokkal való kapcsolataikat az érdeklődési területeken. De hogyan néznek ki ezek a kutatási projektek, és milyen hatással lehetnek?
Nézzünk meg egy példát - a MIT Gender Shades Study projektet Joy Buolamwini (MIT Media Labs) vezetésével, amelyhez egy jelentős kutatási tanulmány is társult, Timnit Gebru (akkor Microsoft Research) társszerzőként. A projekt célja:
- Mi: A kutatási projekt célja az volt, hogy értékelje az automatikus arcfelismerő algoritmusok és adathalmazok torzításait nem és bőrtípus alapján.
- Miért: Az arcfelismerés olyan területeken használatos, mint a bűnüldözés, repülőtéri biztonság, munkaerő-felvételi rendszerek stb. - olyan kontextusokban, ahol a pontatlan osztályozás (pl. torzítás miatt) gazdasági és társadalmi károkat okozhat az érintett egyéneknek vagy csoportoknak. A torzítások megértése (és megszüntetése vagy enyhítése) kulcsfontosságú a használat méltányosságához.
- Hogyan: A kutatók felismerték, hogy a meglévő referenciaértékek túlnyomórészt világos bőrű alanyokat használtak, és egy új adathalmazt (1000+ kép) állítottak össze, amely kiegyensúlyozottabb volt nem és bőrtípus szerint. Az adathalmazt három nemi osztályozási termék (Microsoft, IBM és Face++) pontosságának értékelésére használták.
Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság jó volt, észrevehető különbség volt a hibaarányok között az egyes alcsoportok esetében - a rossz nemi besorolás gyakoribb volt nőknél vagy sötétebb bőrtípusú személyeknél, ami torzítást jelez.
Fő eredmények: Felhívta a figyelmet arra, hogy az adattudománynak szüksége van reprezentatívabb adathalmazokra (kiegyensúlyozott alcsoportok) és inkluzívabb csapatokra (sokszínű háttérrel), hogy korábban felismerjék és megszüntessék vagy enyhítsék az ilyen torzításokat az AI megoldásokban. Az ilyen kutatási erőfeszítések számos szervezet számára alapvetőek az felelős AI elvek és gyakorlatok meghatározásában, hogy javítsák a méltányosságot AI termékeik és folyamataik során.
Szeretnél többet megtudni a Microsoft releváns kutatási erőfeszítéseiről?
- Nézd meg a Microsoft Research Projects mesterséges intelligenciával kapcsolatos projektjeit.
- Fedezd fel a diákprojektek lehetőségeit a Microsoft Research Data Science Summer School keretében.
- Nézd meg a Fairlearn projektet és a Responsible AI kezdeményezéseket.
Adattudomány + Humán tudományok
 |
|---|
| Adattudomány és Digitális Humán Tudományok - Sketchnote by @nitya |
A digitális humán tudományokat úgy definiálták, mint "gyakorlatok és megközelítések gyűjteménye, amelyek kombinálják a számítástechnikai módszereket a humán tudományos kutatással". A Stanford projektek, mint például "rebooting history" és "poetic thinking" bemutatják a kapcsolatot a Digitális Humán Tudományok és Adattudomány között - hangsúlyozva olyan technikákat, mint hálózatelemzés, információvizualizáció, térbeli és szövegelemzés, amelyek segítenek új betekintéseket és perspektívákat nyerni történelmi és irodalmi adathalmazokból.
Szeretnél egy projektet felfedezni és kiterjeszteni ezen a területen?
Nézd meg "Emily Dickinson és a hangulat ritmusa" projektet - egy remek példát Jen Looper munkájából, amely azt vizsgálja, hogyan használhatjuk az adattudományt, hogy újraértékeljük az ismert költészetet, és új kontextusban vizsgáljuk meg annak jelentését és szerzőjének hozzájárulását. Például, meg tudjuk-e jósolni, hogy egy vers melyik évszakban íródott a hangulatának vagy érzelmi tónusának elemzésével - és mit mond ez nekünk a szerző lelkiállapotáról az adott időszakban?
Ennek a kérdésnek a megválaszolásához követjük az adattudományi életciklus lépéseit:
Adatgyűjtés- releváns adathalmaz gyűjtése elemzéshez. Lehetőségek közé tartozik API használata (pl. Poetry DB API) vagy weboldalak adatainak lekaparása (pl. Project Gutenberg) olyan eszközökkel, mint Scrapy.Adattisztítás- bemutatja, hogyan lehet a szöveget formázni, tisztítani és egyszerűsíteni alapvető eszközökkel, mint a Visual Studio Code és Microsoft Excel.Adatelemzés- bemutatja, hogyan importálhatjuk az adathalmazt "Notebookokba" elemzéshez Python csomagokkal (például pandas, numpy és matplotlib), hogy szervezzük és vizualizáljuk az adatokat.Érzelemelemzés- bemutatja, hogyan integrálhatunk felhőszolgáltatásokat, mint például Text Analytics, alacsony kódú eszközökkel, mint a Power Automate az automatizált adatfeldolgozási munkafolyamatokhoz.
Ezzel a munkafolyamattal felfedezhetjük a szezonális hatásokat a versek érzelmi tónusára, és segíthetünk saját perspektíváink kialakításában a szerzőről. Próbáld ki magad - majd bővítsd a notebookot, hogy más kérdéseket tegyél fel, vagy új módokon vizualizáld az adatokat!
Használhatod a Digitális Humán Tudományok eszköztárának néhány eszközét, hogy folytasd ezeket a kutatásokat.
Adattudomány + Fenntarthatóság
 |
|---|
| Adattudomány és Fenntarthatóság - Sketchnote by @nitya |
A 2030 Fenntartható Fejlődési Agenda - amelyet az Egyesült Nemzetek minden tagja elfogadott 2015-ben - 17 célt határoz meg, köztük olyanokat, amelyek a bolygó védelmére összpontosítanak a degradációtól és az éghajlatváltozás hatásaitól. A Microsoft Fenntarthatósági kezdeményezés támogatja ezeket a célokat, azzal, hogy technológiai megoldásokat keres a fenntarthatóbb jövők építéséhez, négy fő célra öss A Planetary Computer Project jelenleg előzetes verzióban van (2021 szeptemberétől) - íme, hogyan kezdheted el hozzájárulni a fenntarthatósági megoldásokhoz adattudomány segítségével.
- Kérj hozzáférést, hogy elkezdhesd a felfedezést és kapcsolatba léphess másokkal.
- Fedezd fel a dokumentációt, hogy megértsd a támogatott adatállományokat és API-kat.
- Fedezz fel alkalmazásokat, mint például az Ecosystem Monitoring, hogy inspirációt nyerj alkalmazásötletekhez.
Gondolkodj el azon, hogyan használhatod az adatvizualizációt arra, hogy releváns betekintéseket tárj fel vagy erősíts meg olyan területeken, mint a klímaváltozás és az erdőirtás. Vagy gondolkodj el azon, hogyan lehet ezeket a betekintéseket új felhasználói élmények létrehozására használni, amelyek motiválják a viselkedésbeli változásokat a fenntarthatóbb élet érdekében.
Adattudomány + Diákok
Beszéltünk az iparban és kutatásban alkalmazott valós példákról, valamint felfedeztünk adattudományi alkalmazási példákat a digitális humán tudományokban és a fenntarthatóság területén. Hogyan fejlesztheted készségeidet és oszthatod meg szakértelmedet adattudományi kezdőként?
Íme néhány példa adattudományi diákprojektekre, amelyek inspirálhatnak.
- MSR Data Science Summer School GitHub projektek témákkal, mint például:
- Anyagi kultúra digitalizálása: Társadalmi-gazdasági eloszlások vizsgálata Sirkapban - Ornella Altunyan és csapata Claremontból, ArcGIS StoryMaps használatával.
🚀 Kihívás
Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - például ezeket az 50 tématerületet vagy ezeket a 21 projektötletet vagy ezeket a 16 projektet forráskóddal, amelyeket elemezhetsz és újraalkothatsz. Ne felejtsd el blogolni a tanulási utazásaidról, és oszd meg betekintéseidet velünk.
Előadás utáni kvíz
Előadás utáni kvíz
Áttekintés és önálló tanulás
Szeretnél további felhasználási eseteket felfedezni? Íme néhány releváns cikk:
- 17 adattudományi alkalmazás és példa - 2021 július
- 11 lenyűgöző adattudományi alkalmazás a való világban - 2021 május
- Adattudomány a való világban - Cikkgyűjtemény
- 12 valódi adattudományi alkalmazás példákkal - 2024 május
- Adattudomány az alábbi területeken: Oktatás, Mezőgazdaság, Pénzügy, Filmek, Egészségügy és még sok más.
Feladat
Fedezz fel egy Planetary Computer adatállományt
Felelősségkizárás:
Ez a dokumentum az Co-op Translator AI fordítási szolgáltatás segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális, emberi fordítást igénybe venni. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy téves értelmezésekért.