|
|
1 year ago | |
|---|---|---|
| .. | ||
| README.md | 1 year ago | |
| assignment.md | 1 year ago | |
README.md
Adattudomány a való világban
![]() |
|---|
| Adattudomány a való világban - Sketchnote by @nitya |
Már majdnem a tanulási utazás végére értünk!
Az adattudomány és az etika definícióival kezdtük, felfedeztük az adatelemzés és vizualizáció különböző eszközeit és technikáit, áttekintettük az adattudomány életciklusát, valamint megvizsgáltuk, hogyan lehet az adattudományi munkafolyamatokat méretezni és automatizálni felhőalapú szolgáltatásokkal. Most valószínűleg azon gondolkodsz: "Hogyan tudom mindezt a tanultakat a való világ kontextusába helyezni?"
Ebben a leckében az adattudomány iparági alkalmazásait vizsgáljuk meg, és konkrét példákat nézünk meg a kutatás, a digitális humán tudományok és a fenntarthatóság területén. Megvizsgáljuk a diákprojektek lehetőségeit, és hasznos forrásokkal zárjuk, amelyek segítenek folytatni a tanulási utadat!
Előadás előtti kvíz
Adattudomány + Ipar
Az AI demokratizálásának köszönhetően a fejlesztők számára egyre könnyebb AI-alapú döntéshozatali és adatvezérelt betekintéseket tervezni és integrálni a felhasználói élményekbe és fejlesztési munkafolyamatokba. Íme néhány példa arra, hogyan alkalmazzák az adattudományt a való világ iparági alkalmazásaiban:
-
Google Flu Trends az adattudományt használta arra, hogy a keresési kifejezéseket összekapcsolja az influenzatrendekkel. Bár a megközelítésnek voltak hibái, felhívta a figyelmet az adatvezérelt egészségügyi előrejelzések lehetőségeire (és kihívásaira).
-
UPS Routing Predictions - bemutatja, hogyan használja a UPS az adattudományt és a gépi tanulást az optimális szállítási útvonalak előrejelzésére, figyelembe véve az időjárási viszonyokat, a forgalmi mintákat, a szállítási határidőket és egyebeket.
-
NYC Taxicab Route Visualization - az Információszabadság törvények alapján gyűjtött adatok segítségével vizualizálták egy napot a New York-i taxik életéből, megértve, hogyan navigálnak a forgalmas városban, mennyi pénzt keresnek, és mennyi ideig tartanak az utazások egy 24 órás időszak alatt.
-
Uber Data Science Workbench - napi szinten több millió Uber-utazásból gyűjtött adatokat (felvételi és leadási helyek, utazási időtartam, preferált útvonalak stb.) használnak egy adat-elemző eszköz létrehozására, amely segít az árképzésben, a biztonságban, a csalásfelderítésben és a navigációs döntésekben.
-
Sports Analytics - a prediktív analitikára (csapat- és játékoselemzés - gondoljunk csak a Moneyball példájára - és rajongói menedzsmentre) és az adatvizualizációra (csapat- és rajongói irányítópultok, játékok stb.) összpontosít, olyan alkalmazásokkal, mint a tehetségkutatás, sportfogadás és készlet-/helyszíngazdálkodás.
-
Adattudomány a banki szektorban - kiemeli az adattudomány értékét a pénzügyi iparban, olyan alkalmazásokkal, mint a kockázatmodellezés és csalásfelderítés, ügyfélszegmentáció, valós idejű előrejelzés és ajánlórendszerek. A prediktív analitika olyan kritikus intézkedéseket is támogat, mint például a hitelpontszámok.
-
Adattudomány az egészségügyben - kiemeli az olyan alkalmazásokat, mint az orvosi képalkotás (pl. MRI, röntgen, CT-vizsgálat), genomika (DNS-szekvenálás), gyógyszerfejlesztés (kockázatértékelés, siker előrejelzés), prediktív analitika (betegellátás és ellátási logisztika), betegségkövetés és megelőzés stb.
Kép forrása: Data Flair: 6 Amazing Data Science Applications
A fenti ábra más területeket és példákat is bemutat az adattudományi technikák alkalmazására. Szeretnél további alkalmazásokat felfedezni? Nézd meg az alábbi Áttekintés és önálló tanulás részt.
Adattudomány + Kutatás
![]() |
|---|
| Adattudomány és Kutatás - Sketchnote by @nitya |
Míg a való világ alkalmazásai gyakran az ipari felhasználási esetekre összpontosítanak, a kutatási alkalmazások és projektek két szempontból is hasznosak lehetnek:
- innovációs lehetőségek - fejlett koncepciók gyors prototípusának kidolgozása és a következő generációs alkalmazások felhasználói élményének tesztelése.
- telepítési kihívások - az adattudományi technológiák potenciális káros hatásainak vagy nem szándékos következményeinek vizsgálata a való világ kontextusában.
A diákok számára ezek a kutatási projektek tanulási és együttműködési lehetőségeket kínálhatnak, amelyek javíthatják a téma megértését, és szélesíthetik a releváns emberekkel vagy csapatokkal való kapcsolatteremtést az érdeklődési területeken. De hogyan néznek ki ezek a kutatási projektek, és milyen hatást gyakorolhatnak?
Nézzünk meg egy példát - az MIT Gender Shades Study projektet Joy Buolamwini (MIT Media Labs) vezetésével, amelyhez egy jelentős kutatási tanulmány is kapcsolódik, Timnit Gebru (akkoriban a Microsoft Research-nél) társszerzőként. A kutatás célja:
- Mi: A kutatási projekt célja az volt, hogy értékelje az automatizált arcelemző algoritmusok és adathalmazok elfogultságát nem és bőrtípus alapján.
- Miért: Az arcelemzést olyan területeken használják, mint a bűnüldözés, repülőtéri biztonság, toborzási rendszerek stb. - olyan kontextusokban, ahol a pontatlan osztályozások (pl. elfogultság miatt) gazdasági és társadalmi károkat okozhatnak az érintett egyéneknek vagy csoportoknak. Az elfogultság megértése (és megszüntetése vagy enyhítése) kulcsfontosságú a használat méltányosságának biztosításához.
- Hogyan: A kutatók felismerték, hogy a meglévő referenciaértékek túlnyomórészt világosabb bőrű alanyokat használtak, és egy új adathalmazt (1000+ kép) állítottak össze, amely kiegyensúlyozottabb volt nem és bőrtípus szerint. Az adathalmazt három nemi osztályozási termék (Microsoft, IBM és Face++) pontosságának értékelésére használták.
Az eredmények azt mutatták, hogy bár az általános osztályozási pontosság jó volt, észrevehető különbség volt a hibaarányok között a különböző alcsoportok esetében - a téves nemi besorolás magasabb volt a nők vagy sötétebb bőrtípusú személyek esetében, ami elfogultságra utalt.
Fő eredmények: Felhívta a figyelmet arra, hogy az adattudománynak reprezentatívabb adathalmazokra (kiegyensúlyozott alcsoportok) és inkluzívabb csapatokra (sokszínű háttérrel) van szüksége, hogy az ilyen elfogultságokat korábban felismerjék és megszüntessék vagy enyhítsék az AI megoldásokban. Az ilyen kutatási erőfeszítések számos szervezet számára alapvetőek az etikus AI elveinek és gyakorlatainak meghatározásában, hogy javítsák a méltányosságot AI termékeik és folyamataik során.
Szeretnél többet megtudni a Microsoft releváns kutatási erőfeszítéseiről?
- Nézd meg a Microsoft Research Projects mesterséges intelligenciával kapcsolatos projektjeit.
- Fedezd fel a Microsoft Research Data Science Summer School diákprojektjeit.
- Nézd meg a Fairlearn projektet és a Responsible AI kezdeményezéseket.
Adattudomány + Humán tudományok
![]() |
|---|
| Adattudomány és Digitális Humán Tudományok - Sketchnote by @nitya |
A Digitális Humán Tudományokat úgy definiálták, mint "egy gyakorlatok és megközelítések gyűjteményét, amely a számítógépes módszereket ötvözi a humán tudományos kutatással". A Stanford projektek, mint például a "történelem újraindítása" és a "költői gondolkodás" bemutatják a kapcsolatot a Digitális Humán Tudományok és az Adattudomány között - hangsúlyozva az olyan technikákat, mint a hálózatelemzés, információvizualizáció, térbeli és szövegelemzés, amelyek segíthetnek új betekintéseket és perspektívákat nyerni történelmi és irodalmi adathalmazokból.
Szeretnél egy projektet felfedezni és továbbfejleszteni ezen a területen?
Nézd meg az "Emily Dickinson és a hangulat metrumának elemzése" projektet - egy nagyszerű példát Jen Looper munkájából, amely azt vizsgálja, hogyan használhatjuk az adattudományt ismert költészet újraértelmezésére és az író hozzájárulásainak új kontextusban való értékelésére. Például, meg tudjuk-e jósolni, hogy egy vers melyik évszakban íródott a hangulatának vagy érzelmi tónusának elemzése alapján - és mit árul el ez az író lelkiállapotáról az adott időszakban?
A kérdés megválaszolásához kövessük az adattudományi életciklus lépéseit:
Adatgyűjtés- releváns adathalmaz gyűjtése elemzéshez. Lehetőségek közé tartozik egy API használata (pl. Poetry DB API) vagy weboldalak adatainak lekaparása (pl. Project Gutenberg) olyan eszközökkel, mint a Scrapy.Adattisztítás- magyarázat arra, hogyan lehet a szöveget formázni, tisztítani és egyszerűsíteni alapvető eszközökkel, mint a Visual Studio Code és a Microsoft Excel.Adatelemzés- magyarázat arra, hogyan importálhatjuk az adathalmazt "Notebookokba" elemzés céljából Python csomagok (mint a pandas, numpy és matplotlib) használatával az adatok rendszerezésére és vizualizálására.Érzelemelemzés- magyarázat arra, hogyan integrálhatunk felhőszolgáltatásokat, mint például a Text Analytics, alacsony kódú eszközökkel, mint a Power Automate az automatizált adatfeldolgozási munkafolyamatokhoz.
Ezzel a munkafolyamattal felfedezhetjük az évszakok hatását a versek érzelmi tónusára, és segíthetünk saját perspektívánk kialakításában az íróról. Próbáld ki magad - majd bővítsd a notebookot, hogy más kérdéseket tegyél fel, vagy új módokon vizualizáld az adatokat!
Használhatod a Digitális Humán Tudományok eszközkészletének néhány eszközét, hogy folytasd ezeket a kutatásokat.
Adattudomány + Fenntarthatóság
![]() |
|---|
| Adattudomány és Fenntarthatóság - Sketchnote by @nitya |
A 2030-as Fenntartható Fejlődési Agenda - amelyet az Egyesült Nemzetek minden tagja elfogadott 2015-ben - 17 célt azonosít, köztük olyanokat, amelyek a bolygó védelmére összpontosítanak a degradációtól és az éghajlatváltozás hatásaitól. A Microsoft Fenntarthatósági A Planetary Computer Project jelenleg előzetes fázisban van (2021 szeptemberétől) - íme, hogyan kezdheted el hozzájárulásodat a fenntarthatósági megoldásokhoz adattudomány segítségével.
- Kérj hozzáférést, hogy elkezdhesd a felfedezést és kapcsolatba léphess másokkal.
- Fedezd fel a dokumentációt, hogy megértsd a támogatott adatállományokat és API-kat.
- Fedezz fel alkalmazásokat, mint például az Ecosystem Monitoring, hogy inspirációt nyerj alkalmazási ötletekhez.
Gondolkodj azon, hogyan használhatod az adatvizualizációt arra, hogy releváns betekintéseket tárj fel vagy erősíts meg olyan területeken, mint a klímaváltozás és az erdőirtás. Vagy gondolkodj azon, hogyan lehet ezeket a betekintéseket új felhasználói élmények létrehozására használni, amelyek viselkedésbeli változásokat motiválnak a fenntarthatóbb élet érdekében.
Adattudomány + Diákok
Beszéltünk az iparban és kutatásban alkalmazott valós példákról, valamint felfedeztük az adattudomány alkalmazási példáit a digitális humán tudományokban és a fenntarthatóságban. Hogyan fejlesztheted készségeidet és oszthatod meg szakértelmedet adattudomány kezdőként?
Íme néhány példa adattudományi diákprojektekre, amelyek inspirálhatnak.
- MSR Data Science Summer School GitHub projektek témákkal, mint például:
- Anyagi kultúra digitalizálása: társadalmi-gazdasági eloszlások vizsgálata Sirkapban - Ornella Altunyan és csapata Claremontból, ArcGIS StoryMaps használatával.
🚀 Kihívás
Keress cikkeket, amelyek kezdőbarát adattudományi projekteket ajánlanak - például ezeket az 50 témakört vagy ezeket a 21 projektötletet vagy ezeket a 16 projektet forráskóddal, amelyeket elemezhetsz és újraalkothatsz. Ne felejtsd el blogolni a tanulási utazásaidról, és oszd meg betekintéseidet velünk.
Előadás utáni kvíz
Előadás utáni kvíz
Áttekintés és önálló tanulás
Szeretnél további felhasználási eseteket felfedezni? Íme néhány releváns cikk:
- 17 adattudományi alkalmazás és példa - 2021. július
- 11 lenyűgöző adattudományi alkalmazás a való világban - 2021. május
- Adattudomány a való világban - cikkgyűjtemény
- Adattudomány az alábbi területeken: Oktatás, Mezőgazdaság, Pénzügy, Filmek és még sok más.
Feladat
Fedezz fel egy Planetary Computer adatállományt
Felelősség kizárása:
Ez a dokumentum az AI fordítási szolgáltatás, a Co-op Translator segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális emberi fordítást igénybe venni. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely a fordítás használatából eredhet.



