19 KiB
Data Science nel Mondo Reale
 |
|---|
| Data Science nel Mondo Reale - Sketchnote di @nitya |
Siamo quasi alla fine di questo percorso di apprendimento!
Abbiamo iniziato con le definizioni di data science ed etica, esplorato vari strumenti e tecniche per l'analisi e la visualizzazione dei dati, esaminato il ciclo di vita della data science e analizzato come scalare e automatizzare i flussi di lavoro di data science con i servizi di cloud computing. Quindi, probabilmente ti starai chiedendo: "Come posso applicare tutto ciò che ho imparato ai contesti del mondo reale?"
In questa lezione, esploreremo le applicazioni reali della data science in diversi settori e approfondiremo esempi specifici nei contesti della ricerca, delle discipline umanistiche digitali e della sostenibilità. Esamineremo le opportunità di progetti per studenti e concluderemo con risorse utili per continuare il tuo percorso di apprendimento!
Quiz Pre-Lettura
Quiz pre-lettura
Data Science + Industria
Grazie alla democratizzazione dell'AI, gli sviluppatori trovano sempre più facile progettare e integrare decisioni basate sull'intelligenza artificiale e intuizioni basate sui dati nelle esperienze utente e nei flussi di lavoro di sviluppo. Ecco alcuni esempi di come la data science viene "applicata" a contesti reali nell'industria:
-
Google Flu Trends ha utilizzato la data science per correlare i termini di ricerca con le tendenze influenzali. Sebbene l'approccio avesse dei difetti, ha aumentato la consapevolezza sulle possibilità (e sfide) delle previsioni sanitarie basate sui dati.
-
Previsioni di Routing UPS - spiega come UPS utilizza la data science e il machine learning per prevedere i percorsi ottimali per le consegne, tenendo conto delle condizioni meteorologiche, dei modelli di traffico, delle scadenze di consegna e altro ancora.
-
Visualizzazione dei Percorsi dei Taxi di NYC - i dati raccolti utilizzando le Leggi sulla Libertà di Informazione hanno aiutato a visualizzare una giornata nella vita dei taxi di NYC, permettendoci di capire come navigano nella città affollata, i guadagni e la durata dei viaggi in un periodo di 24 ore.
-
Uber Data Science Workbench - utilizza i dati (su luoghi di prelievo e consegna, durata dei viaggi, percorsi preferiti ecc.) raccolti da milioni di viaggi Uber quotidianamente per costruire uno strumento di analisi dei dati utile per prezzi, sicurezza, rilevamento delle frodi e decisioni di navigazione.
-
Analisi Sportiva - si concentra su analisi predittiva (analisi di squadra e giocatori - pensa a Moneyball - e gestione dei fan) e visualizzazione dei dati (dashboard di squadra e fan, giochi ecc.) con applicazioni come scouting di talenti, scommesse sportive e gestione di inventari/luoghi.
-
Data Science nel Settore Bancario - evidenzia il valore della data science nel settore finanziario con applicazioni che vanno dalla modellazione del rischio e rilevamento delle frodi, alla segmentazione dei clienti, previsioni in tempo reale e sistemi di raccomandazione. L'analisi predittiva guida anche misure critiche come i credit scores.
-
Data Science nella Sanità - evidenzia applicazioni come imaging medico (ad esempio, MRI, raggi X, TAC), genomica (sequenziamento del DNA), sviluppo di farmaci (valutazione del rischio, previsione del successo), analisi predittiva (cura dei pazienti e logistica delle forniture), monitoraggio e prevenzione delle malattie ecc.
Crediti Immagine: Data Flair: 6 Amazing Data Science Applications
La figura mostra altri domini ed esempi per l'applicazione delle tecniche di data science. Vuoi esplorare altre applicazioni? Dai un'occhiata alla sezione Review & Self Study qui sotto.
Data Science + Ricerca
 |
|---|
| Data Science & Ricerca - Sketchnote di @nitya |
Mentre le applicazioni reali spesso si concentrano su casi d'uso industriali su larga scala, le applicazioni e i progetti di ricerca possono essere utili da due prospettive:
- opportunità di innovazione - esplorare prototipi rapidi di concetti avanzati e testare esperienze utente per applicazioni di nuova generazione.
- sfide di implementazione - indagare i potenziali danni o conseguenze indesiderate delle tecnologie di data science nei contesti reali.
Per gli studenti, questi progetti di ricerca possono offrire opportunità di apprendimento e collaborazione che migliorano la comprensione dell'argomento e ampliano la consapevolezza e il coinvolgimento con persone o team rilevanti che lavorano in aree di interesse. Ma come sono i progetti di ricerca e come possono avere un impatto?
Esaminiamo un esempio: lo Studio MIT Gender Shades di Joy Buolamwini (MIT Media Labs) con un articolo di ricerca significativo co-autore con Timnit Gebru (all'epoca presso Microsoft Research) che si concentra su:
- Cosa: L'obiettivo del progetto di ricerca era valutare i bias presenti negli algoritmi e nei dataset di analisi facciale automatizzata basati su genere e tipo di pelle.
- Perché: L'analisi facciale è utilizzata in contesti come forze dell'ordine, sicurezza aeroportuale, sistemi di assunzione e altro - contesti in cui classificazioni inaccurate (ad esempio, a causa di bias) possono causare potenziali danni economici e sociali agli individui o ai gruppi interessati. Comprendere (ed eliminare o mitigare) i bias è fondamentale per l'equità nell'uso.
- Come: I ricercatori hanno riconosciuto che i benchmark esistenti utilizzavano prevalentemente soggetti con pelle chiara e hanno curato un nuovo dataset (oltre 1000 immagini) più bilanciato per genere e tipo di pelle. Il dataset è stato utilizzato per valutare l'accuratezza di tre prodotti di classificazione di genere (di Microsoft, IBM e Face++).
I risultati hanno mostrato che, sebbene l'accuratezza complessiva della classificazione fosse buona, c'era una differenza evidente nei tassi di errore tra vari sottogruppi - con errori di classificazione di genere più alti per donne o persone con pelle più scura, indicativi di bias.
Risultati Chiave: Ha aumentato la consapevolezza che la data science necessita di dataset più rappresentativi (sottogruppi bilanciati) e team più inclusivi (background diversificati) per riconoscere ed eliminare o mitigare tali bias nelle soluzioni AI. Sforzi di ricerca come questo sono anche fondamentali per molte organizzazioni nella definizione di principi e pratiche per AI responsabile per migliorare l'equità nei loro prodotti e processi AI.
Vuoi conoscere gli sforzi di ricerca rilevanti in Microsoft?
- Dai un'occhiata ai Progetti di Ricerca Microsoft sull'Intelligenza Artificiale.
- Esplora i progetti per studenti della Microsoft Research Data Science Summer School.
- Dai un'occhiata al progetto Fairlearn e alle iniziative AI Responsabile.
Data Science + Discipline Umanistiche
 |
|---|
| Data Science & Discipline Umanistiche Digitali - Sketchnote di @nitya |
Le Discipline Umanistiche Digitali sono state definite come "una raccolta di pratiche e approcci che combinano metodi computazionali con l'indagine umanistica". I progetti di Stanford come "rebooting history" e "poetic thinking" illustrano il collegamento tra Discipline Umanistiche Digitali e Data Science - enfatizzando tecniche come analisi di rete, visualizzazione delle informazioni, analisi spaziale e testuale che possono aiutarci a rivisitare dataset storici e letterari per derivare nuove intuizioni e prospettive.
Vuoi esplorare e ampliare un progetto in questo ambito?
Dai un'occhiata a "Emily Dickinson and the Meter of Mood" - un ottimo esempio di Jen Looper che si chiede come possiamo utilizzare la data science per rivisitare poesie familiari e rivalutare il loro significato e i contributi del loro autore in nuovi contesti. Ad esempio, possiamo prevedere la stagione in cui una poesia è stata scritta analizzandone il tono o il sentimento - e cosa ci dice questo sullo stato d'animo dell'autore nel periodo rilevante?
Per rispondere a questa domanda, seguiamo i passaggi del ciclo di vita della data science:
Acquisizione dei Dati- per raccogliere un dataset rilevante per l'analisi. Le opzioni includono l'uso di un'API (ad esempio, Poetry DB API) o il scraping di pagine web (ad esempio, Project Gutenberg) utilizzando strumenti come Scrapy.Pulizia dei Dati- spiega come il testo può essere formattato, sanitizzato e semplificato utilizzando strumenti di base come Visual Studio Code e Microsoft Excel.Analisi dei Dati- spiega come possiamo ora importare il dataset in "Notebooks" per l'analisi utilizzando pacchetti Python (come pandas, numpy e matplotlib) per organizzare e visualizzare i dati.Analisi del Sentimento- spiega come possiamo integrare servizi cloud come Text Analytics, utilizzando strumenti low-code come Power Automate per flussi di lavoro automatizzati di elaborazione dei dati.
Seguendo questo workflow, possiamo esplorare gli impatti stagionali sul sentimento delle poesie e aiutarci a formare le nostre prospettive sull'autore. Provalo tu stesso - poi estendi il notebook per porre altre domande o visualizzare i dati in nuovi modi!
Puoi utilizzare alcuni degli strumenti nel Digital Humanities toolkit per perseguire queste linee di indagine.
Data Science + Sostenibilità
 |
|---|
| Data Science & Sostenibilità - Sketchnote di @nitya |
L'Agenda 2030 per lo Sviluppo Sostenibile - adottata da tutti i membri delle Nazioni Unite nel 2015 - identifica 17 obiettivi, inclusi quelli che si concentrano su Proteggere il Pianeta dalla degradazione e dall'impatto del cambiamento climatico. L'iniziativa Microsoft Sustainability supporta questi obiettivi esplorando modi in cui le soluzioni tecnologiche possono sostenere e costruire futuri più sostenibili con un focus su 4 obiettivi - essere carbon negative, water positive, zero waste e bio-diverse entro il 2030.
Affrontare queste sfide in modo scalabile e tempestivo richiede un pensiero su scala cloud - e dati su larga scala. L'iniziativa Planetary Computer fornisce 4 componenti per aiutare i data scientist e gli sviluppatori in questo sforzo:
-
Catalogo Dati - con petabyte di dati sui sistemi terrestri (gratuiti e ospitati su Azure).
-
API Planetary - per aiutare gli utenti a cercare dati rilevanti nello spazio e nel tempo.
-
Hub - ambiente gestito per gli scienziati per elaborare enormi dataset geospaziali.
-
Applicazioni - mostrano casi d'uso e strumenti per intuizioni sulla sostenibilità. Il progetto Planetary Computer è attualmente in anteprima (a partire da settembre 2021) - ecco come puoi iniziare a contribuire a soluzioni sostenibili utilizzando la data science.
-
Richiedi l'accesso per iniziare l'esplorazione e connetterti con altri utenti.
-
Esplora la documentazione per comprendere i dataset e le API supportati.
-
Esplora applicazioni come Ecosystem Monitoring per trovare ispirazione su idee applicative.
Pensa a come puoi utilizzare la visualizzazione dei dati per rivelare o amplificare intuizioni rilevanti su temi come il cambiamento climatico e la deforestazione. Oppure considera come queste intuizioni possano essere utilizzate per creare nuove esperienze utente che motivino cambiamenti comportamentali per uno stile di vita più sostenibile.
Data Science + Studenti
Abbiamo parlato di applicazioni reali nell'industria e nella ricerca, ed esplorato esempi di applicazioni di data science nelle discipline umanistiche digitali e nella sostenibilità. Quindi, come puoi sviluppare le tue competenze e condividere la tua esperienza come principiante in data science?
Ecco alcuni esempi di progetti di data science per studenti che possono ispirarti.
- MSR Data Science Summer School con progetti su GitHub che esplorano argomenti come:
- Digitalizzazione della cultura materiale: esplorazione delle distribuzioni socio-economiche a Sirkap - da Ornella Altunyan e il suo team a Claremont, utilizzando ArcGIS StoryMaps.
🚀 Sfida
Cerca articoli che raccomandano progetti di data science adatti ai principianti - come queste 50 aree tematiche o queste 21 idee di progetto o questi 16 progetti con codice sorgente che puoi analizzare e rielaborare. E non dimenticare di scrivere un blog sui tuoi percorsi di apprendimento e condividere le tue intuizioni con tutti noi.
Quiz post-lezione
Quiz post-lezione
Revisione e studio autonomo
Vuoi esplorare altri casi d'uso? Ecco alcuni articoli rilevanti:
- 17 Applicazioni ed esempi di Data Science - Luglio 2021
- 11 Straordinarie applicazioni di Data Science nel mondo reale - Maggio 2021
- Data Science nel mondo reale - Raccolta di articoli
- 12 Applicazioni di Data Science nel mondo reale con esempi - Maggio 2024
- Data Science in: Educazione, Agricoltura, Finanza, Cinema, Sanità e altro.
Compito
Esplora un dataset del Planetary Computer
Disclaimer:
Questo documento è stato tradotto utilizzando il servizio di traduzione automatica Co-op Translator. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un traduttore umano. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.