leestott
0f1def896e
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 3 weeks ago | |
README.md
Ciência de Dados no Mundo Real
 |
|---|
| Ciência de Dados no Mundo Real - Sketchnote por @nitya |
Estamos quase no fim desta jornada de aprendizado!
Começamos com definições de ciência de dados e ética, exploramos várias ferramentas e técnicas para análise e visualização de dados, revisamos o ciclo de vida da ciência de dados e analisamos como escalar e automatizar fluxos de trabalho de ciência de dados com serviços de computação em nuvem. Então, você provavelmente está se perguntando: "Como exatamente posso aplicar tudo isso em contextos do mundo real?"
Nesta lição, vamos explorar aplicações reais da ciência de dados em diferentes indústrias e mergulhar em exemplos específicos nos contextos de pesquisa, humanidades digitais e sustentabilidade. Também veremos oportunidades de projetos para estudantes e concluiremos com recursos úteis para ajudar você a continuar sua jornada de aprendizado!
Quiz Pré-Aula
Quiz pré-aula
Ciência de Dados + Indústria
Graças à democratização da IA, os desenvolvedores estão encontrando mais facilidade para projetar e integrar tomadas de decisão baseadas em IA e insights orientados por dados em experiências de usuário e fluxos de trabalho de desenvolvimento. Aqui estão alguns exemplos de como a ciência de dados é "aplicada" em contextos reais na indústria:
-
Google Flu Trends usou ciência de dados para correlacionar termos de busca com tendências de gripe. Embora a abordagem tenha falhas, ela trouxe à tona as possibilidades (e desafios) de previsões de saúde baseadas em dados.
-
Previsões de Rotas da UPS - explica como a UPS utiliza ciência de dados e aprendizado de máquina para prever rotas ideais de entrega, considerando condições climáticas, padrões de tráfego, prazos de entrega e mais.
-
Visualização de Rotas de Táxi em NYC - dados obtidos por meio das Leis de Liberdade de Informação ajudaram a visualizar um dia na vida dos táxis de NYC, permitindo entender como eles navegam pela cidade movimentada, o dinheiro que ganham e a duração das viagens ao longo de um período de 24 horas.
-
Uber Data Science Workbench - utiliza dados (sobre locais de embarque e desembarque, duração das viagens, rotas preferidas etc.) coletados de milhões de viagens diárias para construir uma ferramenta de análise de dados que ajuda em decisões de preços, segurança, detecção de fraudes e navegação.
-
Análise Esportiva - foca em análise preditiva (análise de equipes e jogadores - pense em Moneyball - e gestão de fãs) e visualização de dados (painéis de equipes e fãs, jogos etc.) com aplicações como recrutamento de talentos, apostas esportivas e gestão de inventário/locais.
-
Ciência de Dados no Setor Bancário - destaca o valor da ciência de dados na indústria financeira com aplicações que vão desde modelagem de risco e detecção de fraudes até segmentação de clientes, previsão em tempo real e sistemas de recomendação. A análise preditiva também impulsiona medidas críticas como pontuação de crédito.
-
Ciência de Dados na Saúde - destaca aplicações como imagem médica (e.g., ressonância magnética, raio-X, tomografia), genômica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados com pacientes e logística de suprimentos), rastreamento e prevenção de doenças etc.
Crédito da Imagem: Data Flair: 6 Amazing Data Science Applications
A figura mostra outros domínios e exemplos de aplicação de técnicas de ciência de dados. Quer explorar outras aplicações? Confira a seção Revisão e Autoestudo abaixo.
Ciência de Dados + Pesquisa
 |
|---|
| Ciência de Dados & Pesquisa - Sketchnote por @nitya |
Embora as aplicações do mundo real frequentemente se concentrem em casos de uso na indústria em larga escala, as aplicações e projetos de pesquisa podem ser úteis sob duas perspectivas:
- oportunidades de inovação - explorar prototipagem rápida de conceitos avançados e testar experiências de usuário para aplicações de próxima geração.
- desafios de implementação - investigar possíveis danos ou consequências não intencionais das tecnologias de ciência de dados em contextos reais.
Para estudantes, esses projetos de pesquisa podem oferecer oportunidades de aprendizado e colaboração que melhoram sua compreensão do tema e ampliam sua conscientização e engajamento com pessoas ou equipes relevantes que trabalham em áreas de interesse. Então, como são os projetos de pesquisa e como eles podem causar impacto?
Vamos analisar um exemplo - o MIT Gender Shades Study de Joy Buolamwini (MIT Media Labs) com um artigo de pesquisa de destaque coautorado com Timnit Gebru (então na Microsoft Research) que focou em:
- O quê: O objetivo do projeto de pesquisa era avaliar o viés presente em algoritmos e conjuntos de dados de análise facial automatizada com base em gênero e tipo de pele.
- Por quê: A análise facial é usada em áreas como aplicação da lei, segurança em aeroportos, sistemas de contratação e mais - contextos onde classificações imprecisas (e.g., devido ao viés) podem causar danos econômicos e sociais potenciais a indivíduos ou grupos afetados. Entender (e eliminar ou mitigar) esses vieses é essencial para a equidade no uso.
- Como: Os pesquisadores perceberam que os benchmarks existentes usavam predominantemente sujeitos de pele mais clara e criaram um novo conjunto de dados (mais de 1000 imagens) que era mais equilibrado por gênero e tipo de pele. O conjunto de dados foi usado para avaliar a precisão de três produtos de classificação de gênero (da Microsoft, IBM e Face++).
Os resultados mostraram que, embora a precisão geral da classificação fosse boa, havia uma diferença perceptível nas taxas de erro entre vários subgrupos - com erros de classificação de gênero sendo mais altos para mulheres ou pessoas com pele mais escura, indicativo de viés.
Principais Resultados: Aumentou a conscientização de que a ciência de dados precisa de mais conjuntos de dados representativos (subgrupos equilibrados) e mais equipes inclusivas (diversidade de origens) para reconhecer e eliminar ou mitigar esses vieses mais cedo em soluções de IA. Esforços de pesquisa como este também são fundamentais para muitas organizações definirem princípios e práticas para IA responsável visando melhorar a equidade em seus produtos e processos de IA.
Quer saber mais sobre esforços de pesquisa relevantes na Microsoft?
- Confira Projetos de Pesquisa da Microsoft em Inteligência Artificial.
- Explore projetos de estudantes da Microsoft Research Data Science Summer School.
- Confira o projeto Fairlearn e as iniciativas de IA Responsável.
Ciência de Dados + Humanidades
 |
|---|
| Ciência de Dados & Humanidades Digitais - Sketchnote por @nitya |
Humanidades Digitais são definidas como "uma coleção de práticas e abordagens que combinam métodos computacionais com investigação humanística". Projetos Stanford como "rebooting history" e "poetic thinking" ilustram a ligação entre Humanidades Digitais e Ciência de Dados - enfatizando técnicas como análise de redes, visualização de informações, análise espacial e textual que podem nos ajudar a revisitar conjuntos de dados históricos e literários para obter novos insights e perspectivas.
Quer explorar e expandir um projeto nesta área?
Confira "Emily Dickinson and the Meter of Mood" - um ótimo exemplo de Jen Looper que pergunta como podemos usar ciência de dados para revisitar poesias familiares e reavaliar seu significado e as contribuições de seu autor em novos contextos. Por exemplo, podemos prever a estação do ano em que um poema foi escrito analisando seu tom ou sentimento - e o que isso nos diz sobre o estado de espírito do autor durante o período relevante?
Para responder a essa pergunta, seguimos os passos do ciclo de vida da ciência de dados:
Aquisição de Dados- para coletar um conjunto de dados relevante para análise. As opções incluem usar uma API (e.g., Poetry DB API) ou fazer scraping de páginas web (e.g., Project Gutenberg) usando ferramentas como Scrapy.Limpeza de Dados- explica como o texto pode ser formatado, sanitizado e simplificado usando ferramentas básicas como Visual Studio Code e Microsoft Excel.Análise de Dados- explica como podemos importar o conjunto de dados para "Notebooks" para análise usando pacotes Python (como pandas, numpy e matplotlib) para organizar e visualizar os dados.Análise de Sentimento- explica como podemos integrar serviços em nuvem como Text Analytics, usando ferramentas de baixo código como Power Automate para fluxos de trabalho automatizados de processamento de dados.
Usando esse fluxo de trabalho, podemos explorar os impactos sazonais no sentimento dos poemas e nos ajudar a formar nossas próprias perspectivas sobre o autor. Experimente você mesmo - depois expanda o notebook para fazer outras perguntas ou visualizar os dados de novas maneiras!
Você pode usar algumas das ferramentas no Digital Humanities toolkit para seguir essas linhas de investigação.
Ciência de Dados + Sustentabilidade
 |
|---|
| Ciência de Dados & Sustentabilidade - Sketchnote por @nitya |
A Agenda 2030 para o Desenvolvimento Sustentável - adotada por todos os membros das Nações Unidas em 2015 - identifica 17 objetivos, incluindo aqueles que focam em Proteger o Planeta contra a degradação e os impactos das mudanças climáticas. A iniciativa Microsoft Sustainability apoia esses objetivos explorando maneiras pelas quais soluções tecnológicas podem promover e construir futuros mais sustentáveis com um foco em 4 metas - ser carbono negativo, positivo em água, zero desperdício e biodiverso até 2030.
Enfrentar esses desafios de forma escalável e oportuna exige pensamento em escala de nuvem - e grandes volumes de dados. A iniciativa Planetary Computer fornece 4 componentes para ajudar cientistas de dados e desenvolvedores nesse esforço:
-
Catálogo de Dados - com petabytes de dados de sistemas terrestres (gratuitos e hospedados no Azure).
-
API Planetária - para ajudar os usuários a buscar dados relevantes no espaço e no tempo.
-
Hub - ambiente gerenciado para cientistas processarem grandes conjuntos de dados geoespaciais.
-
Aplicações - mostram casos de uso e ferramentas para insights sobre sustentabilidade. O Projeto Planetary Computer está atualmente em fase de pré-visualização (a partir de setembro de 2021) - veja como você pode começar a contribuir para soluções de sustentabilidade usando ciência de dados.
-
Solicite acesso para iniciar a exploração e se conectar com outros profissionais.
-
Explore a documentação para entender os conjuntos de dados e APIs suportados.
-
Explore aplicações como Monitoramento de Ecossistemas para se inspirar em ideias de aplicações.
Pense em como você pode usar visualização de dados para expor ou amplificar insights relevantes em áreas como mudanças climáticas e desmatamento. Ou reflita sobre como esses insights podem ser usados para criar novas experiências de usuário que motivem mudanças comportamentais para uma vida mais sustentável.
Ciência de Dados + Estudantes
Falamos sobre aplicações do mundo real na indústria e na pesquisa, e exploramos exemplos de aplicações de ciência de dados nas humanidades digitais e na sustentabilidade. Então, como você pode desenvolver suas habilidades e compartilhar sua expertise como iniciante em ciência de dados?
Aqui estão alguns exemplos de projetos de estudantes em ciência de dados para inspirar você.
- Escola de Verão de Ciência de Dados da MSR com projetos no GitHub explorando tópicos como:
- Digitalizando a Cultura Material: Explorando distribuições socioeconômicas em Sirkap - de Ornella Altunyan e equipe em Claremont, usando ArcGIS StoryMaps.
🚀 Desafio
Pesquise artigos que recomendem projetos de ciência de dados para iniciantes - como essas 50 áreas temáticas ou essas 21 ideias de projetos ou esses 16 projetos com código-fonte que você pode desconstruir e remixar. E não se esqueça de blogar sobre suas jornadas de aprendizado e compartilhar seus insights com todos nós.
Questionário Pós-Aula
Questionário pós-aula
Revisão e Autoestudo
Quer explorar mais casos de uso? Aqui estão alguns artigos relevantes:
- 17 Aplicações e Exemplos de Ciência de Dados - Jul 2021
- 11 Aplicações Impressionantes de Ciência de Dados no Mundo Real - Mai 2021
- Ciência de Dados no Mundo Real - Coleção de Artigos
- 12 Aplicações Reais de Ciência de Dados com Exemplos - Mai 2024
- Ciência de Dados em: Educação, Agricultura, Finanças, Filmes, Saúde e mais.
Tarefa
Explore um Conjunto de Dados do Planetary Computer
Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte oficial. Para informações críticas, recomenda-se a tradução profissional feita por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.