박이든
469d826295
|
5 years ago | |
|---|---|---|
| .. | ||
| README.es.md | 5 years ago | |
| README.ko.md | 5 years ago | |
README.ko.md
Data Science in the Real World
 |
|---|
| Data Science In The Real World - Sketchnote by @nitya |
We're almost at the end of this learning journey! 우리는
우리는 데이터 사이언스와 윤리의 정의로 시작해서, 데이터 분석과 시각화를 위한 여러가지 툴 & 테크닉을 살펴보았고, 데이터 사이언스의 라이프 사이클을 검토하였고, 클라우드 컴퓨팅 서비스를 통한 데이터 사이언스 워크플로우 확장 및 자동화에 대해 알아보았습니다. 그래서 이제 당신은 아마도 "내가 배운 것들을 현실에서는 어떻게 엮어서 사용하지?" 라는 의문점이 생길 것입니다.
이 레슨에서, 우리는 산업 전반에 걸친 데이터 과학의 실제 적용 사례를 살펴보고 연구, 디지털 인문학, 지속 가능성, 맥락에 대한 구체적인 예를 살펴보겠습니다. 학생 프로젝트 기회를 살펴보고 유용한 리소스로 마무리하여 학습 여정을 계속 이어나갈 수 있도록 도와드리겠습니다!
Pre-Lecture Quiz
Data Science + Industry
AI의 민주화 덕분에, 개발자들은 이제 사용자 경험과 개발 워크플로우에 대한 AI 중심의 의사 결정 및 데이터 기반 통찰력을 설계하고 통합하는 것이 더 쉬워지고 있습니다. 이것은 현실의 산업에서 데이터 사이언스가 어떻게 "적용" 되는지에 대한 몇 가지의 예입니다:
-
구글 독감 트렌드 (Google Flu Trends) 데이터 사이언스를 사용하여 검색어와 독감 트렌드를 연관시켰습니다. used data science to correlate search terms with flu trends. 이 접근 방식에는 결함이 있지만 데이터 기반 의료 예측의 가능성(및 과제)에 대한 인식을 높였습니다.
UPS 라우팅 예측 (UPS Routing Predictions) - UPS가 데이터 사이언스와 머신러닝을 이용하여 배송을 위한 최적의 루트를 날씨 조건, 교통 패턴, 배달 마감일 등을 고려하여 어떻게 예측하는지에 대해 설명합니다.
-
NYC 택시 루트 시각화 (NYC Taxicab Route Visualization) - 정보 자유법 (Freedom Of Information Laws) 을 사용하여 수집된 데이터는 뉴욕 택시 생활의 하루를 시각화하는 데 도움이 되었고, 뉴욕 택시들이 바쁜 도시를 어떻게 돌아다니는지 , 그들이 버는 돈, 그리고 매 24시간 동안의 여행 기간을 이해하는 데 도움이 되었습니다.
-
우버 데이터 사이언스 워크벤치 (Uber Data Science Workbench) - 요금, 안전, 사기 탐지 및 탐색 결정에 도움이 되는 데이터 분석 도구를 구축하기 위해 매일 수백만 개의 uber 여행에서 수집된 데이터(픽업 & 하차 위치, 이동 시간, 선호 경로 등)를 사용합니다.
-
스포츠 분석 (Sports Analytics) - 인재 스카우트, 스포츠 도박, 재고/장소 관리를 적용한 예측 분석 (팀 및 선수 분석 - Moneyball 을 생각해보세요 - 그리고 팬 관리) 및 데이터 시각화 (팀 & 팬 대시보드, 게임 등) 에 중점을 둡니다.
-
금융 산업에서의 데이터 사이언스 (Data Science in Banking) - 리스크 모델링 및 부정 행위 방지, 고객 세분화, 실시간 예측 및 추천 시스템에 이르기까지 다양한 적용을 통해 금융 산업에서 데이터 과학의 가치를 강조합니다. 예측 분석은 또한 신용 점수 (credit scores) 와 같은 중요한 척도를 도출합니다.
-
헬스케어에서의 데이터 사이언스 (Data Science in Healthcare) - 의료 영상(예: MRI, X-Ray, CT-Scan), 유전체학(DNA 시퀀싱), 약물 개발(위험 평가, 성공 예측), 예측 분석(환자 치료 & 공급 물류), 질병 추적 & 예방 등의 적용을 강조합니다.
이미지 출처: Data Flair: 6 Amazing Data Science Applications
위 그림은 데이터 사이언스 기술을 적용하기 위한 다른 도메인과 예를 보여줍니다. 더 많은 적용 사례를 보고싶나요? 아래의 Review & Self Study를 살펴보세요.
Data Science + Research
 |
|---|
| Data Science & Research - Sketchnote by @nitya |
현실 속에서 종종 규모에 맞는 산업 활용 사례에 초점을 맞추지만, 연구 에 적용된 것과 프로젝트는 다음 두 가지 관점에서 유용할 수 있습니다:
- 혁신 기회 - 차세대 애플리케이션을 위한 선진 개념의 신속한 프로토타이핑 및 사용자 경험의 테스트를 살펴봅니다.
- 배포 과제 - 현실 세계에서 데이터 사이언스 기술의 잠재적인 피해 또는 의도하지 않은 결과를 조사합니다.
학생들에게 이러한 연구 프로젝트는 주제에 대한 이해를 향상시킬 수 있는 학습 기회와 협업 기회를 제공할 수 있으며, 관심 분야에서 일하는 관련 직원 또는 팀과의 인식과 참여를 넓힐 수 있습니다. 그렇다면 연구 프로젝트는 어떻게 생겼고 어떻게 영향을 미칠 수 있을까요?
이 예제를 한 번 봅시다 - Joy Buolamwini (MIT Media Labs)의 MIT 젠더 쉐이즈 연구 (MIT Gender Shades Study)의 연구 (signature research paper) co-authored with Timnit Gebru (then at Microsoft Research) that focused on
- 무엇: The objective of the research project was to evaluate bias present in automated facial analysis algorithms and datasets based on gender and skin type.
- Why: Facial analysis is used in areas like law enforcement, airport security, hiring systems and more - contexts where inaccurate classifications (e.g., due to bias) can cause potential economic and social harms to affected individuals or groups. Understanding (and eliminating or mitigating) biases is key to fairness in usage.
- How: Researchers recongized that existing benchmarks used predominantly lighter-skinned subjects, and curated a new data set (1000+ images) that was more balanced by gender and skin type. The data set was used to evaluate the accuracy of three gender classification products (from Microsoft, IBM & Face++).
Results showed that though overall classification accuracy was good, there was a noticeable difference in error rates between various subgroups - with misgendering being higher for females or persons with darker skin types, indicative of bias.
Key Outcomes: Raised awareness that data science needs more representative datasets (balanced subgroups) and more inclusive teams (diverse backgrounds) to recognize and eliminate or mitigate such biases earlier in AI solutions. Research efforts like this are also instrumental in many organizations defining principles and practices for responsible AI to improve fairness across their AI products and processes.
Want to learn about relevant research efforts in Microsoft?
- Check out Microsoft Research Projects on Artificial Intelligence.
- Explore student projects from Microsoft Research Data Science Summer School.
- Check out the Fairlearn project and Responsible AI initiatives.
Data Science + Humanities
 |
|---|
| Data Science & Digital Humanities - Sketchnote by @nitya |
Digital Humanities has been defined as "a collection of practices and approaches combining computational methods with humanistic inquiry". Stanford projects like "rebooting history" and "poetic thinking" illustrate the linkage between Digital Humanities and Data Science - emphasizing techniques like network analysis, information visualization, spatial and text analysis that can help us revisit historical and literary data sets to derive new insights and perspective.
Want to explore and extend a project in this space?
Check out "Emily Dickinson and the Meter of Mood" - a great example from Jen Looper that asks how we can use data science to revisit familiar poetry and re-evaluate its meaning and the contributions of its author in new contexts. For instance, can we predict the season in which a poem was authored by analyzing its tone or sentiment - and what does this tell us about the author's state of mind over the relevant period?
To answer that question, we follow the steps of our data science lifecycle:
Data Acquisition- to collect a relevant dataset for analysis. Options including using an API ( e.g., Poetry DB API) or scraping web pages (e.g., Project Gutenberg) using tools like Scrapy.Data Cleaning- explains how text can be formatted, sanitized and simplified using basic tools like Visual Studio Code and Microsoft Excel.Data Analysis- explains how we can now import the dataset into "Notebooks" for analysis using Python packages (like pandas, numpy and matplotlib) to organize and visualize the data.Sentiment Analysis- explains how we can integrate cloud services like Text Analytics, using low-code tools like Power Automate for automated data processing workflows.
Using this workflow, we can explore the seasonal impacts on the sentiment of the poems, and help us fashion our own perspectives on the author. Try it out yourself - then extend the notebook to ask other questions or visualize the data in new ways!
You can use some of the tools in the Digital Humanities toolkit to pursue these avenues of inquiry
Data Science + Sustainability
 |
|---|
| Data Science & Sustainability - Sketchnote by @nitya |
The 2030 Agenda For Sustainable Development - adopted by all United Nations members in 2015 - identifies 17 goals including ones that focus on Protecting the Planet from degradation and the impact of climate change. The Microsoft Sustainability initiative supports these goals by exploring ways in which technology solutions can support and build more sustainable futures with a focus on 4 goals - being carbon negative, water positive, zero waste, and bio-diverse by 2030.
Tackling these challenges in a scalable and timely manner requires cloud-scale thinking - and large scale data. The Planetary Computer initiative provides 4 components to help data scientists and developers in this effort:
- Data Catalog - with petabytes of Earth Systems data (free & Azure-hosted).
- Planetary API - to help users search for relevant data across space and time.
- Hub - managed environment for scientists to process massive geospatial datasets.
- Applications - showcase use cases & tools for sustainability insights.
The Planetary Computer Project is currently in preview (as of Sep 2021) - here's how you can get started contributing to sustainability solutions using data science.
- Request access to start exploration and connect with peers.
- Explore documentation to understand supported datasets and APIs.
- Explore applications like Ecosystem Monitoring for inspiration on application ideas.
Think about how you can use data visualization to expose or amplify relevant insights into areas like climate change and deforestation. Or think about how insights can be used to create new user experiences that motivate behavioral changes for more sustainable living.
Data Science + Students
We've talked about real-world applications in industry and research, and explored data science application examples in digital humanities and sustainability. So how can you build your skills and share your expertise as data science beginners?
Here are some examples of data science student projects to inspire you.
- MSR Data Science Summer School with GitHub projects exploring topics like:
- Digitizing Material Culture: Exploring socio-economic distributions in Sirkap- from Ornella Altunyan and team at Claremont, using using ArcGIS StoryMaps.
🚀 Challenge
Search for articles that recommend data science projects that are beginner friendly - like these 50 topic areas or these 21 project ideas or these 16 projects with source code that you can deconstruct and remix. And don't forget to blog about your learning journeys and share your insights with all of us.
Post-Lecture Quiz
Review & Self Study
Want to explore more use cases? Here are a few relevant articles:
-
17 Data Science Applications and Examples - Jul 2021
-
11 Breathtaking Data Science Applications in Real World - May 2021
-
Data Science In The Real World - Article Collection
-
Data Science In: Education, Agriculture, Finance, Movies & more.
Assignment