박이든
3d446ddfdb
|
5 years ago | |
|---|---|---|
| .. | ||
| README.es.md | 5 years ago | |
| README.ko.md | 5 years ago | |
| assignment.ko.md | 5 years ago | |
README.ko.md
Data Science in the Real World
 |
|---|
| Data Science In The Real World - Sketchnote by @nitya |
We're almost at the end of this learning journey! 우리는
우리는 데이터 사이언스와 윤리의 정의로 시작해서, 데이터 분석과 시각화를 위한 여러가지 툴 & 테크닉을 살펴보았고, 데이터 사이언스의 라이프 사이클을 검토하였고, 클라우드 컴퓨팅 서비스를 통한 데이터 사이언스 워크플로우 확장 및 자동화에 대해 알아보았습니다. 그래서 이제 당신은 아마도 "내가 배운 것들을 현실에서는 어떻게 엮어서 사용하지?" 라는 의문점이 생길 것입니다.
이 레슨에서, 우리는 산업 전반에 걸친 데이터 과학의 실제 적용 사례를 살펴보고 연구, 디지털 인문학, 지속 가능성, 맥락에 대한 구체적인 예를 살펴보겠습니다. 학생 프로젝트 기회를 살펴보고 유용한 리소스로 마무리하여 학습 여정을 계속 이어나갈 수 있도록 도와드리겠습니다!
Pre-Lecture Quiz
Data Science + Industry
AI의 민주화 덕분에, 개발자들은 이제 사용자 경험과 개발 워크플로우에 대한 AI 중심의 의사 결정 및 데이터 기반 통찰력을 설계하고 통합하는 것이 더 쉬워지고 있습니다. 이것은 현실의 산업에서 데이터 사이언스가 어떻게 "적용" 되는지에 대한 몇 가지의 예입니다:
-
구글 독감 트렌드 (Google Flu Trends) 데이터 사이언스를 사용하여 검색어와 독감 트렌드를 연관시켰습니다. used data science to correlate search terms with flu trends. 이 접근 방식에는 결함이 있지만 데이터 기반 의료 예측의 가능성(및 과제)에 대한 인식을 높였습니다.
UPS 라우팅 예측 (UPS Routing Predictions) - UPS가 데이터 사이언스와 머신러닝을 이용하여 배송을 위한 최적의 루트를 날씨 조건, 교통 패턴, 배달 마감일 등을 고려하여 어떻게 예측하는지에 대해 설명합니다.
-
NYC 택시 루트 시각화 (NYC Taxicab Route Visualization) - 정보 자유법 (Freedom Of Information Laws) 을 사용하여 수집된 데이터는 뉴욕 택시 생활의 하루를 시각화하는 데 도움이 되었고, 뉴욕 택시들이 바쁜 도시를 어떻게 돌아다니는지 , 그들이 버는 돈, 그리고 매 24시간 동안의 여행 기간을 이해하는 데 도움이 되었습니다.
-
우버 데이터 사이언스 워크벤치 (Uber Data Science Workbench) - 요금, 안전, 사기 탐지 및 탐색 결정에 도움이 되는 데이터 분석 도구를 구축하기 위해 매일 수백만 개의 uber 여행에서 수집된 데이터(픽업 & 하차 위치, 이동 시간, 선호 경로 등)를 사용합니다.
-
스포츠 분석 (Sports Analytics) - 인재 스카우트, 스포츠 도박, 재고/장소 관리를 적용한 예측 분석 (팀 및 선수 분석 - Moneyball 을 생각해보세요 - 그리고 팬 관리) 및 데이터 시각화 (팀 & 팬 대시보드, 게임 등) 에 중점을 둡니다.
-
금융 산업에서의 데이터 사이언스 (Data Science in Banking) - 리스크 모델링 및 부정 행위 방지, 고객 세분화, 실시간 예측 및 추천 시스템에 이르기까지 다양한 적용을 통해 금융 산업에서 데이터 과학의 가치를 강조합니다. 예측 분석은 또한 신용 점수 (credit scores) 와 같은 중요한 척도를 도출합니다.
-
헬스케어에서의 데이터 사이언스 (Data Science in Healthcare) - 의료 영상(예: MRI, X-Ray, CT-Scan), 유전체학(DNA 시퀀싱), 약물 개발(위험 평가, 성공 예측), 예측 분석(환자 치료 & 공급 물류), 질병 추적 & 예방 등의 적용을 강조합니다.
이미지 출처: Data Flair: 6 Amazing Data Science Applications
위 그림은 데이터 사이언스 기술을 적용하기 위한 다른 도메인과 예를 보여줍니다. 더 많은 적용 사례를 보고싶나요? 아래의 Review & Self Study를 살펴보세요.
Data Science + Research
 |
|---|
| Data Science & Research - Sketchnote by @nitya |
현실 속에서 종종 규모에 맞는 산업 활용 사례에 초점을 맞추지만, 연구 에 적용된 것과 프로젝트는 다음 두 가지 관점에서 유용할 수 있습니다:
- 혁신 기회 - 차세대 애플리케이션을 위한 선진 개념의 신속한 프로토타이핑 및 사용자 경험의 테스트를 살펴봅니다.
- 배포 과제 - 현실 세계에서 데이터 사이언스 기술의 잠재적인 피해 또는 의도하지 않은 결과를 조사합니다.
학생들에게 이러한 연구 프로젝트는 주제에 대한 이해를 향상시킬 수 있는 학습 기회와 협업 기회를 제공할 수 있으며, 관심 분야에서 일하는 관련 직원 또는 팀과의 인식과 참여를 넓힐 수 있습니다. 그렇다면 연구 프로젝트는 어떻게 생겼고 어떻게 영향을 미칠 수 있을까요?
이 예제를 한 번 봅시다 - Joy Buolamwini (MIT Media Labs)의 MIT 젠더 쉐이즈 연구 (MIT Gender Shades Study)와 Timnit Gebru (당시에 Microsoft Research)가 공동 저술한 연구 (signature research paper)
- 무엇: 이 연구 프로젝트의 목적은 성별과 피부 타입에 기초하여 자동화된 얼굴 분석 알고리즘과 데이터 세트에 존재하는 편향을 평가하는 것 입니다.
- 왜: 얼굴 분석은 법 집행, 공항 보안, 고용 시스템 등에서 사용됩니다 - 부정확한 분류(예: 편향으로 인한)로 인해 영향을 받는 개인이나 집단에 잠재적인 경제적, 사회적 피해를 일으킬 수 있는 상황이 생길 수 있습니다. 편향을 이해하는 (그리고 제거 또는 완화하는) 것이 사용 공정성의 핵심입니다.
- 어떻게: 연구원들은 기존 벤치마크에서 주로 밝은 피부의 피사체를 사용했으며, 성별과 피부 유형에 따라 보다 균형 잡힌 새로운 데이터 셋 (1000개 이상의 이미지)을 큐레이션했다고 밝혔습니다. 데이터 셋은 세 가지 성별 분류 제품 (Microsoft, IBM & Face++)의 정확성을 평가하는 데 사용되었습니다.
그 결과 전체적인 분류 정확도는 괜찮았지만, 다양한 하위 그룹 간 오류율에서 현저한 차이가 있었습니다. misgendering은 여성 또는 피부색이 어두운 사람의 경우에 더 높은 편향을 나타냈습니다.
주요 결과: 데이터 사이언스가 초기 AI 솔루션에서 이러한 편견을 인식하고 완화하기 위해 더 많은 대표적인 데이터 셋 (균형 있는 하위 그룹)과 더 많은 포괄적인 팀 (다양한 배경)을 필요로 한다는 인식을 높였습니다. 이러한 연구 노력은 AI 제품 및 프로세스 전반의 공정성을 개선하기 위해 _책임 있는 AI_에 대한 원칙과 관행을 정의하는 많은 조직에서도 중요한 역할을 합니다.
Raised awareness that data science needs more representative datasets (balanced subgroups) and more inclusive teams (diverse backgrounds) to recognize and eliminate or mitigate such biases earlier in AI solutions.
Research efforts like this are also instrumental in many organizations defining principles and practices for responsible AI to improve fairness across their AI products and processes.
Want to learn about relevant research efforts in Microsoft?
- Check out Microsoft Research Projects on Artificial Intelligence.
- Explore student projects from Microsoft Research Data Science Summer School.
- Check out the Fairlearn project and Responsible AI initiatives.
Data Science + Humanities
 |
|---|
| Data Science & Digital Humanities - Sketchnote by @nitya |
Digital Humanities has been defined as "a collection of practices and approaches combining computational methods with humanistic inquiry". Stanford projects like "rebooting history" and "poetic thinking" illustrate the linkage between Digital Humanities and Data Science - emphasizing techniques like network analysis, information visualization, spatial and text analysis that can help us revisit historical and literary data sets to derive new insights and perspective.
Want to explore and extend a project in this space?
Check out "Emily Dickinson and the Meter of Mood" - a great example from Jen Looper that asks how we can use data science to revisit familiar poetry and re-evaluate its meaning and the contributions of its author in new contexts. For instance, can we predict the season in which a poem was authored by analyzing its tone or sentiment - and what does this tell us about the author's state of mind over the relevant period?
To answer that question, we follow the steps of our data science lifecycle:
Data Acquisition- to collect a relevant dataset for analysis. Options including using an API ( e.g., Poetry DB API) or scraping web pages (e.g., Project Gutenberg) using tools like Scrapy.Data Cleaning- explains how text can be formatted, sanitized and simplified using basic tools like Visual Studio Code and Microsoft Excel.Data Analysis- explains how we can now import the dataset into "Notebooks" for analysis using Python packages (like pandas, numpy and matplotlib) to organize and visualize the data.Sentiment Analysis- explains how we can integrate cloud services like Text Analytics, using low-code tools like Power Automate for automated data processing workflows.
Using this workflow, we can explore the seasonal impacts on the sentiment of the poems, and help us fashion our own perspectives on the author. Try it out yourself - then extend the notebook to ask other questions or visualize the data in new ways!
You can use some of the tools in the Digital Humanities toolkit to pursue these avenues of inquiry
Data Science + Sustainability
 |
|---|
| Data Science & Sustainability - Sketchnote by @nitya |
The 2030 Agenda For Sustainable Development - adopted by all United Nations members in 2015 - identifies 17 goals including ones that focus on Protecting the Planet from degradation and the impact of climate change. The Microsoft Sustainability initiative supports these goals by exploring ways in which technology solutions can support and build more sustainable futures with a focus on 4 goals - being carbon negative, water positive, zero waste, and bio-diverse by 2030.
Tackling these challenges in a scalable and timely manner requires cloud-scale thinking - and large scale data. The Planetary Computer initiative provides 4 components to help data scientists and developers in this effort:
- Data Catalog - with petabytes of Earth Systems data (free & Azure-hosted).
- Planetary API - to help users search for relevant data across space and time.
- Hub - managed environment for scientists to process massive geospatial datasets.
- Applications - showcase use cases & tools for sustainability insights.
The Planetary Computer Project is currently in preview (as of Sep 2021) - here's how you can get started contributing to sustainability solutions using data science.
- Request access to start exploration and connect with peers.
- Explore documentation to understand supported datasets and APIs.
- Explore applications like Ecosystem Monitoring for inspiration on application ideas.
Think about how you can use data visualization to expose or amplify relevant insights into areas like climate change and deforestation. Or think about how insights can be used to create new user experiences that motivate behavioral changes for more sustainable living.
Data Science + Students
We've talked about real-world applications in industry and research, and explored data science application examples in digital humanities and sustainability. So how can you build your skills and share your expertise as data science beginners?
Here are some examples of data science student projects to inspire you.
- MSR Data Science Summer School with GitHub projects exploring topics like:
- Digitizing Material Culture: Exploring socio-economic distributions in Sirkap- from Ornella Altunyan and team at Claremont, using using ArcGIS StoryMaps.
🚀 Challenge
Search for articles that recommend data science projects that are beginner friendly - like these 50 topic areas or these 21 project ideas or these 16 projects with source code that you can deconstruct and remix. And don't forget to blog about your learning journeys and share your insights with all of us.
Post-Lecture Quiz
Review & Self Study
Want to explore more use cases? Here are a few relevant articles:
-
17 Data Science Applications and Examples - Jul 2021
-
11 Breathtaking Data Science Applications in Real World - May 2021
-
Data Science In The Real World - Article Collection
-
Data Science In: Education, Agriculture, Finance, Movies & more.
Assignment