> This repository includes 50+ language translations which significantly increases the download size. To clone without translations, use sparse checkout:
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Data science - Wikipedia Data science From Wikipedia, the free encyclopedia Jump to navigation Jump to search Interdisciplinary field of study focused on deriving knowledge and insights from data Not to be confused with information science . The existence of Comet NEOWISE (here depicted as a series of red dots) was discovered by analyzing astronomical survey data acquired by a space telescope , the Wide-field Infrared Survey Explorer . Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection AutoML Association rules Reinforcement learning Structured prediction Feature engineering Feature learning Online learning Semi-supervised learning Unsupervised learning Learning to rank Grammar induction Supervised learning ( classification • regression ) Decision trees Ensembles Bagging Boosting Random forest k -NN Linear regression Naive Bayes Artificial neural networks Logistic regression Perceptron Relevance vector machine \n"
"Data science From Wikipedia, the free encyclopedia Interdisciplinary field of study focused on deriving knowledge and insights from data Data science is an interdisciplinary academic field that uses statistics, scientific computing, scientific methods, processes, algorithms and systems to extract or extrapolate knowledge and insights from noisy, structured, and unstructured data. Data science also integrates domain knowledge from the underlying application domain. Data science is multifaceted and can be described as a science, a research paradigm, a research method, a discipline, a workflow, and a profession.\n"
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Machine learning - Wikipedia Machine learning From Wikipedia, the free encyclopedia Jump to navigation Jump to search Study of algorithms that improve automatically through experience For the journal, see Machine Learning (journal) . \"Statistical learning\" redirects here. For statistical learning in linguistics, see statistical learning in language acquisition . Part of a series on Artificial intelligence Major goals Artificial general intelligence Planning Computer vision General game playing Knowledge reasoning Machine learning Natural language processing Robotics Approaches Symbolic Deep learning Bayesian networks Evolutionary algorithms Philosophy Ethics Existential risk Turing test Chinese room Control problem Friendly AI History Timeline Progress AI winter Technology Applications Projects Programming languages Glossary Glossary v t e Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection Data Cleaning AutoML Associ\n"
"Machine learning From Wikipedia, the free encyclopedia Study of algorithms that improve automatically through experience Machine learning (ML) is a field of study in artificial intelligence concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks without explicit instructions. Recently, artificial neural networks have been able to surpass many previous approaches in performance. ML finds application in many fields, including natural language processing, computer vision, speech recognition, email filtering, agriculture, and medicine.\n"
[](https://github.com/codespaces/new?hide_repo_select=true&ref=main&repo=344191198)
[](https://aka.ms/langchain4j-for-beginners)
[](https://aka.ms/langchainjs-for-beginners?WT.mc_id=m365-94501-dwahlin)
[](https://github.com/microsoft/langchain-for-beginners?WT.mc_id=m365-94501-dwahlin)
---
### ਐਜ਼ੂਰ / ਐਜ / MCP / ਏਜੰਟ
### ਐਜ਼ੂਰ / ਏਜ / MCP / ਏਜੰਟਸ
[](https://github.com/microsoft/AZD-for-beginners?WT.mc_id=academic-105485-koreyst)
[](https://github.com/microsoft/edgeai-for-beginners?WT.mc_id=academic-105485-koreyst)
[](https://github.com/microsoft/mcp-for-beginners?WT.mc_id=academic-105485-koreyst)
@ -206,7 +219,7 @@
---
### ਜੇਨੇਰੇਟਿਵ AI ਸਿਰੀਜ਼
### ਜਨੇਰੇਟਿਵ AI ਸੀਰੀਜ਼
[](https://github.com/microsoft/generative-ai-for-beginners?WT.mc_id=academic-105485-koreyst)
[-9333EA?style=for-the-badge&labelColor=E5E7EB&color=9333EA)](https://github.com/microsoft/Generative-AI-for-beginners-dotnet?WT.mc_id=academic-105485-koreyst)
[-C084FC?style=for-the-badge&labelColor=E5E7EB&color=C084FC)](https://github.com/microsoft/generative-ai-for-beginners-java?WT.mc_id=academic-105485-koreyst)
@ -214,7 +227,7 @@
---
### ਮੁੱਖ ਸਿੱਖਿਆ
### ਕੋਰ ਸਿੱਖਿਆ
[](https://aka.ms/ml-beginners?WT.mc_id=academic-105485-koreyst)
[](https://aka.ms/datascience-beginners?WT.mc_id=academic-105485-koreyst)
[](https://aka.ms/ai-beginners?WT.mc_id=academic-105485-koreyst)
@ -225,27 +238,27 @@
---
### ਕੋਪਾਈਲਟ ਸਿਰੀਜ਼
### ਕਾਪਿਲਟ ਸੀਰੀਜ਼
[](https://aka.ms/GitHubCopilotAI?WT.mc_id=academic-105485-koreyst)
[](https://github.com/microsoft/mastering-github-copilot-for-dotnet-csharp-developers?WT.mc_id=academic-105485-koreyst)
[](https://youtu.be/beZ7Mb_oz9I)
[](https://youtu.be/beZ7Mb_oz9I)
@ -144,7 +144,7 @@ Se quisermos ser ainda mais detalhados, podemos traçar o tempo gasto em cada m
Neste desafio, tentaremos encontrar conceitos relevantes para o campo de Ciência de Dados analisando textos. Vamos pegar um artigo da Wikipedia sobre Ciência de Dados, baixar e processar o texto e, em seguida, construir uma nuvem de palavras como esta:
Visite [`notebook.ipynb`](../../../../1-Introduction/01-defining-data-science/notebook.ipynb ':ignore') para ler o código. Você também pode executar o código e ver como ele realiza todas as transformações de dados em tempo real.
"# Desafio: Analisando Texto sobre Ciência de Dados\n",
"\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todas as etapas de um processo tradicional de ciência de dados. Você não precisa escrever nenhum código, basta clicar nas células abaixo para executá-las e observar o resultado. Como desafio, você é incentivado a testar este código com diferentes dados.\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todas as etapas de um processo tradicional de ciência de dados. Você não precisa escrever nenhum código, pode apenas clicar nas células abaixo para executá-las e observar o resultado. Como desafio, você é incentivado a testar este código com dados diferentes.\n",
"\n",
"## Objetivo\n",
"\n",
"Nesta lição, discutimos diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo uma **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e, em seguida, tentaremos visualizar o resultado.\n",
"Nesta lição, temos discutido diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo algumas **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e, em seguida, tentaremos visualizar o resultado.\n",
"\n",
"Como texto, utilizarei a página sobre Ciência de Dados da Wikipedia:\n"
"Como texto, usarei a página sobre Ciência de Dados da Wikipedia:\n"
],
"metadata": {}
},
@ -32,7 +32,7 @@
{
"cell_type": "markdown",
"source": [
"## Etapa 1: Obtendo os Dados\n",
"## Step 1: Obtendo os Dados\n",
"\n",
"O primeiro passo em todo processo de ciência de dados é obter os dados. Usaremos a biblioteca `requests` para isso:\n"
],
@ -66,45 +66,43 @@
{
"cell_type": "markdown",
"source": [
"## Etapa 2: Transformando os Dados\n",
"## Passo 2: Transformando os Dados\n",
"\n",
"A próxima etapa é converter os dados para um formato adequado para processamento. No nosso caso, baixamos o código-fonte HTML da página e precisamos convertê-lo em texto simples.\n",
"O próximo passo é converter os dados para a forma adequada para processamento. No nosso caso, baixamos o código-fonte HTML da página e precisamos convertê-lo em texto simples.\n",
"\n",
"Existem várias maneiras de fazer isso. Vamos usar o objeto [HTMLParser](https://docs.python.org/3/library/html.parser.html) embutido mais simples do Python. Precisamos criar uma subclasse da classe `HTMLParser` e definir o código que coletará todo o texto dentro das tags HTML, exceto as tags `<script>` e `<style>`.\n"
"Existem várias maneiras de fazer isso. Usaremos o [BeautifulSoup](https://www.crummy.com/software/BeautifulSoup/), uma biblioteca Python popular para parsing de HTML. O BeautifulSoup nos permite direcionar elementos HTML específicos, para que possamos focar no conteúdo principal do artigo da Wikipedia e reduzir alguns menus de navegação, barras laterais, rodapés e outros conteúdos irrelevantes (embora algum texto padrão ainda possa permanecer).\n"
],
"metadata": {}
},
{
"cell_type": "markdown",
"source": [
"Primeiro, precisamos instalar a biblioteca BeautifulSoup para análise de HTML:\n"
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Data science - Wikipedia Data science From Wikipedia, the free encyclopedia Jump to navigation Jump to search Interdisciplinary field of study focused on deriving knowledge and insights from data Not to be confused with information science . The existence of Comet NEOWISE (here depicted as a series of red dots) was discovered by analyzing astronomical survey data acquired by a space telescope , the Wide-field Infrared Survey Explorer . Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection AutoML Association rules Reinforcement learning Structured prediction Feature engineering Feature learning Online learning Semi-supervised learning Unsupervised learning Learning to rank Grammar induction Supervised learning ( classification • regression ) Decision trees Ensembles Bagging Boosting Random forest k -NN Linear regression Naive Bayes Artificial neural networks Logistic regression Perceptron Relevance vector machine \n"
"Data science From Wikipedia, the free encyclopedia Interdisciplinary field of study focused on deriving knowledge and insights from data Data science is an interdisciplinary academic field that uses statistics, scientific computing, scientific methods, processes, algorithms and systems to extract or extrapolate knowledge and insights from noisy, structured, and unstructured data. Data science also integrates domain knowledge from the underlying application domain. Data science is multifaceted and can be described as a science, a research paradigm, a research method, a discipline, a workflow, and a profession.\n"
]
}
],
@ -113,11 +111,11 @@
{
"cell_type": "markdown",
"source": [
"## Etapa 3: Obtendo Insights\n",
"## Step 3: Obtendo Insights\n",
"\n",
"A etapa mais importante é transformar nossos dados em uma forma da qual possamos extrair insights. No nosso caso, queremos extrair palavras-chave do texto e identificar quais palavras-chave são mais relevantes.\n",
"A etapa mais importante é transformar nossos dados em alguma forma da qual possamos extrair insights. No nosso caso, queremos extrair palavras-chave do texto e ver quais palavras-chave são mais significativas.\n",
"\n",
"Usaremos uma biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para a extração de palavras-chave. Primeiro, vamos instalar essa biblioteca caso ela não esteja presente:\n"
"Usaremos a biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para extração de palavras-chave. Primeiro, vamos instalar essa biblioteca caso ela não esteja presente:\n"
],
"metadata": {}
},
@ -162,7 +160,7 @@
{
"cell_type": "markdown",
"source": [
"A funcionalidade principal está disponível no objeto `Rake`, que podemos personalizar usando alguns parâmetros. No nosso caso, definiremos o comprimento mínimo de uma palavra-chave como 5 caracteres, a frequência mínima de uma palavra-chave no documento como 3 e o número máximo de palavras em uma palavra-chave como 2. Sinta-se à vontade para experimentar outros valores e observar o resultado.\n"
"A funcionalidade principal está disponível a partir do objeto `Rake`, que podemos personalizar utilizando alguns parâmetros. No nosso caso, configuraremos o comprimento mínimo de uma palavra-chave para 5 caracteres, a frequência mínima de uma palavra-chave no documento para 3 e o número máximo de palavras em uma palavra-chave para 2. Sinta-se à vontade para experimentar com outros valores e observar o resultado.\n"
],
"metadata": {}
},
@ -211,11 +209,11 @@
{
"cell_type": "markdown",
"source": [
"Obtivemos uma lista de termos juntamente com o grau de importância associado. Como você pode ver, as disciplinas mais relevantes, como aprendizado de máquina e big data, estão presentes nas primeiras posições da lista.\n",
"Obtivemos uma lista de termos junto com o grau de importância associado. Como você pode ver, as disciplinas mais relevantes, como aprendizado de máquina e big data, estão presentes na lista nas posições superiores.\n",
"\n",
"## Etapa 4: Visualizando o Resultado\n",
"## Passo 4: Visualizando o Resultado\n",
"\n",
"As pessoas interpretam os dados melhor em forma visual. Por isso, muitas vezes faz sentido visualizar os dados para obter alguns insights. Podemos usar a biblioteca `matplotlib` em Python para plotar uma distribuição simples das palavras-chave com sua relevância:\n"
"As pessoas conseguem interpretar melhor os dados na forma visual. Portanto, muitas vezes faz sentido visualizar os dados para obter algumas percepções. Podemos usar a biblioteca `matplotlib` em Python para plotar uma distribuição simples das palavras-chave com sua relevância:\n"
],
"metadata": {}
},
@ -252,7 +250,7 @@
{
"cell_type": "markdown",
"source": [
"Há, no entanto, uma maneira ainda melhor de visualizar frequências de palavras - usando **Word Cloud**. Precisaremos instalar outra biblioteca para plotar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
"Há, no entanto, uma forma ainda melhor de visualizar a frequência das palavras - usando **Nuvem de Palavras**. Precisaremos instalar outra biblioteca para plotar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
],
"metadata": {}
},
@ -268,7 +266,7 @@
{
"cell_type": "markdown",
"source": [
"O objeto `WordCloud` é responsável por receber o texto original ou uma lista pré-computada de palavras com suas frequências, e retorna uma imagem, que pode então ser exibida usando `matplotlib`:\n"
"O objeto `WordCloud` é responsável por receber texto original ou uma lista pré-computada de palavras com suas frequências, e retorna uma imagem, que pode ser exibida usando `matplotlib`:\n"
],
"metadata": {}
},
@ -312,7 +310,7 @@
{
"cell_type": "markdown",
"source": [
"Podemos também passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
"Também podemos passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
],
"metadata": {}
},
@ -372,9 +370,9 @@
{
"cell_type": "markdown",
"source": [
"Você pode ver que a nuvem de palavras agora está mais impressionante, mas também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *cientista de dados* ou *ciência da computação*. Isso ocorre porque o algoritmo RAKE faz um trabalho muito melhor ao selecionar boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza de dados, pois uma imagem clara no final nos permitirá tomar decisões melhores.\n",
"Você pode ver que a nuvem de palavras agora parece mais impressionante, mas também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *data scientist* ou *computer science*. Isso ocorre porque o algoritmo RAKE faz um trabalho muito melhor na seleção de boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza de dados, pois uma imagem clara no final nos permitirá tomar melhores decisões.\n",
"\n",
"Neste exercício, passamos por um processo simples de extração de algum significado do texto da Wikipedia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todos os passos típicos que um cientista de dados seguirá ao trabalhar com dados, começando pela aquisição de dados até a visualização.\n",
"Neste exercício, percorremos um processo simples de extrair algum significado do texto da Wikipedia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todas as etapas típicas que um cientista de dados realizará ao trabalhar com dados, começando pela aquisição dos dados até a visualização.\n",
"\n",
"Em nosso curso, discutiremos todos esses passos em detalhes.\n"
],
@ -394,7 +392,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"\n---\n\n**Aviso Legal**: \nEste documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.\n"
"---\n\n<!-- CO-OP TRANSLATOR DISCLAIMER START -->\n**Aviso Legal**: \nEste documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se a tradução profissional feita por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.\n<!-- CO-OP TRANSLATOR DISCLAIMER END -->\n"
"# Desafio: Analisando Texto sobre Ciência de Dados\n",
"\n",
"> *Neste notebook, experimentamos usar diferentes URLs - artigo da Wikipedia sobre Aprendizado de Máquina. Você pode perceber que, ao contrário de Ciência de Dados, este artigo contém muitos termos, tornando a análise mais problemática. Precisamos encontrar outra maneira de limpar os dados após a extração de palavras-chave, para eliminar algumas combinações de palavras frequentes, mas sem significado.*\n",
"> *Neste notebook, experimentamos o uso de diferentes URLs - artigo da Wikipedia sobre Aprendizado de Máquina. Você pode ver que, ao contrário de Ciência de Dados, este artigo contém muitos termos, o que torna a análise mais problemática. Precisamos encontrar outra forma de limpar os dados após a extração de palavras-chave, para nos livrar de algumas combinações de palavras frequentes, mas sem significado.*\n",
"\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todas as etapas de um processo tradicional de ciência de dados. Você não precisa escrever nenhum código, basta clicar nas células abaixo para executá-las e observar o resultado. Como desafio, você é incentivado a testar este código com dados diferentes.\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todas as etapas de um processo tradicional de ciência de dados. Você não precisa escrever nenhum código, pode apenas clicar nas células abaixo para executá-las e observar o resultado. Como desafio, você é incentivado a testar este código com dados diferentes.\n",
"\n",
"## Objetivo\n",
"\n",
"Nesta lição, discutimos diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo um pouco de **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e, em seguida, tentaremos visualizar o resultado.\n",
"Nesta lição, temos discutido diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo uma **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e então tentaremos visualizar o resultado.\n",
"\n",
"Como texto, usarei a página sobre Ciência de Dados da Wikipedia:\n"
],
@ -35,9 +35,9 @@
{
"cell_type": "markdown",
"source": [
"## Etapa 1: Obtendo os Dados\n",
"## Passo 1: Obter os Dados\n",
"\n",
"O primeiro passo em todo processo de ciência de dados é obter os dados. Usaremos a biblioteca `requests` para isso:\n"
"O primeiro passo em todo processo de ciência de dados é obter os dados. Vamos usar a biblioteca `requests` para fazer isso:\n"
],
"metadata": {}
},
@ -71,43 +71,41 @@
"source": [
"## Etapa 2: Transformando os Dados\n",
"\n",
"O próximo passo é converter os dados para um formato adequado para processamento. No nosso caso, baixamos o código-fonte HTML da página e precisamos convertê-lo em texto simples.\n",
"O próximo passo é converter os dados para a forma adequada para o processamento. No nosso caso, baixamos o código-fonte HTML da página e precisamos convertê-lo em texto simples.\n",
"\n",
"Existem várias maneiras de fazer isso. Vamos usar o objeto [HTMLParser](https://docs.python.org/3/library/html.parser.html) embutido mais simples do Python. Precisamos criar uma subclasse da classe `HTMLParser` e definir o código que coletará todo o texto dentro das tags HTML, exceto as tags `<script>` e `<style>`.\n"
"Existem várias maneiras de fazer isso. Usaremos o [BeautifulSoup](https://www.crummy.com/software/BeautifulSoup/), uma biblioteca popular em Python para análise de HTML. O BeautifulSoup nos permite direcionar elementos HTML específicos, para que possamos focar no conteúdo principal do artigo da Wikipedia e reduzir alguns menus de navegação, barras laterais, rodapés e outros conteúdos irrelevantes (embora algum texto padrão ainda possa permanecer).\n"
],
"metadata": {}
},
{
"cell_type": "markdown",
"source": [
"Primeiro, precisamos instalar a biblioteca BeautifulSoup para análise de HTML:\n"
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Machine learning - Wikipedia Machine learning From Wikipedia, the free encyclopedia Jump to navigation Jump to search Study of algorithms that improve automatically through experience For the journal, see Machine Learning (journal) . \"Statistical learning\" redirects here. For statistical learning in linguistics, see statistical learning in language acquisition . Part of a series on Artificial intelligence Major goals Artificial general intelligence Planning Computer vision General game playing Knowledge reasoning Machine learning Natural language processing Robotics Approaches Symbolic Deep learning Bayesian networks Evolutionary algorithms Philosophy Ethics Existential risk Turing test Chinese room Control problem Friendly AI History Timeline Progress AI winter Technology Applications Projects Programming languages Glossary Glossary v t e Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection Data Cleaning AutoML Associ\n"
"Machine learning From Wikipedia, the free encyclopedia Study of algorithms that improve automatically through experience Machine learning (ML) is a field of study in artificial intelligence concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks without explicit instructions. Recently, artificial neural networks have been able to surpass many previous approaches in performance. ML finds application in many fields, including natural language processing, computer vision, speech recognition, email filtering, agriculture, and medicine.\n"
]
}
],
@ -116,11 +114,11 @@
{
"cell_type": "markdown",
"source": [
"## Etapa 3: Obtendo Insights\n",
"## Step 3: Obtendo Insights\n",
"\n",
"A etapa mais importante é transformar nossos dados em algo do qual possamos extrair insights. No nosso caso, queremos extrair palavras-chave do texto e identificar quais palavras-chave são mais relevantes.\n",
"A etapa mais importante é transformar nossos dados em alguma forma da qual possamos extrair insights. No nosso caso, queremos extrair palavras-chave do texto e ver quais palavras-chave são mais significativas.\n",
"\n",
"Usaremos uma biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para a extração de palavras-chave. Primeiro, vamos instalar essa biblioteca caso ela não esteja presente:\n"
"Usaremos a biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para extração de palavras-chave. Primeiro, vamos instalar essa biblioteca caso ela não esteja presente:\n"
],
"metadata": {}
},
@ -353,11 +351,12 @@
{
"cell_type": "markdown",
"source": [
"Obtivemos uma lista de termos juntamente com o grau de importância associado. Como você pode ver, as disciplinas mais relevantes, como aprendizado de máquina e big data, estão presentes nas primeiras posições da lista.\n",
"\n",
"## Etapa 4: Visualizando o Resultado\n",
"\n",
"As pessoas conseguem interpretar os dados melhor em forma visual. Por isso, muitas vezes faz sentido visualizar os dados para extrair alguns insights. Podemos usar a biblioteca `matplotlib` em Python para plotar uma distribuição simples das palavras-chave com suas respectivas relevâncias:\n"
"\r\n",
"Obtivemos uma lista de termos juntamente com o grau associado de importância. Como você pode ver, as disciplinas mais relevantes, como aprendizado de máquina e big data, estão presentes na lista nas posições superiores.\r\n",
"\r\n",
"## Passo 4: Visualizando o Resultado\r\n",
"\r\n",
"As pessoas conseguem interpretar melhor os dados na forma visual. Portanto, frequentemente faz sentido visualizar os dados para obter alguns insights. Podemos usar a biblioteca `matplotlib` em Python para traçar uma distribuição simples das palavras-chave com sua relevância:\n"
],
"metadata": {}
},
@ -392,7 +391,7 @@
{
"cell_type": "markdown",
"source": [
"Há, no entanto, uma maneira ainda melhor de visualizar frequências de palavras - usando **Word Cloud**. Precisaremos instalar outra biblioteca para plotar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
"Há, no entanto, uma maneira ainda melhor de visualizar frequências de palavras - usando **Nuvem de Palavras**. Precisaremos instalar outra biblioteca para plotar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
],
"metadata": {}
},
@ -408,7 +407,7 @@
{
"cell_type": "markdown",
"source": [
"O objeto `WordCloud` é responsável por receber o texto original ou uma lista pré-computada de palavras com suas frequências, e retorna uma imagem, que pode então ser exibida usando `matplotlib`:\n"
"O objeto `WordCloud` é responsável por receber texto original ou uma lista pré-calculada de palavras com suas frequências e retorna uma imagem, que pode então ser exibida usando `matplotlib`:\n"
],
"metadata": {}
},
@ -441,7 +440,7 @@
{
"cell_type": "markdown",
"source": [
"Podemos também passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
"Também podemos passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
],
"metadata": {}
},
@ -490,11 +489,11 @@
{
"cell_type": "markdown",
"source": [
"Você pode ver que a nuvem de palavras agora está mais impressionante, mas também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *cientista de dados* ou *ciência da computação*. Isso ocorre porque o algoritmo RAKE faz um trabalho muito melhor ao selecionar boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza de dados, pois uma imagem clara no final nos permitirá tomar decisões melhores.\n",
"Você pode ver que a nuvem de palavras agora parece mais impressionante, mas ela também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *data scientist* ou *computer science*. Isso ocorre porque o algoritmo RAKE faz um trabalho muito melhor na seleção de boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza dos dados, pois uma imagem clara no final nos permitirá tomar decisões melhores.\n",
"\n",
"Neste exercício, passamos por um processo simples de extração de algum significado do texto da Wikipedia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todos os passos típicos que um cientista de dados seguirá ao trabalhar com dados, começando pela aquisição de dados até a visualização.\n",
"Neste exercício, passamos por um processo simples de extração de algum significado a partir do texto da Wikipedia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todas as etapas típicas que um cientista de dados seguirá ao trabalhar com dados, começando pela aquisição dos dados até a visualização.\n",
"\n",
"Em nosso curso, discutiremos todos esses passos em detalhes.\n"
"Em nosso curso, discutiremos todas essas etapas em detalhes. \n"
],
"metadata": {}
},
@ -502,7 +501,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"\n---\n\n**Aviso Legal**: \nEste documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.\n"
"---\n\n<!-- CO-OP TRANSLATOR DISCLAIMER START -->\n**Aviso Legal**: \nEste documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos empenhemos para garantir a precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se a tradução profissional por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.\n<!-- CO-OP TRANSLATOR DISCLAIMER END -->\n"
A Teoria da Estatística e Probabilidade são duas áreas altamente relacionadas da Matemática que são extremamente relevantes para a Ciência de Dados. É possível trabalhar com dados sem um conhecimento profundo de matemática, mas ainda assim é melhor conhecer pelo menos alguns conceitos básicos. Aqui apresentaremos uma breve introdução que ajudará você a começar.
[](https://youtu.be/Z5Zy85g4Yjw)
[](https://youtu.be/Z5Zy85g4Yjw)
@ -30,7 +30,7 @@ A distribuição discreta mais conhecida é a **distribuição uniforme**, na qu
Só podemos falar sobre a probabilidade de uma variável estar em um determinado intervalo de valores, por exemplo, P(t<sub>1</sub>≤X<t<sub>2</sub>). Nesse caso, a distribuição de probabilidade é descrita por uma **função densidade de probabilidade** p(x), tal que
Um análogo contínuo da distribuição uniforme é chamado de **uniforme contínua**, que é definido em um intervalo finito. A probabilidade de o valor X estar em um intervalo de comprimento l é proporcional a l, e aumenta até 1.
@ -73,11 +73,11 @@ Quando analisamos dados do mundo real, eles frequentemente não são variáveis
Aqui está o box plot mostrando média, mediana e quartis para nossos dados:
Como nossos dados contêm informações sobre diferentes **funções** de jogadores, também podemos fazer o box plot por função - isso nos permitirá ter uma ideia de como os valores dos parâmetros diferem entre as funções. Desta vez, consideraremos a altura:
Este diagrama sugere que, em média, a altura dos jogadores de primeira base é maior que a altura dos jogadores de segunda base. Mais tarde nesta lição, aprenderemos como podemos testar essa hipótese de forma mais formal e como demonstrar que nossos dados são estatisticamente significativos para mostrar isso.
@ -85,7 +85,7 @@ Este diagrama sugere que, em média, a altura dos jogadores de primeira base é
Para ver qual é a distribuição de nossos dados, podemos plotar um gráfico chamado **histograma**. O eixo X conteria um número de diferentes intervalos de peso (os chamados **bins**), e o eixo vertical mostraria o número de vezes que nossa amostra de variável aleatória esteve dentro de um determinado intervalo.
A partir deste histograma, você pode ver que todos os valores estão centrados em torno de um certo peso médio, e quanto mais nos afastamos desse peso - menos pesos desse valor são encontrados. Ou seja, é muito improvável que o peso de um jogador de beisebol seja muito diferente do peso médio. A variância dos pesos mostra a extensão em que os pesos provavelmente diferem da média.
Se plotarmos o histograma das amostras geradas, veremos uma imagem muito semelhante à mostrada acima. E se aumentarmos o número de amostras e o número de bins, podemos gerar uma imagem de uma distribuição normal mais próxima do ideal:
*Distribuição Normal com média=0 e desvio padrão=1*
@ -224,7 +224,7 @@ array([[1. , 0.52959196],
No nosso caso, o valor 0.53 indica que há alguma correlação entre o peso e a altura de uma pessoa. Também podemos fazer o gráfico de dispersão de um valor contra o outro para ver a relação visualmente:
> Mais exemplos de correlação e covariância podem ser encontrados no [notebook complementar](notebook.ipynb).
> Foto por <ahref="https://unsplash.com/@dawson2406?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Stephen Dawson</a> no <ahref="https://unsplash.com/s/photos/data?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestes módulos, você descobrirá como a Ciência de Dados é definida e aprenderá sobre as considerações éticas que devem ser levadas em conta por um cientista de dados. Você também aprenderá como os dados são definidos e terá uma introdução a estatística e probabilidade, os principais domínios acadêmicos da Ciência de Dados.
| Trabalhando com Python - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
[](https://youtu.be/dZjWOGbsN4Y)
[](https://youtu.be/dZjWOGbsN4Y)
Embora bancos de dados ofereçam maneiras muito eficientes de armazenar dados e consultá-los usando linguagens de consulta, a forma mais flexível de processar dados é escrever seu próprio programa para manipulá-los. Em muitos casos, realizar uma consulta em um banco de dados seria uma maneira mais eficaz. No entanto, em alguns casos, quando é necessário um processamento de dados mais complexo, isso não pode ser feito facilmente usando SQL.
O processamento de dados pode ser programado em qualquer linguagem de programação, mas existem certas linguagens que são mais adequadas para trabalhar com dados. Cientistas de dados geralmente preferem uma das seguintes linguagens:
@ -64,7 +64,7 @@ print(f"Length of index is {len(idx)}")
Agora suponha que, a cada semana, organizamos uma festa para amigos e levamos 10 pacotes adicionais de sorvete para a festa. Podemos criar outra série, indexada por semana, para demonstrar isso:
```python
@ -75,7 +75,7 @@ Quando somamos duas séries, obtemos o número total:
> **Nota** que não estamos usando a sintaxe simples `total_items+additional_items`. Se fizéssemos isso, receberíamos muitos valores `NaN` (*Not a Number*) na série resultante. Isso ocorre porque há valores ausentes para alguns pontos do índice na série `additional_items`, e somar `NaN` a qualquer coisa resulta em `NaN`. Assim, precisamos especificar o parâmetro `fill_value` durante a soma.
@ -84,7 +84,7 @@ Com séries temporais, também podemos **re-amostrar** a série com diferentes i
monthly = total_items.resample("1M").mean()
ax = monthly.plot(kind='bar')
```
### DataFrame
@ -210,7 +210,7 @@ O primeiro problema em que vamos focar é o modelamento da propagação epidêmi
Como queremos demonstrar como lidar com dados, convidamos você a abrir [`notebook-covidspread.ipynb`](notebook-covidspread.ipynb) e lê-lo de cima a baixo. Você também pode executar as células e realizar alguns desafios que deixamos para você no final.
> Se você não sabe como executar código no Jupyter Notebook, confira [este artigo](https://soshnikov.com/education/how-to-execute-notebooks-from-github/).
@ -232,7 +232,7 @@ Um exemplo completo de análise deste conjunto de dados usando o serviço cognit
Abra [`notebook-papers.ipynb`](notebook-papers.ipynb) e leia-o de cima a baixo. Você também pode executar as células e realizar alguns desafios que deixamos para você no final.
> Foto por <ahref="https://unsplash.com/@swimstaralex?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Alexander Sinn</a> no <ahref="https://unsplash.com/s/photos/data?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestas lições, você aprenderá algumas das maneiras de gerenciar, manipular e usar dados em aplicações. Você aprenderá sobre bancos de dados relacionais e não relacionais e como os dados podem ser armazenados neles. Aprenderá os fundamentos de trabalhar com Python para gerenciar dados e descobrirá algumas das muitas formas de usar Python para gerenciar e explorar dados.
Agora, mostre os mesmos dados com um esquema de cores de mel para mostrar como o preço evolui ao longo dos anos. Você pode fazer isso adicionando um parâmetro 'hue' para mostrar a mudança ano após ano:
@ -51,7 +51,7 @@ Agora, mostre os mesmos dados com um esquema de cores de mel para mostrar como o
Com essa mudança de esquema de cores, você pode ver claramente uma forte progressão ao longo dos anos em termos de preço do mel por libra. De fato, se você observar um conjunto de amostra nos dados para verificar (escolha um estado, como o Arizona, por exemplo), pode ver um padrão de aumento de preço ano após ano, com poucas exceções:
Isso é um caso simples de oferta e demanda? Devido a fatores como mudanças climáticas e colapso das colônias, há menos mel disponível para compra ano após ano, e, portanto, o preço aumenta?
✅ Como o Seaborn está agregando dados em torno de uma linha, ele exibe "as múltiplas medições em cada valor de x, plotando a média e o intervalo de confiança de 95% em torno da média". [Fonte](https://seaborn.pydata.org/tutorial/relational.html). Esse comportamento demorado pode ser desativado adicionando `ci=None`.
@ -105,7 +105,7 @@ Pergunta: Bem, em 2003 também podemos ver um pico na oferta de mel? E se você
Resposta: Não exatamente. Se você observar a produção total, parece que ela realmente aumentou naquele ano específico, embora, de forma geral, a quantidade de mel sendo produzida esteja em declínio durante esses anos.
@ -130,7 +130,7 @@ sns.relplot(
```
Nesta visualização, você pode comparar o rendimento por colônia e o número de colônias ano após ano, lado a lado, com um wrap definido em 3 para as colunas:
Para este conjunto de dados, nada particularmente se destaca em relação ao número de colônias e seu rendimento, ano após ano e estado por estado. Existe uma maneira diferente de encontrar uma correlação entre essas duas variáveis?
Embora nada salte aos olhos em torno do ano de 2003, isso nos permite terminar esta lição com uma nota um pouco mais feliz: embora o número de colônias esteja em declínio geral, ele está se estabilizando, mesmo que o rendimento por colônia esteja diminuindo.
Aqui, você instala o pacote `ggplot2` e o importa para o ambiente de trabalho usando o comando `library("ggplot2")`. Para plotar qualquer gráfico no ggplot, a função `ggplot()` é usada, e você especifica o conjunto de dados, as variáveis x e y como atributos. Neste caso, usamos a função `geom_line()` porque queremos plotar um gráfico de linha.
O que você percebe imediatamente? Parece haver pelo menos um outlier - que envergadura impressionante! Uma envergadura de mais de 2000 centímetros equivale a mais de 20 metros - será que há Pterodáctilos em Minnesota? Vamos investigar.
Mesmo com a rotação dos rótulos ajustada para 45 graus, ainda há muitos para ler. Vamos tentar uma estratégia diferente: rotular apenas os outliers e definir os rótulos dentro do gráfico. Você pode usar um gráfico de dispersão para criar mais espaço para os rótulos:
@ -91,7 +91,7 @@ O que está acontecendo aqui? Você usou a função `geom_point()` para plotar p
Criamos um novo dataframe `birds_filtered` e, em seguida, plotamos um gráfico de dispersão. Ao filtrar os outliers, seus dados agora estão mais coesos e compreensíveis.
No trecho a seguir, instalamos os pacotes [dplyr](https://www.rdocumentation.org/packages/dplyr/versions/0.7.8) e [lubridate](https://www.rdocumentation.org/packages/lubridate/versions/1.8.0) para ajudar a manipular e agrupar dados a fim de plotar um gráfico de barras empilhadas. Primeiro, agrupamos os dados pela `Categoria` do pássaro e, em seguida, resumimos as colunas `MinLength`, `MaxLength`, `MinBodyMass`, `MaxBodyMass`, `MinWingspan`, `MaxWingspan`. Depois, plotamos o gráfico de barras usando o pacote `ggplot2`, especificando as cores para as diferentes categorias e os rótulos.
Este gráfico de barras, no entanto, é ilegível porque há muitos dados não agrupados. Você precisa selecionar apenas os dados que deseja plotar, então vamos observar o comprimento dos pássaros com base em sua categoria.
Primeiro, contamos os valores únicos na coluna `Categoria` e, em seguida, os classificamos em um novo dataframe `birds_count`. Esses dados classificados são então organizados no mesmo nível para que sejam plotados de forma ordenada. Usando o `ggplot2`, você então plota os dados em um gráfico de barras. O `coord_flip()` plota barras horizontais.
Este gráfico de barras mostra uma boa visão do número de pássaros em cada categoria. Em um piscar de olhos, você vê que o maior número de pássaros nesta região está na categoria Patos/Gansos/AvesAquáticas. Minnesota é a "terra dos 10.000 lagos", então isso não é surpreendente!
Isso fornece uma visão geral da distribuição do comprimento corporal por ordem de pássaros, mas não é a maneira ideal de exibir distribuições reais. Essa tarefa geralmente é realizada criando um histograma.
@ -48,7 +48,7 @@ O `ggplot2` oferece ótimas maneiras de visualizar a distribuição de dados usa
Como você pode ver, a maioria dos 400+ pássaros neste conjunto de dados está na faixa de menos de 2000 para sua massa corporal máxima. Obtenha mais informações sobre os dados alterando o parâmetro `bins` para um número maior, algo como 30:
@ -56,7 +56,7 @@ Como você pode ver, a maioria dos 400+ pássaros neste conjunto de dados está
Este gráfico mostra a distribuição de forma um pouco mais detalhada. Um gráfico menos inclinado para a esquerda poderia ser criado garantindo que você selecione apenas dados dentro de um determinado intervalo:
✅ Experimente outros filtros e pontos de dados. Para ver a distribuição completa dos dados, remova o filtro `['MaxBodyMass']` para mostrar distribuições rotuladas.
Não parece haver uma boa correlação entre envergadura mínima e status de conservação. Teste outros elementos do conjunto de dados usando este método. Você encontra alguma correlação?
@ -127,7 +127,7 @@ Vamos trabalhar com gráficos de densidade agora!
Você pode ver como o gráfico reflete o anterior para os dados de envergadura mínima; é apenas um pouco mais suave. Se você quisesse revisitar aquela linha irregular de MaxBodyMass no segundo gráfico que construiu, poderia suavizá-la muito bem recriando-a usando este método:
@ -135,7 +135,7 @@ Você pode ver como o gráfico reflete o anterior para os dados de envergadura m
Se você quisesse uma linha suave, mas não muito suave, edite o parâmetro `adjust`:
@ -143,7 +143,7 @@ Se você quisesse uma linha suave, mas não muito suave, edite o parâmetro `adj
✅ Leia sobre os parâmetros disponíveis para este tipo de gráfico e experimente!
@ -153,7 +153,7 @@ Este tipo de gráfico oferece visualizações explicativas muito bonitas. Com al
ggplot(data=birds_filtered_1,aes(x = MaxBodyMass, fill = Order)) +
geom_density(alpha=0.5)
```
Voilá, um gráfico de pizza mostrando as proporções desses dados de acordo com essas duas classes de cogumelos. É muito importante obter a ordem correta dos rótulos, especialmente aqui, então certifique-se de verificar a ordem com a qual o array de rótulos foi construído!
## Roscas!
@ -117,7 +117,7 @@ library(webr)
PieDonut(habitat, aes(habitat, count=count))
```
Este código usa duas bibliotecas - ggplot2 e webr. Usando a função PieDonut da biblioteca webr, podemos criar um gráfico de rosca facilmente!
Usando um gráfico de waffle, você pode ver claramente as proporções das cores dos chapéus neste conjunto de dados de cogumelos. Curiosamente, há muitos cogumelos com chapéus verdes!
Nesta lição, você aprendeu três maneiras de visualizar proporções. Primeiro, você precisa agrupar seus dados em categorias e, em seguida, decidir qual é a melhor maneira de exibir os dados - pizza, rosca ou waffle. Todas são deliciosas e proporcionam ao usuário uma visão instantânea de um conjunto de dados.
Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como o preço evolui ao longo dos anos. Você pode fazer isso adicionando um parâmetro 'scale_color_gradientn' para mostrar a mudança, ano após ano:
@ -52,7 +52,7 @@ Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como
ggplot(honey, aes(x = priceperlb, y = state, color=year)) +
Com essa mudança no esquema de cores, você pode ver claramente uma forte progressão ao longo dos anos no preço do mel por libra. De fato, se você observar um conjunto de amostra nos dados para verificar (escolha um estado, como o Arizona, por exemplo), verá um padrão de aumento de preços ano após ano, com poucas exceções:
Isso é um caso simples de oferta e demanda? Devido a fatores como mudanças climáticas e colapso das colônias, há menos mel disponível para compra ano após ano, e, portanto, o preço aumenta?
Resposta: Não exatamente. Se você observar a produção total, parece que ela realmente aumentou naquele ano específico, embora, de forma geral, a quantidade de mel produzida esteja em declínio durante esses anos.
Nesta visualização, você pode comparar o rendimento por colônia e o número de colônias ano após ano, lado a lado, com um wrap configurado para 3 colunas:
Para este conjunto de dados, nada particularmente se destaca em relação ao número de colônias e seu rendimento, ano após ano e estado por estado. Existe uma maneira diferente de encontrar uma correlação entre essas duas variáveis?
Embora nada salte aos olhos em torno do ano de 2003, isso nos permite terminar esta lição com uma nota um pouco mais feliz: embora o número de colônias esteja em declínio geral, ele está se estabilizando, mesmo que o rendimento por colônia esteja diminuindo.
@ -38,25 +38,25 @@ Em lições anteriores, você experimentou criar vários tipos interessantes de
Mesmo que um cientista de dados seja cuidadoso ao escolher o gráfico certo para os dados certos, há muitas maneiras de exibir dados de forma a provar um ponto, muitas vezes às custas de comprometer os próprios dados. Existem muitos exemplos de gráficos e infográficos enganosos!
[](https://www.youtube.com/watch?v=oX74Nge8Wkw "Como os gráficos mentem")
[](https://www.youtube.com/watch?v=oX74Nge8Wkw "Como os gráficos mentem")
> 🎥 Clique na imagem acima para assistir a uma palestra sobre gráficos enganosos
Este gráfico inverte o eixo X para mostrar o oposto da verdade, com base na data:
[Este gráfico](https://media.firstcoastnews.com/assets/WTLV/images/170ae16f-4643-438f-b689-50d66ca6a8d8/170ae16f-4643-438f-b689-50d66ca6a8d8_1140x641.jpg) é ainda mais enganoso, pois o olhar é atraído para a direita, levando à conclusão de que, ao longo do tempo, os casos de COVID diminuíram nos vários condados. Na verdade, se você olhar atentamente para as datas, verá que elas foram reorganizadas para criar essa tendência enganosa de queda.
Este exemplo notório usa cor E um eixo Y invertido para enganar: em vez de concluir que as mortes por armas aumentaram após a aprovação de uma legislação favorável às armas, o olhar é enganado para pensar que o oposto é verdadeiro:
Comparar o incomparável é mais um truque duvidoso. Existe um [site maravilhoso](https://tylervigen.com/spurious-correlations) dedicado a 'correlações espúrias', exibindo 'fatos' que correlacionam coisas como a taxa de divórcio no Maine e o consumo de margarina. Um grupo no Reddit também coleta os [usos feios](https://www.reddit.com/r/dataisugly/top/?t=all) de dados.
@ -91,13 +91,13 @@ Rotule seus eixos, forneça uma legenda, se necessário, e ofereça tooltips par
Se seus dados forem textuais e extensos no eixo X, você pode inclinar o texto para melhorar a legibilidade. [plot3D](https://cran.r-project.org/web/packages/plot3D/index.html) oferece gráficos em 3D, se seus dados suportarem. Visualizações de dados sofisticadas podem ser produzidas usando essa ferramenta.
Algumas das melhores visualizações de dados hoje em dia são animadas. Shirley Wu tem exemplos incríveis feitos com D3, como '[film flowers](http://bl.ocks.org/sxywu/raw/d612c6c653fb8b4d7ff3d422be164a5d/)', onde cada flor é uma visualização de um filme. Outro exemplo para o Guardian é 'bussed out', uma experiência interativa que combina visualizações com Greensock e D3, além de um formato de artigo com narrativa para mostrar como NYC lida com seu problema de moradores de rua, enviando pessoas para fora da cidade.
> "Bussed Out: Como os EUA Movem seus Moradores de Rua" do [Guardian](https://www.theguardian.com/us-news/ng-interactive/2017/dec/20/bussed-out-america-moves-homeless-people-country-study). Visualizações por Nadieh Bremer & Shirley Wu
@ -107,7 +107,7 @@ Embora esta lição não seja suficiente para ensinar essas poderosas biblioteca
Você completará um aplicativo web que exibirá uma visão animada dessa rede social. Ele usa uma biblioteca criada para gerar uma [visualização de uma rede](https://github.com/emiliorizzo/vue-d3-network) usando Vue.js e D3. Quando o aplicativo estiver em execução, você poderá mover os nós na tela para reorganizar os dados.
> Foto por <ahref="https://unsplash.com/@jenna2980?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Jenna Lee</a> no <ahref="https://unsplash.com/s/photos/bees-in-a-meadow?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Visualizar dados é uma das tarefas mais importantes de um cientista de dados. Imagens valem mais que mil palavras, e uma visualização pode ajudar você a identificar diversos aspectos interessantes dos seus dados, como picos, valores atípicos, agrupamentos, tendências e muito mais, que podem ajudar a entender a história que seus dados estão tentando contar.
@ -16,7 +16,7 @@ Neste ponto, você provavelmente já percebeu que a ciência de dados é um proc
Esta lição foca em 3 partes do ciclo de vida: captura, processamento e manutenção.
> Foto por [Berkeley School of Information](https://ischoolonline.berkeley.edu/data-science/what-is-data-science/)
## Captura
@ -92,7 +92,7 @@ Explore o [Ciclo de Vida do Processo de Ciência de Dados em Equipe](https://doc
|Processo de Ciência de Dados em Equipe (TDSP)|Processo padrão da indústria para mineração de dados (CRISP-DM)|
|--|--|
| |  |
| |  |
| Imagem por [Microsoft](https://docs.microsoft.comazure/architecture/data-science-process/lifecycle) | Imagem por [Data Science Process Alliance](https://www.datascience-pm.com/crisp-dm-2/) |
> Foto por <ahref="https://unsplash.com/@headwayio?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Headway</a> no <ahref="https://unsplash.com/s/photos/communication?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestes módulos, você explorará alguns aspectos do ciclo de vida da Ciência de Dados, incluindo análise e comunicação de dados.
> Foto de [Jelleke Vanooteghem](https://unsplash.com/@ilumire) no [Unsplash](https://unsplash.com/s/photos/cloud?orientation=landscape)
Quando se trata de fazer ciência de dados com big data, a nuvem pode ser um divisor de águas. Nas próximas três lições, vamos entender o que é a nuvem e por que ela pode ser tão útil. Também vamos explorar um conjunto de dados sobre insuficiência cardíaca e construir um modelo para ajudar a avaliar a probabilidade de alguém sofrer uma insuficiência cardíaca. Usaremos o poder da nuvem para treinar, implantar e consumir um modelo de duas maneiras diferentes. Uma delas utilizando apenas a interface do usuário em um formato de Baixo Código/Sem Código, e a outra utilizando o Azure Machine Learning Software Developer Kit (Azure ML SDK).
@ -32,7 +32,7 @@ Graças à democratização da IA, os desenvolvedores estão encontrando mais fa
* [Ciência de Dados na Saúde](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicações como imagem médica (e.g., ressonância magnética, raio-X, tomografia), genômica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados com pacientes e logística de suprimentos), rastreamento e prevenção de doenças etc.
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
A figura mostra outros domínios e exemplos de aplicação de técnicas de ciência de dados. Quer explorar outras aplicações? Confira a seção [Revisão e Autoestudo](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) abaixo.
@ -13,7 +13,7 @@ A interface do Explorer (mostrada na captura de tela abaixo) permite que você s
2. Explorar o [Catálogo de conjuntos de dados](https://planetarycomputer.microsoft.com/catalog) - aprender o propósito de cada conjunto de dados.
3. Usar o Explorer - escolher um conjunto de dados de interesse, selecionar uma consulta relevante e uma opção de renderização.
`Sua Tarefa:`
Agora, estude a visualização que foi gerada no navegador e responda às seguintes perguntas:
[](https://github.com/codespaces/new?hide_repo_select=true&ref=main&repo=344191198)
Os Azure Cloud Advocates da Microsoft têm o prazer de oferecer um currículo de 10 semanas, 20 lições, tudo sobre Ciência de Dados. Cada lição inclui questionários pré e pós-lição, instruções escritas para completar a lição, uma solução e uma tarefa. Nossa pedagogia baseada em projetos permite que você aprenda enquanto constrói, uma maneira comprovada de fazer novas habilidades 'ficarem'.
Advogados da Nuvem Azure da Microsoft têm o prazer de oferecer um currículo de 10 semanas com 20 lições, tudo sobre Ciência de Dados. Cada lição inclui questionários pré e pós-lição, instruções escritas para completar a lição, uma solução e um exercício. Nossa pedagogia baseada em projetos permite que você aprenda enquanto constrói, uma forma comprovada de fazer novas habilidades 'ficarem'.
> Este repositório inclui mais de 50 traduções de idiomas, o que aumenta significativamente o tamanho do download. Para clonar sem traduções, use sparse checkout:
> **Prefere Clonar Localmente?**
>
> Este repositório inclui traduções em mais de 50 idiomas, o que aumenta significativamente o tamanho do download. Para clonar sem as traduções, use sparse checkout:
> git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"
> ```
>
> Isso lhe dá tudo que você precisa para completar o curso com um download muito mais rápido.
<!-- CO-OP TRANSLATOR LANGUAGES TABLE END -->
**Se você deseja que idiomas adicionais sejam suportados, veja a lista [aqui](https://github.com/Azure/co-op-translator/blob/main/getting_started/supported-languages.md)**
**Se desejar que idiomas adicionais sejam suportados, veja a lista [aqui](https://github.com/Azure/co-op-translator/blob/main/getting_started/supported-languages.md)**
Temos uma série Discord aprender com AI em andamento, saiba mais e junte-se a nós em [Learn with AI Series](https://aka.ms/learnwithai/discord) de 18 a 30 de setembro de 2025. Você receberá dicas e truques para usar o GitHub Copilot para Ciência de Dados.
Temos uma série de aprendizado no Discord com IA em andamento, saiba mais e junte-se a nós em [Learn with AI Series](https://aka.ms/learnwithai/discord) de 18 a 30 de setembro de 2025. Você receberá dicas e truques para usar o GitHub Copilot para Ciência de Dados.
@ -59,32 +69,32 @@ Temos uma série Discord aprender com AI em andamento, saiba mais e junte-se a n
Comece com os seguintes recursos:
- [Página Student Hub](https://docs.microsoft.com/en-gb/learn/student-hub?WT.mc_id=academic-77958-bethanycheum) Nesta página, você encontrará recursos para iniciantes, pacotes para estudantes e até maneiras de obter um voucher gratuito para certificação. Esta é uma página que você vai querer favoritar e checar de tempos em tempos, pois alteramos o conteúdo pelo menos mensalmente.
- [Microsoft Learn Student Ambassadors](https://studentambassadors.microsoft.com?WT.mc_id=academic-77958-bethanycheum) Junte-se a uma comunidade global de embaixadores estudantis, este pode ser seu caminho para a Microsoft.
- [Página do Hub do Estudante](https://docs.microsoft.com/en-gb/learn/student-hub?WT.mc_id=academic-77958-bethanycheum) Nesta página, você encontrará recursos para iniciantes, pacotes para estudantes e até maneiras de conseguir um voucher de certificação grátis. Esta é uma página para favoritar e consultar de tempos em tempos, pois o conteúdo é atualizado pelo menos uma vez por mês.
- [Microsoft Learn Student Ambassadors](https://studentambassadors.microsoft.com?WT.mc_id=academic-77958-bethanycheum) Junte-se a uma comunidade global de embaixadores estudantis, essa pode ser a sua porta de entrada para a Microsoft.
# Começando
## 📚 Documentação
- **[Guia de Instalação](INSTALLATION.md)** - Instruções passo a passo para iniciantes
- **[Guia de Uso](USAGE.md)** - Exemplos e fluxos comuns de trabalho
- **[Resolução de Problemas](TROUBLESHOOTING.md)** - Soluções para problemas comuns
- **[Guia de Contribuição](CONTRIBUTING.md)** - Como contribuir para este projeto
- **[Para Professores](for-teachers.md)** - Orientações para ensino e recursos em sala de aula
- **[Guia de Uso](USAGE.md)** - Exemplos e fluxos de trabalho comuns
- **[Solução de Problemas](TROUBLESHOOTING.md)** - Soluções para problemas comuns
- **[Guia de Contribuição](CONTRIBUTING.md)** - Como contribuir neste projeto
- **[Para Professores](for-teachers.md)** - Orientações para ensino e recursos para sala de aula
## 👨🎓 Para Estudantes
> **Complete Iniciantes**: Novo em ciência de dados? Comece com nossos [exemplos amigáveis para iniciantes](examples/README.md)! Esses exemplos simples e bem comentados ajudarão você a entender o básico antes de mergulhar no currículo completo.
> **[Estudantes](https://aka.ms/student-page)**: para usar este currículo de forma independente, faça um fork do repositório inteiro e complete os exercícios sozinho, começando com um quiz pré-aula. Depois, leia a aula e complete o restante das atividades. Tente criar os projetos compreendendo as lições em vez de copiar o código das soluções; no entanto, esse código está disponível nas pastas /solutions em cada lição focada em projetos. Outra ideia é formar um grupo de estudo com amigos e passar pelo conteúdo juntos. Para estudo adicional, recomendamos [Microsoft Learn](https://docs.microsoft.com/en-us/users/jenlooper-2911/collections/qprpajyoy3x0g7?WT.mc_id=academic-77958-bethanycheum).
> **Iniciantes Completos**: Novo em ciência de dados? Comece com nossos [exemplos para iniciantes](examples/README.md)! Esses exemplos simples e bem comentados ajudarão você a entender o básico antes de mergulhar no currículo completo.
> **[Estudantes](https://aka.ms/student-page)**: para usar este currículo por conta própria, faça um fork de todo o repositório e complete os exercícios sozinho, começando com um quiz pré-aula. Depois, leia a aula e complete o restante das atividades. Tente criar os projetos compreendendo as lições em vez de copiar o código da solução; no entanto, esse código está disponível nas pastas /solutions em cada lição orientada a projetos. Outra ideia é formar um grupo de estudos com amigos e passar pelo conteúdo juntos. Para estudo adicional, recomendamos [Microsoft Learn](https://docs.microsoft.com/en-us/users/jenlooper-2911/collections/qprpajyoy3x0g7?WT.mc_id=academic-77958-bethanycheum).
**Início Rápido:**
1. Verifique o [Guia de Instalação](INSTALLATION.md) para configurar seu ambiente
1. Confira o [Guia de Instalação](INSTALLATION.md) para configurar seu ambiente
2. Revise o [Guia de Uso](USAGE.md) para aprender como trabalhar com o currículo
3. Comece pela Lição 1 e avance sequencialmente
4. Junte-se à nossa [comunidade no Discord](https://aka.ms/ds4beginners/discord) para suporte
4. Junte-se à nossa [comunidade Discord](https://aka.ms/ds4beginners/discord) para suporte
## 👩🏫 Para Professores
> **Professores**: incluímos [algumas sugestões](for-teachers.md) sobre como usar este currículo. Adoraríamos receber seu feedback [em nosso fórum de discussão](https://github.com/microsoft/Data-Science-For-Beginners/discussions)!
> **Professores**: incluímos [algumas sugestões](for-teachers.md) sobre como usar este currículo. Adoraríamos seu feedback [em nosso fórum de discussão](https://github.com/microsoft/Data-Science-For-Beginners/discussions)!
@ -95,99 +105,99 @@ Comece com os seguintes recursos:
## Pedagogia
Escolhemos dois princípios pedagógicos ao construir este currículo: garantir que seja baseado em projetos e que inclua quizzes frequentes. Ao final desta série, os alunos terão aprendido princípios básicos de ciência de dados, incluindo conceitos éticos, preparação de dados, diferentes formas de trabalhar com dados, visualização de dados, análise de dados, casos reais de uso da ciência de dados e muito mais.
Escolhemos dois princípios pedagógicos ao construir este currículo: garantir que seja baseado em projetos e que inclua quizzes frequentes. Ao final desta série, os alunos terão aprendido os princípios básicos da ciência de dados, incluindo conceitos éticos, preparação de dados, diferentes formas de trabalhar com dados, visualização de dados, análise de dados, casos de uso reais de ciência de dados e muito mais.
Além disso, um quiz de baixo risco antes da aula define a intenção do aluno em aprender um tópico, enquanto um segundo quiz após a aula garante uma maior retenção. Este currículo foi projetado para ser flexível e divertido, podendo ser realizado na íntegra ou em partes. Os projetos começam pequenos e se tornam cada vez mais complexos ao longo do ciclo de 10 semanas.
Além disso, um quiz de baixa pressão antes da aula define a intenção do aluno em aprender um tópico, enquanto um segundo quiz após a aula assegura uma retenção maior. Este currículo foi projetado para ser flexível e divertido, podendo ser feito na íntegra ou em partes. Os projetos começam pequenos e se tornam cada vez mais complexos até o final do ciclo de 10 semanas.
> Encontre nosso [Código de Conduta](CODE_OF_CONDUCT.md), [Contribuição](CONTRIBUTING.md), [Diretrizes de Tradução](TRANSLATIONS.md). Agradecemos seu feedback construtivo!
> Encontre nosso [Código de Conduta](CODE_OF_CONDUCT.md), [Contribuindo](CONTRIBUTING.md), [Tradução](TRANSLATIONS.md) diretrizes. Agradecemos seu feedback construtivo!
## Cada aula inclui:
## Cada lição inclui:
- Sketchnote opcional
- Vídeo suplementar opcional
- Quiz de aquecimento pré-aula
- Aula escrita
- Para aulas baseadas em projeto, guias passo a passo para construir o projeto
- Quiz preparatório antes da lição
- Lição escrita
- Para lições baseadas em projetos, guias passo a passo sobre como construir o projeto
> **Uma nota sobre quizzes**: Todos os quizzes estão contidos na pasta Quiz-App, totalizando 40 quizzes com três perguntas cada. Eles são vinculados a partir das aulas, mas o aplicativo de quiz pode ser executado localmente ou implantado no Azure; siga as instruções na pasta `quiz-app`. Eles estão sendo gradualmente localizados.
> **Uma nota sobre quizzes**: Todos os quizzes estão contidos na pasta Quiz-App, com 40 quizzes no total, cada um com três perguntas. Eles são vinculados dentro das lições, mas o aplicativo de quiz pode ser executado localmente ou implantado no Azure; siga as instruções na pasta `quiz-app`. Eles estão sendo gradualmente localizados.
## 🎓 Exemplos para Iniciantes
**Novo em Ciência de Dados?** Criamos um [diretório de exemplos](examples/README.md) especial com código simples e bem comentado para ajudar você a começar:
**Novo em Ciência de Dados?** Criamos um [diretório de exemplos](examples/README.md) especial com códigos simples e bem comentados para ajudar você a começar:
- 🌟 **Olá Mundo** - Seu primeiro programa de ciência de dados
- 🌟 **Hello World** - Seu primeiro programa de ciência de dados
- 📂 **Carregando Dados** - Aprenda a ler e explorar conjuntos de dados
- 📊 **Análise Simples** - Calcule estatísticas e encontre padrões
- 📈 **Visualização Básica** - Crie gráficos e diagramas
- 🔬 **Projeto Real** - Fluxo completo do início ao fim
- 🔬 **Projeto do Mundo Real** - Fluxo completo do começo ao fim
Cada exemplo inclui comentários detalhados explicando cada passo, tornando-o perfeito para iniciantes absolutos!
👉 **[Comece pelos exemplos](examples/README.md)** 👈
👉 **[Comece com os exemplos](examples/README.md)** 👈
| 01 | Definindo Ciência de Dados | [Introdução](1-Introduction/README.md) | Aprenda os conceitos básicos por trás da ciência de dados e como ela está relacionada à inteligência artificial, aprendizado de máquina e big data. | [aula](1-Introduction/01-defining-data-science/README.md) [vídeo](https://youtu.be/beZ7Mb_oz9I) | [Dmitry](http://soshnikov.com) |
| 02 | Ética em Ciência de Dados | [Introdução](1-Introduction/README.md) | Conceitos, desafios e frameworks da ética em dados. | [aula](1-Introduction/02-ethics/README.md) | [Nitya](https://twitter.com/nitya) |
| 03 | Definindo Dados | [Introdução](1-Introduction/README.md) | Como os dados são classificados e suas fontes comuns. | [aula](1-Introduction/03-defining-data/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 04 | Introdução à Estatística & Probabilidade | [Introdução](1-Introduction/README.md) | Técnicas matemáticas de probabilidade e estatística para entender dados. | [aula](1-Introduction/04-stats-and-probability/README.md) [vídeo](https://youtu.be/Z5Zy85g4Yjw) | [Dmitry](http://soshnikov.com) |
| 05 | Trabalhando com Dados Relacionais | [Trabalhando com Dados](2-Working-With-Data/README.md) | Introdução a dados relacionais e o básico de exploração e análise de dados relacionais com a Linguagem de Consulta Estruturada, também conhecida como SQL (pronuncia-se “éssi-cuérel”). | [aula](2-Working-With-Data/05-relational-databases/README.md) | [Christopher](https://www.twitter.com/geektrainer) | | |
| 06 | Trabalhando com Dados NoSQL | [Trabalhando com Dados](2-Working-With-Data/README.md) | Introdução a dados não relacionais, seus vários tipos e o básico de exploração e análise de bancos de dados de documentos. | [aula](2-Working-With-Data/06-non-relational/README.md) | [Jasmine](https://twitter.com/paladique)|
| 07 | Trabalhando com Python | [Trabalhando com Dados](2-Working-With-Data/README.md) | Noções básicas do uso do Python para exploração de dados com bibliotecas como Pandas. É recomendável ter uma compreensão fundamental de programação em Python. | [aula](2-Working-With-Data/07-python/README.md) [vídeo](https://youtu.be/dZjWOGbsN4Y) | [Dmitry](http://soshnikov.com) |
| 08 | Preparação de Dados | [Trabalhando com Dados](2-Working-With-Data/README.md) | Temas sobre técnicas de dados para limpeza e transformação de dados para lidar com desafios de dados ausentes, imprecisos ou incompletos. | [aula](2-Working-With-Data/08-data-preparation/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 09 | Visualizando Quantidades | [Visualização de Dados](3-Data-Visualization/README.md) | Aprenda a usar Matplotlib para visualizar dados de pássaros 🦆 | [aula](3-Data-Visualization/09-visualization-quantities/README.md) | [Jen](https://twitter.com/jenlooper) |
| 10 | Visualizando Distribuições de Dados | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando observações e tendências dentro de um intervalo. | [aula](3-Data-Visualization/10-visualization-distributions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 11 | Visualizando Proporções | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando porcentagens discretas e agrupadas. | [aula](3-Data-Visualization/11-visualization-proportions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 12 | Visualizando Relações | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando conexões e correlações entre conjuntos de dados e suas variáveis. | [aula](3-Data-Visualization/12-visualization-relationships/README.md) | [Jen](https://twitter.com/jenlooper) |
| 13 | Visualizações Significativas | [Visualização de Dados](3-Data-Visualization/README.md) | Técnicas e orientações para tornar suas visualizações valiosas para a resolução eficaz de problemas e insights. | [aula](3-Data-Visualization/13-meaningful-visualizations/README.md) | [Jen](https://twitter.com/jenlooper) |
| 14 | Introdução ao ciclo de vida da Ciência de Dados | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Introdução ao ciclo de vida da ciência de dados e sua primeira etapa de aquisição e extração de dados. | [aula](4-Data-Science-Lifecycle/14-Introduction/README.md) | [Jasmine](https://twitter.com/paladique) |
| 15 | Análise | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca em técnicas para analisar dados. | [aula](4-Data-Science-Lifecycle/15-analyzing/README.md) | [Jasmine](https://twitter.com/paladique) | | |
| 16 | Comunicação | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca em apresentar os insights dos dados de forma que facilite a compreensão dos tomadores de decisão. | [aula](4-Data-Science-Lifecycle/16-communication/README.md) | [Jalen](https://twitter.com/JalenMcG) | | |
| 17 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Esta série de aulas introduz ciência de dados na nuvem e seus benefícios. | [aula](5-Data-Science-In-Cloud/17-Introduction/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 18 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Treinamento de modelos usando ferramentas Low Code. |[aula](5-Data-Science-In-Cloud/18-Low-Code/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 19 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Implantando modelos com Azure Machine Learning Studio. | [aula](5-Data-Science-In-Cloud/19-Azure/README.md)| [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 20 | Ciência de Dados na Prática | [Na Prática](6-Data-Science-In-Wild/README.md) | Projetos impulsionados por ciência de dados no mundo real. | [aula](6-Data-Science-In-Wild/20-Real-World-Examples/README.md) | [Nitya](https://twitter.com/nitya) |
| 01 | Definindo Ciência de Dados | [Introdução](1-Introduction/README.md) | Aprenda os conceitos básicos por trás da ciência de dados e como ela está relacionada à inteligência artificial, aprendizado de máquina e big data. | [lição](1-Introduction/01-defining-data-science/README.md) [vídeo](https://youtu.be/beZ7Mb_oz9I) | [Dmitry](http://soshnikov.com) |
| 02 | Ética em Ciência de Dados | [Introdução](1-Introduction/README.md) | Conceitos, desafios e estruturas da Ética em Dados. | [lição](1-Introduction/02-ethics/README.md) | [Nitya](https://twitter.com/nitya) |
| 03 | Definindo Dados | [Introdução](1-Introduction/README.md) | Como os dados são classificados e suas fontes comuns. | [lição](1-Introduction/03-defining-data/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 04 | Introdução a Estatística e Probabilidade | [Introdução](1-Introduction/README.md) | Técnicas matemáticas de probabilidade e estatística para compreender dados. | [lição](1-Introduction/04-stats-and-probability/README.md) [vídeo](https://youtu.be/Z5Zy85g4Yjw) | [Dmitry](http://soshnikov.com) |
| 05 | Trabalhando com Dados Relacionais | [Trabalhando com Dados](2-Working-With-Data/README.md) | Introdução a dados relacionais e o básico de explorar e analisar dados relacionais com a Linguagem de Consulta Estruturada, também conhecida como SQL (pronuncia-se “esse-que-él”). | [lição](2-Working-With-Data/05-relational-databases/README.md) | [Christopher](https://www.twitter.com/geektrainer) | | |
| 06 | Trabalhando com Dados NoSQL | [Trabalhando com Dados](2-Working-With-Data/README.md) | Introdução a dados não relacionais, seus vários tipos e o básico de explorar e analisar bancos de dados de documentos. | [lição](2-Working-With-Data/06-non-relational/README.md) | [Jasmine](https://twitter.com/paladique)|
| 07 | Trabalhando com Python | [Trabalhando com Dados](2-Working-With-Data/README.md) | Conceitos básicos do uso de Python para exploração de dados com bibliotecas como Pandas. Recomendado entendimento básico de programação em Python. | [lição](2-Working-With-Data/07-python/README.md) [vídeo](https://youtu.be/dZjWOGbsN4Y) | [Dmitry](http://soshnikov.com) |
| 08 | Preparação de Dados | [Trabalhando com Dados](2-Working-With-Data/README.md) | Tópicos sobre técnicas de dados para limpeza e transformação visando tratar desafios de dados ausentes, imprecisos ou incompletos. | [lição](2-Working-With-Data/08-data-preparation/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 09 | Visualizando Quantidades | [Visualização de Dados](3-Data-Visualization/README.md) | Aprenda a usar Matplotlib para visualizar dados de pássaros 🦆 | [lição](3-Data-Visualization/09-visualization-quantities/README.md) | [Jen](https://twitter.com/jenlooper) |
| 10 | Visualizando Distribuições de Dados | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando observações e tendências dentro de um intervalo. | [lição](3-Data-Visualization/10-visualization-distributions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 11 | Visualizando Proporções | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando porcentagens discretas e agrupadas. | [lição](3-Data-Visualization/11-visualization-proportions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 12 | Visualizando Relações | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizando conexões e correlações entre conjuntos de dados e suas variáveis. | [lição](3-Data-Visualization/12-visualization-relationships/README.md) | [Jen](https://twitter.com/jenlooper) |
| 13 | Visualizações Significativas | [Visualização de Dados](3-Data-Visualization/README.md) | Técnicas e orientações para tornar suas visualizações valiosas para resolução eficaz de problemas e obtenção de insights. | [lição](3-Data-Visualization/13-meaningful-visualizations/README.md) | [Jen](https://twitter.com/jenlooper) |
| 14 | Introdução ao ciclo de vida da Ciência de Dados | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Introdução ao ciclo de vida da ciência de dados e sua primeira etapa de aquisição e extração de dados. | [lição](4-Data-Science-Lifecycle/14-Introduction/README.md) | [Jasmine](https://twitter.com/paladique) |
| 15 | Analisando | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca em técnicas para analisar dados. | [lição](4-Data-Science-Lifecycle/15-analyzing/README.md) | [Jasmine](https://twitter.com/paladique) | | |
| 16 | Comunicação | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca em apresentar os insights dos dados de maneira que facilite a compreensão pelos tomadores de decisão. | [lição](4-Data-Science-Lifecycle/16-communication/README.md) | [Jalen](https://twitter.com/JalenMcG) | | |
| 17 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Esta série de aulas apresenta a ciência de dados na nuvem e seus benefícios. | [lição](5-Data-Science-In-Cloud/17-Introduction/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 18 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Treinamento de modelos usando ferramentas Low Code. |[lição](5-Data-Science-In-Cloud/18-Low-Code/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 19 | Ciência de Dados na Nuvem | [Dados na Nuvem](5-Data-Science-In-Cloud/README.md) | Implantação de modelos com Azure Machine Learning Studio. | [lição](5-Data-Science-In-Cloud/19-Azure/README.md)| [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 20 | Ciência de Dados no Mundo Real | [No Mundo Real](6-Data-Science-In-Wild/README.md) | Projetos de ciência de dados aplicados no mundo real. | [lição](6-Data-Science-In-Wild/20-Real-World-Examples/README.md) | [Nitya](https://twitter.com/nitya) |
## GitHub Codespaces
Siga estes passos para abrir este exemplo em um Codespace:
1. Clique no menu suspenso Código e selecione a opção Abrir com Codespaces.
2. Selecione + Novo codespace no rodapé do painel.
Para mais informações, veja a [documentação do GitHub](https://docs.github.com/en/codespaces/developing-in-codespaces/creating-a-codespace-for-a-repository#creating-a-codespace).
Siga estas etapas para abrir este exemplo em um Codespace:
1. Clique no menu suspenso Code e selecione a opção Open with Codespaces.
2. Selecione + New codespace na parte inferior do painel.
Para mais informações, confira a [documentação do GitHub](https://docs.github.com/en/codespaces/developing-in-codespaces/creating-a-codespace-for-a-repository#creating-a-codespace).
## VSCode Remote - Containers
Siga estes passos para abrir este repositório em um container usando sua máquina local e o VSCode com a extensão VS Code Remote - Containers:
Siga estas etapas para abrir este repositório em um contêiner usando sua máquina local e o VSCode com a extensão VS Code Remote - Containers:
1. Se esta é sua primeira vez usando um container de desenvolvimento, certifique-se que seu sistema atende os pré-requisitos (ou seja, ter o Docker instalado) na [documentação de início rápido](https://code.visualstudio.com/docs/devcontainers/containers#_getting-started).
1. Se esta for sua primeira vez usando um contêiner de desenvolvimento, certifique-se de que seu sistema atende aos pré-requisitos (ou seja, ter o Docker instalado) na [documentação de introdução](https://code.visualstudio.com/docs/devcontainers/containers#_getting-started).
Para usar este repositório, você pode abrir o repositório em um volume Docker isolado:
**Nota**: Internamente, isso usará o comando Remote-Containers: **Clone Repository in Container Volume...** para clonar o código-fonte em um volume Docker em vez do sistema de arquivos local. [Volumes](https://docs.docker.com/storage/volumes/) são o mecanismo preferido para persistir dados de containers.
**Nota**: Por trás dos panos, isso usará o comando Remote-Containers: **Clone Repository in Container Volume...** para clonar o código-fonte em um volume Docker em vez do sistema de arquivos local. [Volumes](https://docs.docker.com/storage/volumes/) são o mecanismo preferido para persistência de dados do contêiner.
Ou abra uma versão clonada ou baixada localmente do repositório:
- Clone este repositório para seu sistema local.
- Clone este repositório em seu sistema de arquivos local.
- Pressione F1 e selecione o comando **Remote-Containers: Open Folder in Container...**.
- Selecione a cópia clonada desta pasta, aguarde o container iniciar e experimente.
- Selecione a cópia clonada desta pasta, aguarde o contêiner iniciar e experimente.
## Acesso offline
## Acesso Offline
Você pode rodar esta documentação offline usando o [Docsify](https://docsify.js.org/#/). Faça um fork deste repositório, [instale o Docsify](https://docsify.js.org/#/quickstart) na sua máquina local, então na pasta raiz deste repositório, digite `docsify serve`. O site será servido na porta 3000 no seu localhost: `localhost:3000`.
Você pode executar esta documentação offline usando o [Docsify](https://docsify.js.org/#/). Faça um fork deste repositório, [instale o Docsify](https://docsify.js.org/#/quickstart) em sua máquina local, então na pasta raiz deste repositório, digite `docsify serve`. O site será servido na porta 3000 no seu localhost: `localhost:3000`.
> Nota, notebooks não serão renderizados via Docsify, então quando precisar rodar um notebook, faça isso separadamente no VS Code usando um kernel Python.
> Nota, notebooks não serão renderizados via Docsify, então quando precisar executar um notebook, faça isso separadamente no VS Code executando um kernel Python.
## Outros Currículos
@ -233,21 +243,21 @@ Nossa equipe produz outros currículos! Confira:
**Encontrando problemas?** Consulte nosso [Guia de Solução de Problemas](TROUBLESHOOTING.md) para soluções para problemas comuns.
**Encontrando problemas?** Confira nosso [Guia de Solução de Problemas](TROUBLESHOOTING.md) para soluções de problemas comuns.
Se você ficar preso ou tiver dúvidas sobre como construir aplicativos de IA, junte-se a outros aprendizes e desenvolvedores experientes em discussões sobre MCP. É uma comunidade solidária onde perguntas são bem-vindas e o conhecimento é compartilhado livremente.
Se você travar ou tiver alguma dúvida sobre como criar aplicativos de IA. Junte-se a outros aprendizes e desenvolvedores experientes em discussões sobre MCP. É uma comunidade de suporte onde perguntas são bem-vindas e o conhecimento é compartilhado livremente.
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.
**Aviso Legal**:
Este documento foi traduzido usando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.
[](https://youtu.be/beZ7Mb_oz9I)
[](https://youtu.be/beZ7Mb_oz9I)
@ -144,7 +144,7 @@ Se quisermos ser ainda mais detalhados, podemos traçar o tempo gasto em cada m
Neste desafio, vamos tentar encontrar conceitos relevantes para o campo da Ciência de Dados analisando textos. Vamos pegar um artigo da Wikipédia sobre Ciência de Dados, descarregar e processar o texto e, em seguida, criar uma nuvem de palavras como esta:
Visite [`notebook.ipynb`](../../../../1-Introduction/01-defining-data-science/notebook.ipynb ':ignore') para ler o código. Também pode executar o código e ver como ele realiza todas as transformações de dados em tempo real.
"# Desafio: Analisar Texto sobre Ciência de Dados\n",
"\n",
"Neste exemplo, vamos realizar um exercício simples que abrange todas as etapas de um processo tradicional de ciência de dados. Não é necessário escrever qualquer código, basta clicar nas células abaixo para executá-las e observar o resultado. Como desafio, é incentivado que experimente este código com dados diferentes.\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todos os passos de um processo tradicional de ciência de dados. Não precisa escrever código, pode simplesmente clicar nas células abaixo para as executar e observar o resultado. Como desafio, é incentivado que experimente este código com dados diferentes.\n",
"\n",
"## Objetivo\n",
"\n",
"Nesta lição, discutimos diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados através de **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e, em seguida, tentaremos visualizar o resultado.\n",
"Nesta aula, temos discutido vários conceitos relacionados com Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo alguma **mineração de texto**. Vamos começar com um texto sobre Ciência de Dados, extrair palavras-chave dele e depois tentar visualizar o resultado.\n",
"\n",
"Como texto, utilizarei a página sobre Ciência de Dados da Wikipedia:\n"
"Como texto, vou usar a página sobre Ciência de Dados da Wikipédia:\n"
],
"metadata": {}
},
@ -32,9 +32,9 @@
{
"cell_type": "markdown",
"source": [
"## Passo 1: Obter os Dados\n",
"## Step 1: Obter os Dados\n",
"\n",
"O primeiro passo em qualquer processo de ciência de dados é obter os dados. Vamos usar a biblioteca `requests` para isso:\n"
"O primeiro passo em todo o processo de ciência de dados é obter os dados. Vamos usar a biblioteca `requests` para isso:\n"
],
"metadata": {}
},
@ -68,43 +68,41 @@
"source": [
"## Passo 2: Transformar os Dados\n",
"\n",
"O próximo passo é converter os dados para um formato adequado para processamento. No nosso caso, descarregámos o código-fonte HTML da página e precisamos de o converter em texto simples.\n",
"O próximo passo é converter os dados para o formato adequado para processamento. No nosso caso, descarregámos o código fonte HTML da página, e precisamos de o converter em texto simples.\n",
"\n",
"Existem várias formas de fazer isto. Vamos utilizar o objeto [HTMLParser](https://docs.python.org/3/library/html.parser.html) incorporado mais simples do Python. Precisamos de criar uma subclasse da classe `HTMLParser` e definir o código que irá recolher todo o texto dentro das etiquetas HTML, exceto as etiquetas `<script>` e `<style>`.\n"
"Existem muitas formas de o fazer. Vamos usar o [BeautifulSoup](https://www.crummy.com/software/BeautifulSoup/), uma biblioteca Python popular para parsing de HTML. O BeautifulSoup permite-nos apontar para elementos HTML específicos, para que possamos focar no conteúdo principal do artigo da Wikipedia e reduzir alguns menus de navegação, barras laterais, rodapés, e outros conteúdos irrelevantes (embora algum texto padrão ainda possa permanecer).\n"
],
"metadata": {}
},
{
"cell_type": "markdown",
"source": [
"Primeiro, precisamos instalar a biblioteca BeautifulSoup para análise de HTML:\n"
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Data science - Wikipedia Data science From Wikipedia, the free encyclopedia Jump to navigation Jump to search Interdisciplinary field of study focused on deriving knowledge and insights from data Not to be confused with information science . The existence of Comet NEOWISE (here depicted as a series of red dots) was discovered by analyzing astronomical survey data acquired by a space telescope , the Wide-field Infrared Survey Explorer . Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection AutoML Association rules Reinforcement learning Structured prediction Feature engineering Feature learning Online learning Semi-supervised learning Unsupervised learning Learning to rank Grammar induction Supervised learning ( classification • regression ) Decision trees Ensembles Bagging Boosting Random forest k -NN Linear regression Naive Bayes Artificial neural networks Logistic regression Perceptron Relevance vector machine \n"
"Data science From Wikipedia, the free encyclopedia Interdisciplinary field of study focused on deriving knowledge and insights from data Data science is an interdisciplinary academic field that uses statistics, scientific computing, scientific methods, processes, algorithms and systems to extract or extrapolate knowledge and insights from noisy, structured, and unstructured data. Data science also integrates domain knowledge from the underlying application domain. Data science is multifaceted and can be described as a science, a research paradigm, a research method, a discipline, a workflow, and a profession.\n"
]
}
],
@ -113,11 +111,11 @@
{
"cell_type": "markdown",
"source": [
"## Passo 3: Obter Informações\n",
"## Step 3: Obtendo Insights\n",
"\n",
"O passo mais importante é transformar os nossos dados em algo a partir do qual possamos extrair informações. No nosso caso, queremos identificar palavras-chave no texto e perceber quais são mais relevantes.\n",
"O passo mais importante é transformar os nossos dados numa forma da qual possamos extrair insights. No nosso caso, queremos extrair palavras-chave do texto e ver quais as palavras-chave mais significativas.\n",
"\n",
"Vamos utilizar uma biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para a extração de palavras-chave. Primeiro, vamos instalar esta biblioteca caso ainda não esteja disponível:\n"
"Vamos usar a biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para extração de palavras-chave. Primeiro, vamos instalar esta biblioteca caso não esteja presente: \n"
],
"metadata": {}
},
@ -162,7 +160,7 @@
{
"cell_type": "markdown",
"source": [
"A funcionalidade principal está disponível a partir do objeto `Rake`, que podemos personalizar utilizando alguns parâmetros. No nosso caso, iremos definir o comprimento mínimo de uma palavra-chave para 5 caracteres, a frequência mínima de uma palavra-chave no documento para 3, e o número máximo de palavras numa palavra-chave para 2. Sinta-se à vontade para experimentar outros valores e observar o resultado.\n"
"A funcionalidade principal está disponível no objeto `Rake`, que podemos personalizar usando alguns parâmetros. No nosso caso, vamos definir o comprimento mínimo de uma palavra-chave para 5 caracteres, a frequência mínima de uma palavra-chave no documento para 3, e o número máximo de palavras numa palavra-chave para 2. Sinta-se à vontade para experimentar outros valores e observar o resultado.\n"
],
"metadata": {}
},
@ -211,11 +209,11 @@
{
"cell_type": "markdown",
"source": [
"Obtivemos uma lista de termos juntamente com o respetivo grau de importância. Como pode ver, as disciplinas mais relevantes, como machine learning e big data, estão presentes na lista nas posições de topo.\n",
"Obtivemos uma lista de termos juntamente com o seu grau de importância associado. Como pode ver, as disciplinas mais relevantes, como aprendizagem automática e big data, estão presentes na lista nas posições mais altas.\n",
"\n",
"## Passo 4: Visualizar o Resultado\n",
"\n",
"As pessoas conseguem interpretar melhor os dados quando apresentados de forma visual. Por isso, muitas vezes faz sentido visualizar os dados para extrair algumas perceções. Podemos utilizar a biblioteca `matplotlib` em Python para criar um gráfico simples da distribuição das palavras-chave com a sua relevância:\n"
"As pessoas conseguem interpretar melhor os dados na forma visual. Assim, muitas vezes faz sentido visualizar os dados para obter alguns insights. Podemos utilizar a biblioteca `matplotlib` em Python para traçar uma distribuição simples das palavras-chave com a sua relevância:\n"
],
"metadata": {}
},
@ -252,7 +250,7 @@
{
"cell_type": "markdown",
"source": [
"Há, no entanto, uma maneira ainda melhor de visualizar as frequências de palavras - utilizando **Word Cloud**. Precisaremos instalar outra biblioteca para criar o word cloud a partir da nossa lista de palavras-chave.\n"
"Há, no entanto, uma forma ainda melhor de visualizar a frequência das palavras - utilizando **Nuvem de Palavras**. Vamos precisar de instalar outra biblioteca para criar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
],
"metadata": {}
},
@ -268,7 +266,7 @@
{
"cell_type": "markdown",
"source": [
"O objeto `WordCloud` é responsável por receber ou texto original, ou uma lista pré-computada de palavras com as suas frequências, e devolve uma imagem, que pode então ser exibida usando `matplotlib`:\n"
"O objeto `WordCloud` é responsável por receber texto original ou uma lista pré-computada de palavras com as suas frequências, e retorna uma imagem, que pode depois ser exibida usando o `matplotlib`:\n"
],
"metadata": {}
},
@ -312,7 +310,7 @@
{
"cell_type": "markdown",
"source": [
"Podemos também passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
"Também podemos passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
],
"metadata": {}
},
@ -372,11 +370,11 @@
{
"cell_type": "markdown",
"source": [
"Pode ver que a nuvem de palavras agora parece mais impressionante, mas também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave compostas por duas palavras, como *data scientist* ou *computer science*. Isto deve-se ao facto de o algoritmo RAKE fazer um trabalho muito melhor na seleção de boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza de dados, pois uma visão clara no final permitirá que tomemos decisões mais acertadas.\n",
"Pode ver que agora a nuvem de palavras parece mais impressionante, mas também contém muito ruído (ex. palavras sem relação, como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *data scientist* ou *computer science*. Isto acontece porque o algoritmo RAKE faz um trabalho muito melhor na seleção de boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza dos dados, porque uma imagem clara no final nos permitirá tomar melhores decisões.\n",
"\n",
"Neste exercício, percorremos um processo simples de extração de algum significado de um texto da Wikipédia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todos os passos típicos que um cientista de dados seguirá ao trabalhar com dados, desde a aquisição de dados até à visualização.\n",
"Neste exercício percorremos um processo simples de extrair algum significado do texto da Wikipédia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todas as etapas típicas que um cientista de dados irá seguir ao trabalhar com dados, começando pela aquisição dos dados até à visualização.\n",
"\n",
"No nosso curso, discutiremos todos esses passos em detalhe.\n"
"No nosso curso iremos discutir todas essas etapas em detalhe.\n"
],
"metadata": {}
},
@ -394,7 +392,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"\n---\n\n**Aviso Legal**:\nEste documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte oficial. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.\n"
"---\n\n<!-- CO-OP TRANSLATOR DISCLAIMER START -->\n**Aviso Legal**:\nEste documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Apesar de nos esforçarmos para garantir a precisão, tenha em atenção que traduções automáticas podem conter erros ou imprecisões. O documento original no seu idioma nativo deve ser considerado a fonte autoritativa. Para informação crítica, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.\n<!-- CO-OP TRANSLATOR DISCLAIMER END -->\n"
"# Desafio: Analisar Texto sobre Ciência de Dados\n",
"# Desafio: Analisando Texto sobre Ciência de Dados\n",
"\n",
"> *Neste notebook, vamos experimentar usar diferentes URLs - artigo da Wikipédia sobre Aprendizagem Automática. Pode-se notar que, ao contrário da Ciência de Dados, este artigo contém muitos termos, tornando a análise mais problemática. Precisamos encontrar outra forma de limpar os dados após realizar a extração de palavras-chave, para eliminar algumas combinações de palavras frequentes, mas pouco significativas.*\n",
"> *Neste caderno, experimentamos usar diferentes URLs - artigo da wikipedia sobre Aprendizagem Automática. Pode ver que, ao contrário de Ciência de Dados, este artigo contém muitos termos, o que torna a análise mais problemática. Precisamos encontrar outra forma de limpar os dados após extrair as palavras-chave, para nos livrarmos de algumas combinações frequentes de palavras, mas que não são significativas.*\n",
"\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todos os passos de um processo tradicional de ciência de dados. Não é necessário escrever nenhum código, basta clicar nas células abaixo para executá-las e observar o resultado. Como desafio, é incentivado que experimente este código com dados diferentes.\n",
"Neste exemplo, vamos fazer um exercício simples que cobre todas as etapas de um processo tradicional de ciência de dados. Não é necessário escrever código, pode simplesmente clicar nas células abaixo para as executar e observar o resultado. Como desafio, é incentivado a experimentar este código com diferentes dados.\n",
"\n",
"## Objetivo\n",
"\n",
"Nesta lição, discutimos diferentes conceitos relacionados à Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados ao realizar **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e, em seguida, tentaremos visualizar o resultado.\n",
"Nesta lição, temos discutido diferentes conceitos relacionados com Ciência de Dados. Vamos tentar descobrir mais conceitos relacionados fazendo uma **mineração de texto**. Começaremos com um texto sobre Ciência de Dados, extrairemos palavras-chave dele e depois tentaremos visualizar o resultado.\n",
"\n",
"Como texto, utilizarei a página sobre Ciência de Dados da Wikipédia:\n"
"Como texto, vou usar a página sobre Ciência de Dados da Wikipedia:\n"
],
"metadata": {}
},
@ -37,7 +37,7 @@
"source": [
"## Passo 1: Obter os Dados\n",
"\n",
"O primeiro passo em qualquer processo de ciência de dados é obter os dados. Vamos utilizar a biblioteca `requests` para isso:\n"
"O primeiro passo em todo o processo de ciência de dados é obter os dados. Vamos usar a biblioteca `requests` para isso:\n"
],
"metadata": {}
},
@ -71,43 +71,41 @@
"source": [
"## Passo 2: Transformar os Dados\n",
"\n",
"O próximo passo é converter os dados para um formato adequado ao processamento. No nosso caso, descarregámos o código-fonte HTML da página e precisamos de o converter em texto simples.\n",
"O próximo passo é converter os dados para a forma adequada para processamento. No nosso caso, descarregámos o código fonte HTML da página, e precisamos de o converter em texto simples.\n",
"\n",
"Existem várias formas de fazer isto. Vamos utilizar o objeto [HTMLParser](https://docs.python.org/3/library/html.parser.html) incorporado mais simples do Python. Precisamos de criar uma subclasse da classe `HTMLParser` e definir o código que irá recolher todo o texto dentro das etiquetas HTML, exceto as etiquetas `<script>` e `<style>`.\n"
"Existem várias formas de o fazer. Vamos usar o [BeautifulSoup](https://www.crummy.com/software/BeautifulSoup/), uma biblioteca Python popular para análise de HTML. O BeautifulSoup permite-nos direcionar elementos HTML específicos, para que possamos focar no conteúdo principal do artigo da Wikipedia e reduzir alguns menus de navegação, barras laterais, rodapés e outros conteúdos irrelevantes (embora algum texto padrão ainda possa permanecer).\n"
],
"metadata": {}
},
{
"cell_type": "markdown",
"source": [
"Primeiro, precisamos instalar a biblioteca BeautifulSoup para análise de HTML:\n"
"from bs4 import BeautifulSoup\r\n\r\n# Parse the HTML content\r\nsoup = BeautifulSoup(text, 'html.parser')\r\n\r\n# Extract only the main article content from Wikipedia\r\n# Wikipedia uses 'mw-parser-output' class for the main article content\r\ncontent = soup.find('div', class_='mw-parser-output')\r\n\r\ndef clean_wikipedia_content(content_node):\r\n \"\"\"Remove common non-article elements from a Wikipedia content node.\"\"\"\r\n # Strip jump links, navboxes, reference lists/superscripts, edit sections, TOC, sidebars, etc.\r\n selectors = [\r\n '.mw-jump-link',\r\n '.navbox',\r\n '.reflist',\r\n 'sup.reference',\r\n '.mw-editsection',\r\n '.hatnote',\r\n '.metadata',\r\n '.infobox',\r\n '#toc',\r\n '.toc',\r\n '.sidebar',\r\n ]\r\n for selector in selectors:\r\n for el in content_node.select(selector):\r\n el.decompose()\r\n\r\nif content:\r\n # Clean the content node to better approximate article text only.\r\n clean_wikipedia_content(content)\r\n text = content.get_text(separator=' ', strip=True)\r\n print(text[:1000])\r\nelse:\r\n print(\"Could not find main content. Using full page text.\")\r\n text = soup.get_text(separator=' ', strip=True)\r\n print(text[:1000])"
],
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
" Machine learning - Wikipedia Machine learning From Wikipedia, the free encyclopedia Jump to navigation Jump to search Study of algorithms that improve automatically through experience For the journal, see Machine Learning (journal) . \"Statistical learning\" redirects here. For statistical learning in linguistics, see statistical learning in language acquisition . Part of a series on Artificial intelligence Major goals Artificial general intelligence Planning Computer vision General game playing Knowledge reasoning Machine learning Natural language processing Robotics Approaches Symbolic Deep learning Bayesian networks Evolutionary algorithms Philosophy Ethics Existential risk Turing test Chinese room Control problem Friendly AI History Timeline Progress AI winter Technology Applications Projects Programming languages Glossary Glossary v t e Part of a series on Machine learning and data mining Problems Classification Clustering Regression Anomaly detection Data Cleaning AutoML Associ\n"
"Machine learning From Wikipedia, the free encyclopedia Study of algorithms that improve automatically through experience Machine learning (ML) is a field of study in artificial intelligence concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks without explicit instructions. Recently, artificial neural networks have been able to surpass many previous approaches in performance. ML finds application in many fields, including natural language processing, computer vision, speech recognition, email filtering, agriculture, and medicine.\n"
]
}
],
@ -116,11 +114,11 @@
{
"cell_type": "markdown",
"source": [
"## Passo 3: Obter Informações\n",
"## Step 3: Obter Insights\n",
"\n",
"O passo mais importante é transformar os nossos dados em algo a partir do qual possamos extrair informações úteis. No nosso caso, queremos extrair palavras-chave do texto e identificar quais são mais relevantes.\n",
"O passo mais importante é transformar os nossos dados numa forma a partir da qual possamos obter insights. No nosso caso, queremos extrair palavras-chave do texto e ver quais são as palavras-chave mais significativas.\n",
"\n",
"Vamos utilizar uma biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para a extração de palavras-chave. Primeiro, vamos instalar esta biblioteca caso ainda não esteja instalada:\n"
"Vamos usar a biblioteca Python chamada [RAKE](https://github.com/aneesha/RAKE) para a extração de palavras-chave. Primeiro, vamos instalar esta biblioteca caso não esteja presente: \n"
],
"metadata": {}
},
@ -172,7 +170,7 @@
{
"cell_type": "markdown",
"source": [
"A funcionalidade principal está disponível a partir do objeto `Rake`, que podemos personalizar utilizando alguns parâmetros. No nosso caso, iremos definir o comprimento mínimo de uma palavra-chave para 5 caracteres, a frequência mínima de uma palavra-chave no documento para 3, e o número máximo de palavras numa palavra-chave para 2. Sinta-se à vontade para experimentar outros valores e observar o resultado.\n"
"A funcionalidade principal está disponível a partir do objeto `Rake`, que podemos personalizar usando alguns parâmetros. No nosso caso, vamos definir o comprimento mínimo de uma palavra-chave para 5 caracteres, a frequência mínima de uma palavra-chave no documento para 3, e o número máximo de palavras numa palavra-chave - para 2. Sinta-se à vontade para experimentar outros valores e observar o resultado.\n"
],
"metadata": {}
},
@ -353,11 +351,11 @@
{
"cell_type": "markdown",
"source": [
"Obtivemos uma lista de termos juntamente com o respetivo grau de importância. Como pode ver, as disciplinas mais relevantes, como machine learning e big data, estão presentes na lista nas posições de topo.\n",
"Obtivemos uma lista de termos juntamente com o grau de importância associado. Como pode ver, as disciplinas mais relevantes, como machine learning e big data, estão presentes na lista nas primeiras posições.\n",
"\n",
"## Passo 4: Visualizar o Resultado\n",
"## Passo 4: Visualização do Resultado\n",
"\n",
"As pessoas conseguem interpretar melhor os dados quando apresentados de forma visual. Por isso, muitas vezes faz sentido visualizar os dados para extrair algumas perceções. Podemos utilizar a biblioteca `matplotlib` em Python para criar um gráfico simples da distribuição das palavras-chave com a sua relevância:\n"
"As pessoas conseguem interpretar melhor os dados em formato visual. Por isso, faz frequentemente sentido visualizar os dados para retirar alguns insights. Podemos usar a biblioteca `matplotlib` em Python para traçar a distribuição simples das palavras-chave com a sua relevância:\n"
],
"metadata": {}
},
@ -392,7 +390,7 @@
{
"cell_type": "markdown",
"source": [
"Há, no entanto, uma forma ainda melhor de visualizar as frequências das palavras - utilizando **Word Cloud**. Precisaremos de instalar outra biblioteca para criar o word cloud a partir da nossa lista de palavras-chave.\n"
"Existe, no entanto, uma forma ainda melhor de visualizar as frequências das palavras - usando **Nuvem de Palavras**. Precisaremos instalar outra biblioteca para desenhar a nuvem de palavras a partir da nossa lista de palavras-chave.\n"
],
"metadata": {}
},
@ -408,7 +406,7 @@
{
"cell_type": "markdown",
"source": [
"O objeto `WordCloud` é responsável por receber ou texto original, ou uma lista pré-computada de palavras com as suas frequências, e devolve uma imagem, que pode então ser exibida usando `matplotlib`:\n"
"O objeto `WordCloud` é responsável por receber texto original ou uma lista pré-computada de palavras com as suas frequências, e retorna uma imagem, que pode depois ser exibida usando o `matplotlib`:\n"
],
"metadata": {}
},
@ -441,7 +439,7 @@
{
"cell_type": "markdown",
"source": [
"Podemos também passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
"Também podemos passar o texto original para `WordCloud` - vamos ver se conseguimos obter um resultado semelhante:\n"
],
"metadata": {}
},
@ -490,11 +488,11 @@
{
"cell_type": "markdown",
"source": [
"Pode ver que a nuvem de palavras agora parece mais impressionante, mas também contém muito ruído (por exemplo, palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave compostas por duas palavras, como *cientista de dados* ou *ciência da computação*. Isto deve-se ao facto de o algoritmo RAKE fazer um trabalho muito melhor na seleção de boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza de dados, pois uma visão clara no final permitirá que tomemos decisões mais acertadas.\n",
"Pode ver que a nuvem de palavras agora parece mais impressionante, mas também contém muito ruído (ex. palavras não relacionadas como `Retrieved on`). Além disso, obtemos menos palavras-chave que consistem em duas palavras, como *data scientist* ou *computer science*. Isto acontece porque o algoritmo RAKE faz um trabalho muito melhor a selecionar boas palavras-chave a partir do texto. Este exemplo ilustra a importância do pré-processamento e limpeza dos dados, pois uma imagem clara no final permitirá que tomemos melhores decisões.\n",
"\n",
"Neste exercício, percorremos um processo simples de extração de algum significado de um texto da Wikipédia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todos os passos típicos que um cientista de dados segue ao trabalhar com dados, desde a aquisição até à visualização.\n",
"Neste exercício, passámos por um processo simples de extrair algum significado do texto da Wikipédia, na forma de palavras-chave e nuvem de palavras. Este exemplo é bastante simples, mas demonstra bem todas as etapas típicas que um cientista de dados irá seguir ao trabalhar com dados, começando pela aquisição dos dados até à visualização.\n",
"\n",
"No nosso curso, discutiremos todos esses passos em detalhe.\n"
"No nosso curso, iremos discutir todas essas etapas em detalhe.\n"
],
"metadata": {}
},
@ -502,7 +500,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"\n---\n\n**Aviso Legal**: \nEste documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original no seu idioma nativo deve ser considerado a fonte oficial. Para informações críticas, recomenda-se uma tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.\n"
"---\n\n<!-- CO-OP TRANSLATOR DISCLAIMER START -->\n**Aviso Legal**:\nEste documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos por garantir a precisão, por favor tenha em atenção que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se a tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes da utilização desta tradução.\n<!-- CO-OP TRANSLATOR DISCLAIMER END -->\n"
A Teoria da Estatística e Probabilidade são duas áreas altamente relacionadas da Matemática que têm grande relevância para a Ciência de Dados. É possível trabalhar com dados sem um conhecimento profundo de matemática, mas é sempre melhor conhecer pelo menos alguns conceitos básicos. Aqui apresentaremos uma breve introdução que o ajudará a começar.
[](https://youtu.be/Z5Zy85g4Yjw)
[](https://youtu.be/Z5Zy85g4Yjw)
@ -30,7 +30,7 @@ A distribuição discreta mais conhecida é a **distribuição uniforme**, na qu
Só podemos falar sobre a probabilidade de uma variável cair em um determinado intervalo de valores, por exemplo, P(t<sub>1</sub>≤X<t<sub>2</sub>). Nesse caso, a distribuição de probabilidade é descrita por uma **função densidade de probabilidade** p(x), tal que
Um análogo contínuo da distribuição uniforme é chamado de **uniforme contínua**, que é definida em um intervalo finito. A probabilidade de que o valor X caia em um intervalo de comprimento l é proporcional a l, e aumenta até 1.
@ -73,11 +73,11 @@ Quando analisamos dados da vida real, eles frequentemente não são variáveis a
Aqui está o box plot mostrando média, mediana e quartis para os nossos dados:
Como os nossos dados contêm informações sobre diferentes **funções** dos jogadores, também podemos fazer o box plot por função - isso permitirá que tenhamos uma ideia de como os valores dos parâmetros diferem entre as funções. Desta vez, consideraremos a altura:
Este diagrama sugere que, em média, a altura dos jogadores de primeira base é maior que a altura dos jogadores de segunda base. Mais tarde nesta lição, aprenderemos como podemos testar esta hipótese de forma mais formal e como demonstrar que os nossos dados são estatisticamente significativos para mostrar isso.
@ -85,7 +85,7 @@ Este diagrama sugere que, em média, a altura dos jogadores de primeira base é
Para ver qual é a distribuição dos nossos dados, podemos traçar um gráfico chamado **histograma**. O eixo X conterá um número de diferentes intervalos de peso (os chamados **bins**), e o eixo vertical mostrará o número de vezes que a amostra da variável aleatória esteve dentro de um determinado intervalo.
A partir deste histograma, pode-se ver que todos os valores estão centrados em torno de um certo peso médio, e quanto mais nos afastamos desse peso - menos pesos desse valor são encontrados. Ou seja, é muito improvável que o peso de um jogador de basebol seja muito diferente do peso médio. A variância dos pesos mostra a extensão em que os pesos provavelmente diferem da média.
Se traçarmos o histograma das amostras geradas, veremos uma imagem muito semelhante à mostrada acima. E se aumentarmos o número de amostras e o número de bins, podemos gerar uma imagem de uma distribuição normal mais próxima do ideal:
*Distribuição Normal com média=0 e desvio padrão=1*
@ -224,7 +224,7 @@ array([[1. , 0.52959196],
No nosso caso, o valor 0.53 indica que há alguma correlação entre o peso e a altura de uma pessoa. Podemos também fazer o gráfico de dispersão de um valor contra o outro para ver a relação visualmente:
> Mais exemplos de correlação e covariância podem ser encontrados no [notebook associado](notebook.ipynb).
> Foto de <ahref="https://unsplash.com/@dawson2406?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Stephen Dawson</a> no <ahref="https://unsplash.com/s/photos/data?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestes módulos, irá descobrir como a Ciência de Dados é definida e aprender sobre as considerações éticas que devem ser tidas em conta por um cientista de dados. Também irá aprender como os dados são definidos e explorar um pouco de estatística e probabilidade, os domínios académicos centrais da Ciência de Dados.
| Trabalhar com Python - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
[](https://youtu.be/dZjWOGbsN4Y)
[](https://youtu.be/dZjWOGbsN4Y)
Embora bases de dados ofereçam formas muito eficientes de armazenar e consultar dados usando linguagens de consulta, a maneira mais flexível de processar dados é escrever o seu próprio programa para manipulá-los. Em muitos casos, realizar uma consulta em uma base de dados seria mais eficaz. No entanto, em alguns casos, quando é necessário um processamento de dados mais complexo, isso não pode ser feito facilmente usando SQL.
O processamento de dados pode ser programado em qualquer linguagem de programação, mas há certas linguagens que são mais adequadas para trabalhar com dados. Cientistas de dados geralmente preferem uma das seguintes linguagens:
@ -64,7 +64,7 @@ print(f"Length of index is {len(idx)}")
Agora suponha que, a cada semana, organizamos uma festa para amigos e levamos 10 pacotes adicionais de sorvete para a festa. Podemos criar outra série, indexada por semana, para demonstrar isso:
```python
@ -75,7 +75,7 @@ Quando somamos duas séries, obtemos o número total:
> **Nota** que não estamos usando a sintaxe simples `total_items+additional_items`. Se o fizéssemos, receberíamos muitos valores `NaN` (*Not a Number*) na série resultante. Isso ocorre porque há valores ausentes para alguns dos pontos de índice na série `additional_items`, e somar `NaN` a qualquer coisa resulta em `NaN`. Assim, precisamos especificar o parâmetro `fill_value` durante a soma.
@ -84,7 +84,7 @@ Com séries temporais, também podemos **reamostrar** a série com diferentes in
monthly = total_items.resample("1M").mean()
ax = monthly.plot(kind='bar')
```
### DataFrame
@ -210,7 +210,7 @@ O primeiro problema em que nos vamos focar é o modelo de propagação epidémic
Como queremos demonstrar como lidar com dados, convidamo-lo a abrir [`notebook-covidspread.ipynb`](notebook-covidspread.ipynb) e lê-lo de cima para baixo. Pode também executar as células e realizar alguns desafios que deixámos para si no final.
> Se não sabe como executar código no Jupyter Notebook, veja [este artigo](https://soshnikov.com/education/how-to-execute-notebooks-from-github/).
@ -232,7 +232,7 @@ Um exemplo completo de análise deste conjunto de dados usando o serviço cognit
Abra [`notebook-papers.ipynb`](notebook-papers.ipynb) e leia-o de cima para baixo. Pode também executar as células e realizar alguns desafios que deixámos para si no final.
> Foto por <ahref="https://unsplash.com/@swimstaralex?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Alexander Sinn</a> no <ahref="https://unsplash.com/s/photos/data?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestes módulos, vais aprender algumas formas de gerir, manipular e utilizar dados em aplicações. Vais aprender sobre bases de dados relacionais e não relacionais e como os dados podem ser armazenados nelas. Vais aprender os fundamentos de trabalhar com Python para gerir dados e descobrir algumas das muitas maneiras de usar Python para gerir e explorar dados.
Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como o preço evolui ao longo dos anos. Pode-se fazer isso adicionando um parâmetro 'hue' para mostrar a mudança, ano após ano:
@ -51,7 +51,7 @@ Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como
Com esta mudança no esquema de cores, é possível perceber claramente uma forte progressão ao longo dos anos no preço do mel por libra. De fato, ao verificar um conjunto de amostras nos dados (escolha um estado, como o Arizona, por exemplo), é possível observar um padrão de aumento de preços ano após ano, com poucas exceções:
Pode-se observar que o tamanho dos pontos aumenta gradualmente.
Será este um caso simples de oferta e procura? Devido a fatores como mudanças climáticas e o colapso das colónias, haverá menos mel disponível para compra ano após ano, e, assim, o preço aumenta?
Resposta: Sim, com algumas exceções por volta do ano 2003:
✅ Como o Seaborn está a agregar dados numa única linha, ele exibe "as múltiplas medições em cada valor de x, traçando a média e o intervalo de confiança de 95% em torno da média". [Fonte](https://seaborn.pydata.org/tutorial/relational.html). Este comportamento, que consome tempo, pode ser desativado adicionando `ci=None`.
@ -105,7 +105,7 @@ Pergunta: Bem, em 2003 também podemos observar um pico na oferta de mel? E se a
Resposta: Não exatamente. Ao observar a produção total, parece que ela realmente aumentou naquele ano específico, embora, de forma geral, a quantidade de mel produzido esteja em declínio durante esses anos.
@ -130,7 +130,7 @@ sns.relplot(
```
Nesta visualização, pode-se comparar a produção por colmeia e o número de colmeias ano após ano, lado a lado, com um limite de 3 colunas:
Para este conjunto de dados, nada particularmente se destaca em relação ao número de colmeias e sua produção, ano após ano e estado por estado. Existe uma forma diferente de encontrar uma correlação entre estas duas variáveis?
Embora nada salte aos olhos em relação ao ano de 2003, isso permite encerrar esta lição com uma nota um pouco mais feliz: embora o número de colmeias esteja em declínio geral, ele está a estabilizar, mesmo que a produção por colmeia esteja a diminuir.
Aqui, instalas o pacote `ggplot2` e depois importas para o ambiente de trabalho usando o comando `library("ggplot2")`. Para criar qualquer gráfico no ggplot, usa-se a função `ggplot()` e especifica-se o conjunto de dados, as variáveis x e y como atributos. Neste caso, usamos a função `geom_line()` porque queremos criar um gráfico de linhas.
O que notas imediatamente? Parece haver pelo menos um valor atípico - que envergadura impressionante! Uma envergadura de mais de 2000 centímetros equivale a mais de 20 metros - será que há Pterodáctilos a voar em Minnesota? Vamos investigar.
Mesmo com a rotação dos rótulos definida para 45 graus, há demasiados para ler. Vamos tentar uma estratégia diferente: rotular apenas os valores atípicos e definir os rótulos dentro do gráfico. Podes usar um gráfico de dispersão para criar mais espaço para os rótulos:
@ -91,7 +91,7 @@ O que está a acontecer aqui? Usaste a função `geom_point()` para criar pontos
Criámos um novo dataframe `birds_filtered` e depois representámos um gráfico de dispersão. Ao filtrar os valores atípicos, os teus dados tornam-se mais coesos e compreensíveis.
No seguinte trecho, instalamos os pacotes [dplyr](https://www.rdocumentation.org/packages/dplyr/versions/0.7.8) e [lubridate](https://www.rdocumentation.org/packages/lubridate/versions/1.8.0) para ajudar a manipular e agrupar dados para criar um gráfico de barras empilhado. Primeiro, agrupas os dados pela `Categoria` das aves e depois resumes as colunas `MinLength`, `MaxLength`, `MinBodyMass`, `MaxBodyMass`, `MinWingspan`, `MaxWingspan`. Em seguida, crias o gráfico de barras usando o pacote `ggplot2` e especificas as cores para as diferentes categorias e os rótulos.
Este gráfico de barras, no entanto, é ilegível porque há demasiados dados não agrupados. Precisamos de selecionar apenas os dados que queremos representar, então vamos observar o comprimento das aves com base na sua categoria.
Primeiro, contas os valores únicos na coluna `Categoria` e depois ordenas num novo dataframe `birds_count`. Estes dados ordenados são então considerados no mesmo nível para que sejam representados de forma ordenada. Usando o `ggplot2`, crias o gráfico de barras. O `coord_flip()` cria barras horizontais.
Este gráfico de barras mostra uma boa visão do número de aves em cada categoria. Num piscar de olhos, vês que o maior número de aves nesta região pertence à categoria de Patos/Gansos/AvesAquáticas. Minnesota é a 'terra dos 10.000 lagos', então isto não é surpreendente!
Isto dá uma visão geral da distribuição do comprimento corporal por Ordem de aves, mas não é a forma ideal de exibir distribuições reais. Essa tarefa é geralmente realizada criando um Histograma.
@ -48,7 +48,7 @@ O `ggplot2` oferece ótimas formas de visualizar a distribuição de dados usand
Como podes ver, a maioria das mais de 400 aves neste conjunto de dados tem uma Massa Corporal Máxima inferior a 2000. Obtém mais informações sobre os dados alterando o parâmetro `bins` para um número maior, como 30:
@ -56,7 +56,7 @@ Como podes ver, a maioria das mais de 400 aves neste conjunto de dados tem uma M
Este gráfico mostra a distribuição de forma um pouco mais detalhada. Um gráfico menos enviesado para a esquerda pode ser criado garantindo que apenas selecionas dados dentro de um determinado intervalo:
✅ Experimenta outros filtros e pontos de dados. Para ver a distribuição completa dos dados, remove o filtro `['MaxBodyMass']` para mostrar distribuições rotuladas.
Não parece haver uma boa correlação entre a envergadura mínima e o estado de conservação. Testa outros elementos do conjunto de dados usando este método. Podes experimentar diferentes filtros também. Encontras alguma correlação?
@ -128,7 +128,7 @@ Vamos trabalhar agora com gráficos de densidade!
Podes ver como o gráfico reflete o anterior para os dados de Envergadura Mínima; é apenas um pouco mais suave. Se quisesses revisitar aquela linha irregular de MaxBodyMass no segundo gráfico que construíste, poderias suavizá-la muito bem recriando-a usando este método:
@ -136,7 +136,7 @@ Podes ver como o gráfico reflete o anterior para os dados de Envergadura Mínim
Se quiseres uma linha suave, mas não demasiado suave, edita o parâmetro `adjust`:
@ -144,7 +144,7 @@ Se quiseres uma linha suave, mas não demasiado suave, edita o parâmetro `adjus
✅ Lê sobre os parâmetros disponíveis para este tipo de gráfico e experimenta!
@ -154,7 +154,7 @@ Este tipo de gráfico oferece visualizações explicativas muito bonitas. Com al
ggplot(data=birds_filtered_1,aes(x = MaxBodyMass, fill = Order)) +
geom_density(alpha=0.5)
```
Voilà, um gráfico de pizza que mostra as proporções destes dados de acordo com estas duas classes de cogumelos. É muito importante garantir que a ordem das etiquetas esteja correta, especialmente aqui, por isso verifica sempre a ordem com que o array de etiquetas é construído!
## Roscas!
@ -117,7 +117,7 @@ library(webr)
PieDonut(habitat, aes(habitat, count=count))
```
Este código utiliza duas bibliotecas - ggplot2 e webr. Usando a função PieDonut da biblioteca webr, podemos criar um gráfico de rosca facilmente!
Usando um gráfico de waffle, podes ver claramente as proporções das cores dos chapéus neste conjunto de dados de cogumelos. Curiosamente, existem muitos cogumelos com chapéus verdes!
Nesta lição, aprendeste três formas de visualizar proporções. Primeiro, precisas de agrupar os teus dados em categorias e depois decidir qual é a melhor forma de exibir os dados - pizza, rosca ou waffle. Todas são deliciosas e oferecem ao utilizador uma visão instantânea de um conjunto de dados.
Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como o preço evolui ao longo dos anos. Pode fazer isso adicionando o parâmetro 'scale_color_gradientn' para mostrar a mudança, ano após ano:
@ -52,7 +52,7 @@ Agora, mostre os mesmos dados com um esquema de cores de mel para ilustrar como
ggplot(honey, aes(x = priceperlb, y = state, color=year)) +
Com esta mudança de esquema de cores, é possível ver claramente uma forte progressão ao longo dos anos no preço do mel por libra. De facto, ao verificar um conjunto de amostra nos dados (escolha um estado, como o Arizona), pode-se observar um padrão de aumento de preço ano após ano, com poucas exceções:
Será este um caso simples de oferta e procura? Devido a fatores como mudanças climáticas e colapso de colónias, há menos mel disponível para compra ano após ano, e assim o preço aumenta?
Resposta: Não exatamente. Se observar a produção total, parece que ela realmente aumentou nesse ano específico, embora, de forma geral, a quantidade de mel produzida esteja em declínio durante esses anos.
Para este conjunto de dados, nada particularmente se destaca em relação ao número de colónias e ao seu rendimento, ano após ano e estado por estado. Existe uma forma diferente de encontrar uma correlação entre estas duas variáveis?
Embora nada salte aos olhos em torno do ano de 2003, isso permite terminar esta lição com uma nota um pouco mais feliz: embora o número de colónias esteja em declínio geral, ele está a estabilizar, mesmo que o rendimento por colónia esteja a diminuir.
@ -38,25 +38,25 @@ Em lições anteriores, você experimentou criar diversos tipos de visualizaçõ
Mesmo que um cientista de dados seja cuidadoso ao escolher o gráfico certo para os dados certos, existem muitas maneiras de exibir dados de forma a provar um ponto, muitas vezes às custas de comprometer os próprios dados. Há muitos exemplos de gráficos e infográficos enganosos!
[](https://www.youtube.com/watch?v=oX74Nge8Wkw "Como os gráficos enganam")
[](https://www.youtube.com/watch?v=oX74Nge8Wkw "Como os gráficos enganam")
> 🎥 Clique na imagem acima para assistir a uma palestra sobre gráficos enganosos
Este gráfico inverte o eixo X para mostrar o oposto da verdade, com base na data:
[Este gráfico](https://media.firstcoastnews.com/assets/WTLV/images/170ae16f-4643-438f-b689-50d66ca6a8d8/170ae16f-4643-438f-b689-50d66ca6a8d8_1140x641.jpg) é ainda mais enganoso, pois o olhar é atraído para a direita, levando à conclusão de que, ao longo do tempo, os casos de COVID diminuíram nos vários condados. Na verdade, ao observar atentamente as datas, percebe-se que elas foram reorganizadas para criar essa tendência descendente enganosa.
Este exemplo notório usa cor E um eixo Y invertido para enganar: em vez de concluir que as mortes por armas aumentaram após a aprovação de uma legislação favorável às armas, o olhar é enganado para pensar que o oposto é verdadeiro:
Comparar o incomparável é mais um truque duvidoso. Existe um [site maravilhoso](https://tylervigen.com/spurious-correlations) dedicado a 'correlações espúrias', exibindo 'fatos' que correlacionam coisas como a taxa de divórcio no Maine e o consumo de margarina. Um grupo no Reddit também coleta os [usos feios](https://www.reddit.com/r/dataisugly/top/?t=all) de dados.
@ -91,13 +91,13 @@ Rotule os seus eixos, forneça uma legenda, se necessário, e ofereça tooltips
Se os seus dados forem textuais e extensos no eixo X, você pode inclinar o texto para melhorar a legibilidade. [plot3D](https://cran.r-project.org/web/packages/plot3D/index.html) oferece gráficos em 3D, se os seus dados suportarem. Visualizações de dados sofisticadas podem ser produzidas usando esta biblioteca.
Algumas das melhores visualizações de dados hoje em dia são animadas. Shirley Wu tem exemplos incríveis feitos com D3, como '[film flowers](http://bl.ocks.org/sxywu/raw/d612c6c653fb8b4d7ff3d422be164a5d/)', onde cada flor é uma visualização de um filme. Outro exemplo para o Guardian é 'bussed out', uma experiência interativa que combina visualizações com Greensock e D3, além de um formato de artigo com narrativa para mostrar como NYC lida com o problema dos sem-teto, enviando pessoas para fora da cidade.
> "Bussed Out: Como a América Move os Sem-Teto" do [Guardian](https://www.theguardian.com/us-news/ng-interactive/2017/dec/20/bussed-out-america-moves-homeless-people-country-study). Visualizações por Nadieh Bremer & Shirley Wu
@ -107,7 +107,7 @@ Embora esta lição não seja suficiente para ensinar em profundidade essas pode
Você completará um aplicativo web que exibirá uma visão animada dessa rede social. Ele utiliza uma biblioteca criada para gerar uma [visualização de uma rede](https://github.com/emiliorizzo/vue-d3-network) usando Vue.js e D3. Quando o aplicativo estiver em execução, você pode mover os nós na tela para reorganizar os dados.
> Foto de <ahref="https://unsplash.com/@jenna2980?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Jenna Lee</a> no <ahref="https://unsplash.com/s/photos/bees-in-a-meadow?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Visualizar dados é uma das tarefas mais importantes de um cientista de dados. Imagens valem mais do que mil palavras, e uma visualização pode ajudá-lo a identificar vários aspetos interessantes dos seus dados, como picos, valores atípicos, agrupamentos, tendências e muito mais, que podem ajudá-lo a compreender a história que os seus dados estão a tentar contar.
@ -16,7 +16,7 @@ Neste ponto, provavelmente já percebeu que a ciência de dados é um processo.
Esta lição foca-se em 3 partes do ciclo de vida: captura, processamento e manutenção.
> Foto por [Berkeley School of Information](https://ischoolonline.berkeley.edu/data-science/what-is-data-science/)
## Captura
@ -92,7 +92,7 @@ Explore o [Ciclo de Vida do Processo de Ciência de Dados em Equipa](https://doc
|Processo de Ciência de Dados em Equipa (TDSP)|Processo padrão da indústria para mineração de dados (CRISP-DM)|
|--|--|
| |  |
| |  |
| Imagem por [Microsoft](https://docs.microsoft.comazure/architecture/data-science-process/lifecycle) | Imagem por [Data Science Process Alliance](https://www.datascience-pm.com/crisp-dm-2/) |
> Foto por <ahref="https://unsplash.com/@headwayio?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Headway</a> no <ahref="https://unsplash.com/s/photos/communication?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
Nestes conteúdos, vais explorar alguns dos aspetos do ciclo de vida da Ciência de Dados, incluindo análise e comunicação de dados.
> Foto de [Jelleke Vanooteghem](https://unsplash.com/@ilumire) no [Unsplash](https://unsplash.com/s/photos/cloud?orientation=landscape)
Quando se trata de fazer ciência de dados com big data, a cloud pode ser um divisor de águas. Nas próximas três lições, vamos explorar o que é a cloud e por que ela pode ser tão útil. Também vamos analisar um conjunto de dados sobre insuficiência cardíaca e construir um modelo para ajudar a avaliar a probabilidade de alguém sofrer de insuficiência cardíaca. Utilizaremos o poder da cloud para treinar, implementar e consumir um modelo de duas formas diferentes. Uma forma será utilizando apenas a interface de utilizador, num estilo de "Low code/No code", e a outra será através do Azure Machine Learning Software Developer Kit (Azure ML SDK).
@ -32,7 +32,7 @@ Graças à democratização da IA, os desenvolvedores estão a encontrar formas
* [Ciência de Dados na Saúde](https://data-flair.training/blogs/data-science-in-healthcare/) - destaca aplicações como imagiologia médica (e.g., ressonância magnética, raio-X, tomografia), genómica (sequenciamento de DNA), desenvolvimento de medicamentos (avaliação de risco, previsão de sucesso), análise preditiva (cuidados ao paciente e logística de fornecimento), rastreamento e prevenção de doenças, etc.
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
 Crédito da Imagem: [Data Flair: 6 Amazing Data Science Applications ](https://data-flair.training/blogs/data-science-applications/)
A figura mostra outros domínios e exemplos de aplicação de técnicas de ciência de dados. Queres explorar outras aplicações? Consulta a secção [Revisão e Autoestudo](../../../../6-Data-Science-In-Wild/20-Real-World-Examples) abaixo.
@ -13,7 +13,7 @@ A interface do Explorer (mostrada na imagem abaixo) permite-te selecionar um con
2. Explorar o [Catálogo](https://planetarycomputer.microsoft.com/catalog) de conjuntos de dados - aprender o propósito de cada um.
3. Usar o Explorer - escolher um conjunto de dados do teu interesse, selecionar uma consulta relevante e uma opção de renderização.
`A Tua Tarefa:`
Agora analisa a visualização que foi gerada no navegador e responde às seguintes questões:
[](https://github.com/codespaces/new?hide_repo_select=true&ref=main&repo=344191198)
[](https://GitHub.com/microsoft/Data-Science-For-Beginners/pulls/)
[](http://makeapullrequest.com)
[](https://aka.ms/foundry/forum)
Os Advocates do Azure Cloud da Microsoft têm o prazer de oferecer um currículo de 10 semanas, com 20 lições, totalmente dedicado a Data Science. Cada lição inclui questionários pré e pós-lição, instruções escritas para completar a lição, uma solução, e uma tarefa. A nossa pedagogia baseada em projetos permite que aprenda enquanto constrói, uma forma comprovada para novas competências 'ficarem'.
Os Advocates do Azure Cloud na Microsoft têm o prazer de oferecer um currículo de 10 semanas, com 20 lições, totalmente dedicado à Ciência de Dados. Cada lição inclui questionários antes e depois da lição, instruções escritas para completar a lição, uma solução e uma tarefa. A nossa pedagogia baseada em projetos permite aprender enquanto constrói, uma forma comprovada para as novas competências “ficarem”.
> Este repositório inclui traduções em mais de 50 idiomas, o que aumenta significativamente o tamanho do download. Para clonar sem as traduções, use o sparse checkout:
>
> Este repositório inclui mais de 50 traduções de idiomas que aumentam significativamente o tamanho do download. Para clonar sem traduções, use sparse checkout:
> git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"
> ```
>
> Isto oferece tudo o que necessita para completar o curso com um download muito mais rápido.
<!-- CO-OP TRANSLATOR LANGUAGES TABLE END -->
**Se desejar que sejam suportadas línguas adicionais de tradução, estão listadas [aqui](https://github.com/Azure/co-op-translator/blob/main/getting_started/supported-languages.md)**
**Se desejar ter apoio para idiomas adicionais, esses idiomas suportados estão listados [aqui](https://github.com/Azure/co-op-translator/blob/main/getting_started/supported-languages.md)**
[](https://discord.gg/nTYy5BXMWG)
Temos uma série Discord aprender com IA em curso, saiba mais e junte-se a nós em [Learn with AI Series](https://aka.ms/learnwithai/discord) de 18 a 30 de Setembro, 2025. Vai receber dicas e truques para usar o GitHub Copilot para Data Science.
Temos uma série de aprendizagem no Discord com IA em curso, saiba mais e junte-se a nós em [Learn with AI Series](https://aka.ms/learnwithai/discord) de 18 a 30 de setembro de 2025. Receberá dicas e truques para usar o GitHub Copilot para Ciência de Dados.
@ -59,47 +69,47 @@ Temos uma série Discord aprender com IA em curso, saiba mais e junte-se a nós
Comece com os seguintes recursos:
- [Página Hub do Estudante](https://docs.microsoft.com/en-gb/learn/student-hub?WT.mc_id=academic-77958-bethanycheum) Nesta página, encontrará recursos para iniciantes, pacotes para estudantes e até formas de obter um voucher de certificação gratuito. Esta é uma página que vai querer adicionar aos favoritos e consultar de tempos a tempos, pois atualizamos o conteúdo pelo menos mensalmente.
- [Microsoft Learn Student Ambassadors](https://studentambassadors.microsoft.com?WT.mc_id=academic-77958-bethanycheum) Junte-se a uma comunidade global de embaixadores estudantis, esta pode ser a sua entrada para a Microsoft.
- [Página do Hub para Estudantes](https://docs.microsoft.com/en-gb/learn/student-hub?WT.mc_id=academic-77958-bethanycheum) Nesta página encontrará recursos para iniciantes, kits para estudantes e até formas de obter um voucher de certificação gratuito. Esta é uma página que deve guardar nos favoritos e consultar de tempos a tempos, pois atualizamos o conteúdo pelo menos mensalmente.
- [Microsoft Learn Student Ambassadors](https://studentambassadors.microsoft.com?WT.mc_id=academic-77958-bethanycheum) Junte-se a uma comunidade global de estudantes embaixadores, esta pode ser a sua porta de entrada para a Microsoft.
# Começar
## 📚 Documentação
- **[Guia de Instalação](INSTALLATION.md)** - Instruções passo a passo para configuração para iniciantes
- **[Guia de Uso](USAGE.md)** - Exemplos e fluxos de trabalho comuns
- **[Guia de Instalação](INSTALLATION.md)** - Instruções passo a passo para iniciantes
- **[Guia de Utilização](USAGE.md)** - Exemplos e fluxos de trabalho comuns
- **[Resolução de Problemas](TROUBLESHOOTING.md)** - Soluções para problemas comuns
- **[Guia de Contribuição](CONTRIBUTING.md)** - Como contribuir para este projeto
- **[Para Professores](for-teachers.md)** - Orientações para ensino e recursos para sala de aula
- **[Para Professores](for-teachers.md)** - Orientação para ensino e recursos para a sala de aula
## 👨🎓 Para Estudantes
> **Totalmente Iniciantes**: Novo em data science? Comece com os nossos [exemplos para iniciantes](examples/README.md)! Estes exemplos simples, bem comentados, vão ajudá-lo a compreender o básico antes de avançar para o currículo completo.
> **[Estudantes](https://aka.ms/student-page)**: para usar este currículo por sua conta, faça um fork do repositório inteiro e complete os exercícios sozinho, começando com um questionário pré-lecture. Depois leia a aula e complete o resto das atividades. Tente criar os projetos compreendendo as lições em vez de copiar o código da solução; contudo, esse código está disponível nas pastas /solutions em cada lição orientada a projetos. Outra ideia seria formar um grupo de estudo com amigos e percorrem o conteúdo juntos. Para estudo adicional, recomendamos [Microsoft Learn](https://docs.microsoft.com/en-us/users/jenlooper-2911/collections/qprpajyoy3x0g7?WT.mc_id=academic-77958-bethanycheum).
> **Completamente Novatos**: Novo na ciência de dados? Comece com os nossos [exemplos amigáveis para iniciantes](examples/README.md)! Estes exemplos simples e bem comentados ajudarão a entender o básico antes de avançar para o currículo completo.
> **[Estudantes](https://aka.ms/student-page)**: para usar este currículo por conta própria, faça fork do repositório inteiro e complete os exercícios sozinho, começando com um questionário pré-lectura. Depois leia a aula e complete o restante das atividades. Tente criar os projetos compreendendo as lições em vez de copiar o código da solução; no entanto, esse código está disponível nas pastas /solutions em cada lição orientada a projetos. Outra ideia seria formar um grupo de estudo com amigos e passar pelo conteúdo juntos. Para estudo adicional, recomendamos o [Microsoft Learn](https://docs.microsoft.com/en-us/users/jenlooper-2911/collections/qprpajyoy3x0g7?WT.mc_id=academic-77958-bethanycheum).
**Início Rápido:**
1. Consulte o [Guia de Instalação](INSTALLATION.md) para configurar o seu ambiente
2. Revise o [Guia de Uso](USAGE.md) para aprender a trabalhar com o currículo
2. Reveja o [Guia de Utilização](USAGE.md) para aprender a trabalhar com o currículo
3. Comece pela Lição 1 e prossiga sequencialmente
4. Junte-se à nossa [comunidade Discord](https://aka.ms/ds4beginners/discord) para suporte
4. Junte-se à nossa [comunidade no Discord](https://aka.ms/ds4beginners/discord) para apoio
## 👩🏫 Para Professores
> **Professores**: incluímos [algumas sugestões](for-teachers.md) sobre como usar este currículo. Gostaríamos muito do vosso feedback [no nosso fórum de discussão](https://github.com/microsoft/Data-Science-For-Beginners/discussions)!
> **Professores**: incluímos [algumas sugestões](for-teachers.md) sobre como usar este currículo. Adoraríamos o seu feedback [no nosso fórum de discussão](https://github.com/microsoft/Data-Science-For-Beginners/discussions)!
> 🎥 Clique na imagem acima para ver um vídeo sobre o projeto e as pessoas que o criaram!
> 🎥 Clique na imagem acima para um vídeo sobre o projeto e as pessoas que o criaram!
## Pedagogia
Escolhemos dois princípios pedagógicos ao construir este currículo: garantir que é baseado em projetos e que inclui questionários frequentes. No final desta série, os estudantes terão aprendido princípios básicos de ciência de dados, incluindo conceitos éticos, preparação de dados, diferentes formas de trabalhar com dados, visualização de dados, análise de dados, casos de uso reais da ciência de dados e mais.
Escolhemos dois princípios pedagógicos ao construir este currículo: garantir que é baseado em projetos e que inclui questionários frequentes. No final desta série, os alunos terão aprendido os princípios básicos da ciência de dados, incluindo conceitos éticos, preparação dos dados, diferentes formas de trabalhar com dados, visualização de dados, análise de dados, casos de uso reais de ciência de dados e muito mais.
Além disso, um questionário de baixo risco antes da aula define a intenção do estudante para aprender um tópico, enquanto um segundo questionário após a aula assegura uma maior retenção. Este currículo foi projetado para ser flexível e divertido e pode ser realizado na sua totalidade ou em partes. Os projetos começam pequenos e tornam-se progressivamente mais complexos até ao final do ciclo de 10 semanas.
Além disso, um questionário de baixo risco antes da aula define a intenção do aluno para aprender um tópico, enquanto um segundo questionário após a aula assegura uma retenção maior. Este currículo foi concebido para ser flexível e divertido e pode ser seguido na totalidade ou em parte. Os projetos começam pequenos e tornam-se progressivamente mais complexos até ao final do ciclo de 10 semanas.
> Consulte as nossas diretrizes de [Código de Conduta](CODE_OF_CONDUCT.md), [Contribuição](CONTRIBUTING.md), [Tradução](TRANSLATIONS.md). Agradecemos o seu feedback construtivo!
> Consulte o nosso [Código de Conduta](CODE_OF_CONDUCT.md), as diretrizes de [Contribuição](CONTRIBUTING.md), [Tradução](TRANSLATIONS.md). Agradecemos o vosso feedback construtivo!
## Cada aula inclui:
@ -107,24 +117,24 @@ Além disso, um questionário de baixo risco antes da aula define a intenção d
- Vídeo suplementar opcional
- Questionário de aquecimento pré-aula
- Aula escrita
- Para aulas baseadas em projetos, guias passo a passo sobre como construir o projeto
- Para aulas baseadas em projetos, guias passo-a-passo sobre como construir o projeto
> **Uma nota sobre os questionários**: Todos os questionários estão contidos na pasta Quiz-App, totalizando 40 questionários com três perguntas cada. Estão ligados dentro das aulas, mas a aplicação do questionário pode ser executada localmente ou implementada no Azure; siga as instruções na pasta `quiz-app`. Estão a ser gradualmente localizados.
> **Uma nota sobre os questionários**: Todos os questionários encontram-se na pasta Quiz-App, com um total de 40 questionários de três perguntas cada. Eles estão ligados dentro das aulas, mas a aplicação de questionários pode ser executada localmente ou implementada no Azure; siga as instruções na pasta `quiz-app`. Estão a ser progressivamente localizados.
## 🎓 Exemplos Amigáveis para Iniciantes
**Novo na Ciência de Dados?** Criámos um [diretório de exemplos](examples/README.md) especial com código simples e bem comentado para o ajudar a começar:
**Novo em Ciência de Dados?** Criámos um diretório especial de [exemplos](examples/README.md) com código simples e bem comentado para o ajudar a começar:
- 🌟 **Olá Mundo** - O seu primeiro programa de ciência de dados
- 📂 **Carregar Dados** - Aprenda a ler e explorar conjuntos de dados
- 📊 **Análise Simples** - Calcular estatísticas e encontrar padrões
- 📈 **Visualização Básica** - Criar gráficos e diagramas
- 🔬 **Projeto do Mundo Real** - Fluxo completo do início ao fim
- 📊 **Análise Simples** - Calcule estatísticas e encontre padrões
- 📈 **Visualização Básica** - Crie gráficos e diagramas
- 🔬 **Projeto do Mundo Real** - Fluxo de trabalho completo do início ao fim
Cada exemplo inclui comentários detalhados explicando cada passo, tornando-o perfeito para principiantes absolutos!
@ -138,60 +148,60 @@ Cada exemplo inclui comentários detalhados explicando cada passo, tornando-o pe
| Ciência de Dados para Iniciantes: Roteiro - _Sketchnote por [@nitya](https://twitter.com/nitya)_ |
| Número da Aula | Tópico | Agrupamento da Aula | Objetivos de Aprendizagem | Aula Ligada | Autor |
| Número da Aula | Tema | Grupo de Aulas | Objetivos de Aprendizagem | Aula Ligada | Autor |
| 01 | Definição de Ciência de Dados | [Introdução](1-Introduction/README.md) | Aprender os conceitos básicos por trás da ciência de dados e como esta está relacionada com inteligência artificial, machine learning e big data. | [aula](1-Introduction/01-defining-data-science/README.md) [vídeo](https://youtu.be/beZ7Mb_oz9I) | [Dmitry](http://soshnikov.com) |
| 02 | Ética na Ciência de Dados | [Introdução](1-Introduction/README.md) | Conceitos, desafios e estruturas de ética dos dados. | [aula](1-Introduction/02-ethics/README.md) | [Nitya](https://twitter.com/nitya) |
| 03 | Definição de Dados | [Introdução](1-Introduction/README.md) | Como os dados são classificados e as suas fontes comuns. | [aula](1-Introduction/03-defining-data/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 04 | Introdução à Estatística e Probabilidade | [Introdução](1-Introduction/README.md) | As técnicas matemáticas de probabilidade e estatística para compreender os dados. | [aula](1-Introduction/04-stats-and-probability/README.md) [vídeo](https://youtu.be/Z5Zy85g4Yjw) | [Dmitry](http://soshnikov.com) |
| 05 | Trabalhar com Dados Relacionais | [Trabalhar com Dados](2-Working-With-Data/README.md) | Introdução aos dados relacionais e ao básico da exploração e análise de dados relacionais com a Structured Query Language, também conhecida como SQL (pronunciado “see-quell”). | [aula](2-Working-With-Data/05-relational-databases/README.md) | [Christopher](https://www.twitter.com/geektrainer) | | |
| 06 | Trabalhar com Dados NoSQL | [Trabalhar com Dados](2-Working-With-Data/README.md) | Introdução a dados não relacionais, os seus vários tipos e o básico da exploração e análise de bases de dados de documentos. | [aula](2-Working-With-Data/06-non-relational/README.md) | [Jasmine](https://twitter.com/paladique)|
| 07 | Trabalhar com Python | [Trabalhar com Dados](2-Working-With-Data/README.md) | Noções básicas de utilização de Python para exploração de dados com bibliotecas como Pandas. Recomenda-se uma compreensão básica de programação em Python. | [aula](2-Working-With-Data/07-python/README.md) [vídeo](https://youtu.be/dZjWOGbsN4Y) | [Dmitry](http://soshnikov.com) |
| 08 | Preparação de Dados | [Trabalhar com Dados](2-Working-With-Data/README.md) | Tópicos sobre técnicas de dados para limpeza e transformação dos dados para lidar com desafios de dados em falta, incorretos ou incompletos. | [aula](2-Working-With-Data/08-data-preparation/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 09 | Visualização de Quantidades | [Visualização de Dados](3-Data-Visualization/README.md) | Aprender a usar Matplotlib para visualizar dados de aves 🦆 | [aula](3-Data-Visualization/09-visualization-quantities/README.md) | [Jen](https://twitter.com/jenlooper) |
| 10 | Visualização das Distribuições de Dados | [Visualização de Dados](3-Data-Visualization/README.md) | Visualização de observações e tendências dentro de um intervalo. | [aula](3-Data-Visualization/10-visualization-distributions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 11 | Visualização de Proporções | [Visualização de Dados](3-Data-Visualization/README.md) | Visualização de percentagens discretas e agrupadas. | [aula](3-Data-Visualization/11-visualization-proportions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 12 | Visualização de Relações | [Visualização de Dados](3-Data-Visualization/README.md) | Visualização de conexões e correlações entre conjuntos de dados e as suas variáveis. | [aula](3-Data-Visualization/12-visualization-relationships/README.md) | [Jen](https://twitter.com/jenlooper) |
| 13 | Visualizações Significativas | [Visualização de Dados](3-Data-Visualization/README.md) | Técnicas e orientações para tornar as suas visualizações valiosas para a resolução eficaz de problemas e obtenção de insights. | [aula](3-Data-Visualization/13-meaningful-visualizations/README.md) | [Jen](https://twitter.com/jenlooper) |
| 01 | Definir Ciência de Dados | [Introdução](1-Introduction/README.md) | Aprender os conceitos básicos por detrás da ciência de dados e como esta se relaciona com inteligência artificial, aprendizagem automática e big data. | [aula](1-Introduction/01-defining-data-science/README.md) [vídeo](https://youtu.be/beZ7Mb_oz9I) | [Dmitry](http://soshnikov.com) |
| 02 | Ética na Ciência de Dados | [Introdução](1-Introduction/README.md) | Conceitos, desafios e estruturas da Ética de Dados. | [aula](1-Introduction/02-ethics/README.md) | [Nitya](https://twitter.com/nitya) |
| 03 | Definir Dados | [Introdução](1-Introduction/README.md) | Como os dados são classificados e as suas fontes comuns. | [aula](1-Introduction/03-defining-data/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 04 | Introdução à Estatística & Probabilidade | [Introdução](1-Introduction/README.md) | As técnicas matemáticas de probabilidade e estatística para compreender dados. | [aula](1-Introduction/04-stats-and-probability/README.md) [vídeo](https://youtu.be/Z5Zy85g4Yjw) | [Dmitry](http://soshnikov.com) |
| 05 | Trabalhar com Dados Relacionais | [Trabalhar com Dados](2-Working-With-Data/README.md) | Introdução a dados relacionais e os fundamentos da exploração e análise de dados relacionais com a Linguagem de Consulta Estruturada, também conhecida como SQL (pronuncia-se “ess-que-el”). | [aula](2-Working-With-Data/05-relational-databases/README.md) | [Christopher](https://www.twitter.com/geektrainer) | | |
| 06 | Trabalhar com Dados NoSQL | [Trabalhar com Dados](2-Working-With-Data/README.md) | Introdução a dados não relacionais, os seus vários tipos e os fundamentos da exploração e análise de bases de dados documentais. | [aula](2-Working-With-Data/06-non-relational/README.md) | [Jasmine](https://twitter.com/paladique)|
| 07 | Trabalhar com Python | [Trabalhar com Dados](2-Working-With-Data/README.md) | Noções básicas de utilização do Python para exploração de dados com bibliotecas como Pandas. Recomenda-se um entendimento fundamental da programação em Python. | [aula](2-Working-With-Data/07-python/README.md) [vídeo](https://youtu.be/dZjWOGbsN4Y) | [Dmitry](http://soshnikov.com) |
| 08 | Preparação de Dados | [Trabalhar com Dados](2-Working-With-Data/README.md) | Temas sobre técnicas de dados para limpar e transformar os dados para lidar com desafios de dados em falta, imprecisos ou incompletos. | [aula](2-Working-With-Data/08-data-preparation/README.md) | [Jasmine](https://www.twitter.com/paladique) |
| 09 | Visualizar Quantidades | [Visualização de Dados](3-Data-Visualization/README.md) | Aprender a usar Matplotlib para visualizar dados de aves 🦆 | [aula](3-Data-Visualization/09-visualization-quantities/README.md) | [Jen](https://twitter.com/jenlooper) |
| 10 | Visualizar Distribuições de Dados | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizar observações e tendências dentro de um intervalo. | [aula](3-Data-Visualization/10-visualization-distributions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 11 | Visualizar Proporções | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizar percentagens discretas e agrupadas. | [aula](3-Data-Visualization/11-visualization-proportions/README.md) | [Jen](https://twitter.com/jenlooper) |
| 12 | Visualizar Relações | [Visualização de Dados](3-Data-Visualization/README.md) | Visualizar conexões e correlações entre conjuntos de dados e as suas variáveis. | [aula](3-Data-Visualization/12-visualization-relationships/README.md) | [Jen](https://twitter.com/jenlooper) |
| 13 | Visualizações Significativas | [Visualização de Dados](3-Data-Visualization/README.md) | Técnicas e orientações para tornar as suas visualizações valiosas para uma resolução eficaz de problemas e obtenção de insights. | [aula](3-Data-Visualization/13-meaningful-visualizations/README.md) | [Jen](https://twitter.com/jenlooper) |
| 14 | Introdução ao ciclo de vida da Ciência de Dados | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Introdução ao ciclo de vida da ciência de dados e o seu primeiro passo de aquisição e extração de dados. | [aula](4-Data-Science-Lifecycle/14-Introduction/README.md) | [Jasmine](https://twitter.com/paladique) |
| 15 | Análise | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados centra-se em técnicas para analisar dados. | [aula](4-Data-Science-Lifecycle/15-analyzing/README.md) | [Jasmine](https://twitter.com/paladique) | | |
| 16 | Comunicação | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca-se na apresentação dos insights dos dados de uma forma que facilite a compreensão por parte dos decisores. | [aula](4-Data-Science-Lifecycle/16-communication/README.md) | [Jalen](https://twitter.com/JalenMcG) | | |
| 15 | Análise | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca-se em técnicas para analisar dados. | [aula](4-Data-Science-Lifecycle/15-analyzing/README.md) | [Jasmine](https://twitter.com/paladique) | | |
| 16 | Comunicação | [Ciclo de Vida](4-Data-Science-Lifecycle/README.md) | Esta fase do ciclo de vida da ciência de dados foca-se em apresentar os insights dos dados de uma forma que facilite a compreensão por parte dos decisores. | [aula](4-Data-Science-Lifecycle/16-communication/README.md) | [Jalen](https://twitter.com/JalenMcG) | | |
| 17 | Ciência de Dados na Cloud | [Dados na Cloud](5-Data-Science-In-Cloud/README.md) | Esta série de aulas introduz a ciência de dados na cloud e os seus benefícios. | [aula](5-Data-Science-In-Cloud/17-Introduction/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 18 | Ciência de Dados na Cloud | [Dados na Cloud](5-Data-Science-In-Cloud/README.md) | Treino de modelos usando ferramentas Low Code. |[aula](5-Data-Science-In-Cloud/18-Low-Code/README.md) | [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 19 | Ciência de Dados na Cloud | [Dados na Cloud](5-Data-Science-In-Cloud/README.md) | Implantação de modelos com Azure Machine Learning Studio. | [aula](5-Data-Science-In-Cloud/19-Azure/README.md)| [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 20 | Ciência de Dados na Prática | [Na Prática](6-Data-Science-In-Wild/README.md) | Projetos de ciência de dados no mundo real. | [aula](6-Data-Science-In-Wild/20-Real-World-Examples/README.md) | [Nitya](https://twitter.com/nitya) |
| 19 | Ciência de Dados na Cloud | [Dados na Cloud](5-Data-Science-In-Cloud/README.md) | Implementação de modelos com Azure Machine Learning Studio. | [aula](5-Data-Science-In-Cloud/19-Azure/README.md)| [Tiffany](https://twitter.com/TiffanySouterre) e [Maud](https://twitter.com/maudstweets) |
| 20 | Ciência de Dados na Natureza | [Na Natureza](6-Data-Science-In-Wild/README.md) | Projetos conducentes por ciência de dados no mundo real. | [aula](6-Data-Science-In-Wild/20-Real-World-Examples/README.md) | [Nitya](https://twitter.com/nitya) |
## GitHub Codespaces
Siga estes passos para abrir este exemplo num Codespace:
1. Clique no menu suspenso Código e selecione a opção Abrir com Codespaces.
2. Selecione + Novo codespace na parte inferior do painel.
1. Clique no menu suspenso Code e selecione a opção Open with Codespaces.
2. Selecione + New codespace na parte inferior do painel.
Para mais informações, consulte a [documentação do GitHub](https://docs.github.com/en/codespaces/developing-in-codespaces/creating-a-codespace-for-a-repository#creating-a-codespace).
## VSCode Remote - Containers
Siga estes passos para abrir este repositório num contentor usando a sua máquina local e o VSCode através da extensão VS Code Remote - Containers:
1. Se esta é a sua primeira vez a usar um contentor de desenvolvimento, por favor assegure-se de que o seu sistema cumpre os pré-requisitos (ex. ter o Docker instalado) na [documentação para começar](https://code.visualstudio.com/docs/devcontainers/containers#_getting-started).
1. Se é a sua primeira vez a usar um contentor de desenvolvimento, por favor certifique-se de que o seu sistema cumpre os pré-requisitos (ex. ter o Docker instalado) na [documentação de início rápido](https://code.visualstudio.com/docs/devcontainers/containers#_getting-started).
Para usar este repositório, pode abrir o repositório num volume Docker isolado:
**Nota**: Em segundo plano, isto irá utilizar o comando Remote-Containers: **Clonar Repositório num Volume de Contentor...** para clonar o código fonte num volume Docker em vez do sistema de ficheiros local. [Volumes](https://docs.docker.com/storage/volumes/) são o mecanismo preferido para persistência de dados do contentor.
**Nota**: Por baixo, isto irá usar o comando Remote-Containers: **Clone Repository in Container Volume...** para clonar o código fonte num volume Docker em vez do sistema de ficheiros local. [Volumes](https://docs.docker.com/storage/volumes/) são o mecanismo preferido para persistência de dados do contentor.
Ou abrir uma cópia clonada ou descarregada localmente do repositório:
Ou abrir uma versão clonada ou descarregada localmente do repositório:
- Clone este repositório no seu sistema local.
- Pressione F1 e selecione o comando **Remote-Containers: Abrir Pasta no Contentor...**.
- Selecione a cópia clonada desta pasta, aguarde o contentor iniciar e experimente.
- Clone este repositório para o seu sistema de ficheiros local.
- Pressione F1 e selecione o comando **Remote-Containers: Open Folder in Container...**.
- Selecione a cópia clonada desta pasta, espere o contentor iniciar e experimente.
## Acesso Offline
Pode executar esta documentação offline usando [Docsify](https://docsify.js.org/#/). Faça um fork deste repositório, [instale o Docsify](https://docsify.js.org/#/quickstart) na sua máquina local, depois na pasta raiz deste repositório, digite`docsify serve`. O website será servido na porta 3000 no seu localhost: `localhost:3000`.
Pode executar esta documentação offline usando [Docsify](https://docsify.js.org/#/). Faça um fork deste repositório, [instale o Docsify](https://docsify.js.org/#/quickstart) na sua máquina local, depois na pasta raíz deste repositório, escreva`docsify serve`. O website será servido na porta 3000 no seu localhost: `localhost:3000`.
> Nota, os notebooks não serão renderizados via Docsify, por isso quando precisar de executar um notebook, faça isso separadamente no VS Code executando um kernel Python.
> Nota, notebooks não serão renderizados via Docsify, por isso quando precisar de executar um notebook, faça-o separadamente no VS Code a correr um kernel Python.
## Outros Currículos
A nossa equipa produz outros currículos! Veja:
A nossa equipa produz outros currículos! Confira:
<!-- CO-OP TRANSLATOR OTHER COURSES START -->
### LangChain
@ -208,7 +218,7 @@ A nossa equipa produz outros currículos! Veja:
---
### Série de IA Generativa
### Série IA Generativa
[](https://github.com/microsoft/generative-ai-for-beginners?WT.mc_id=academic-105485-koreyst)
@ -216,7 +226,7 @@ A nossa equipa produz outros currículos! Veja:
---
### Aprendizagem Fundamental
### Aprendizagem Base
[](https://aka.ms/ml-beginners?WT.mc_id=academic-105485-koreyst)
[](https://aka.ms/datascience-beginners?WT.mc_id=academic-105485-koreyst)
[](https://aka.ms/ai-beginners?WT.mc_id=academic-105485-koreyst)
@ -235,13 +245,13 @@ A nossa equipa produz outros currículos! Veja:
## Obter Ajuda
**Está a ter problemas?** Consulte o nosso [Guia de Resolução de Problemas](TROUBLESHOOTING.md) para soluções aos problemas mais comuns.
**Está a enfrentar problemas?** Consulte o nosso [Guia de Resolução de Problemas](TROUBLESHOOTING.md) para soluções às questões comuns.
Se ficar preso ou tiver dúvidas sobre como construir aplicações de IA, junte-se a outros aprendizes e desenvolvedores experientes nas discussões sobre o MCP. É uma comunidade de apoio onde as perguntas são bem-vindas e o conhecimento é partilhado livremente.
Se ficar preso ou tiver perguntas sobre como criar aplicações de IA. Junte-se a outros aprendizes e desenvolvedores experientes nas discussões sobre MCP. É uma comunidade de apoio onde as perguntas são bem-vindas e o conhecimento é partilhado livremente.
@ -249,5 +259,5 @@ Se tiver feedback sobre produtos ou erros durante a construção, visite:
<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**Aviso Legal**:
Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor tenha em conta que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações erradas decorrentes da utilização desta tradução.
Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, tenha em atenção que as traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se a tradução profissional feita por um humano. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes da utilização desta tradução.
@ -4,7 +4,7 @@ Encontre todas as sketchnotes aqui!
Nitya Narasimhan, artista
**Aviso Legal**:
Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original no seu idioma nativo deve ser considerado a fonte autoritária. Para informações críticas, recomenda-se uma tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.
localizeflow[bot]
3 days ago