Machine learning - Wikipedia

{ "cells": [ { "cell_type": "markdown", "source": [ "# チャレンジ: データサイエンスに関するテキストの分析\n", "\n", "> *このノートブックでは、機械学習に関するウィキペディアの記事という異なるURLを使った実験を行います。データサイエンスとは異なり、この記事には多くの用語が含まれており、これが分析をより難しくしています。キーワード抽出後に、頻繁だが意味のない語の組み合わせを取り除くための別の方法でデータをクリーンアップする必要があります。*\n", "\n", "この例では、伝統的なデータサイエンスプロセスのすべてのステップをカバーする簡単な演習を行います。コードを書く必要はありません。下のセルをクリックして実行し、結果を観察してください。チャレンジとして、異なるデータでこのコードを試すことも推奨します。\n", "\n", "## 目標\n", "\n", "このレッスンでは、データサイエンスに関連するさまざまな概念について議論してきました。**テキストマイニング**を行い、さらに多くの関連概念を見つけてみましょう。まずは、データサイエンスに関するテキストを使い、そこからキーワードを抽出し、結果を視覚化することを試みます。\n", "\n", "テキストとしては、ウィキペディアのデータサイエンスのページを使用します：\n" ], "metadata": {} }, { "cell_type": "markdown", "source": [], "metadata": {} }, { "cell_type": "code", "execution_count": 2, "source": [ "url = 'https://en.wikipedia.org/wiki/Data_science'\r\n", "url = 'https://en.wikipedia.org/wiki/Machine_learning'" ], "outputs": [], "metadata": {} }, { "cell_type": "markdown", "source": [ "## ステップ1: データの取得\n", "\n", "あらゆるデータサイエンスプロセスの最初のステップはデータの取得です。ここでは `requests` ライブラリを使います:\n" ], "metadata": {} }, { "cell_type": "code", "execution_count": 3, "source": [ "import requests\r\n", "\r\n", "text = requests.get(url).content.decode('utf-8')\r\n", "print(text[:1000])" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "\n", "\n", "\n", "\n", "Machine learning - Wikipedia\n", "