{ "cells": [ { "cell_type": "markdown", "source": [ "# ചലഞ്ച്: ഡാറ്റാ സയൻസിനെക്കുറിച്ചുള്ള വാചകം വിശകലനം ചെയ്യൽ\n", "\n", "> *ഈ നോട്ട്‌ബുക്കിൽ, നാം വ്യത്യസ്ത URL - മെഷീൻ ലേണിങ്ങ് എന്ന വിക്കിപീഡിയ ലേഖനം ഉപയോഗിച്ച് പരീക്ഷണം നടത്തുന്നു. ഡാറ്റാ സയൻസിനേക്കാൾ വ്യത്യസ്തമായി, ഈ ലേഖനത്തിൽ നിരവധി പദങ്ങൾ ഉൾക്കൊള്ളുന്നുവെന്ന് നിങ്ങൾ കാണാം, ഇത് വിശകലനം കൂടുതൽ പ്രശ്നമാക്കുന്നു. കീവേഡ് എക്സ്ട്രാക്ഷൻ ചെയ്ത ശേഷം, ചില ആവർത്തിക്കുന്നതും എന്നാൽ അർത്ഥവത്തായില്ലാത്ത വാക്കുകളുടെ സംയോജനങ്ങൾ ഒഴിവാക്കാൻ മറ്റൊരു മാർഗം കണ്ടെത്തേണ്ടതുണ്ട്.*\n", "\n", "ഈ ഉദാഹരണത്തിൽ, പരമ്പരാഗത ഡാറ്റാ സയൻസ് പ്രക്രിയയിലെ എല്ലാ ഘട്ടങ്ങളും ഉൾക്കൊള്ളുന്ന ഒരു ലളിതമായ അഭ്യാസം ചെയ്യാം. നിങ്ങൾക്ക് കോഡ് എഴുതേണ്ടതില്ല, താഴെയുള്ള സെല്ലുകൾ ക്ലിക്ക് ചെയ്ത് പ്രവർത്തിപ്പിച്ച് ഫലം കാണാം. ഒരു ചലഞ്ചായി, നിങ്ങൾക്ക് ഈ കോഡ് വ്യത്യസ്ത ഡാറ്റ ഉപയോഗിച്ച് പരീക്ഷിക്കാൻ പ്രോത്സാഹിപ്പിക്കുന്നു.\n", "\n", "## ലക്ഷ്യം\n", "\n", "ഈ പാഠത്തിൽ, നാം ഡാറ്റാ സയൻസുമായി ബന്ധപ്പെട്ട വിവിധ ആശയങ്ങൾ ചർച്ച ചെയ്തു. **ടെക്സ്റ്റ് മൈനിംഗ്** ചെയ്യുന്നതിലൂടെ കൂടുതൽ ബന്ധപ്പെട്ട ആശയങ്ങൾ കണ്ടെത്താൻ ശ്രമിക്കാം. ഡാറ്റാ സയൻസിനെക്കുറിച്ചുള്ള ഒരു വാചകം ഉപയോഗിച്ച് തുടങ്ങും, അതിൽ നിന്നു കീവേഡുകൾ എടുക്കും, പിന്നെ ഫലം ദൃശ്യവൽക്കരിക്കാൻ ശ്രമിക്കും.\n", "\n", "ഒരു വാചകമായി, ഞാൻ വിക്കിപീഡിയയിൽ ഡാറ്റാ സയൻസ് പേജാണ് ഉപയോഗിക്കുന്നത്:\n" ], "metadata": {} }, { "cell_type": "markdown", "source": [], "metadata": {} }, { "cell_type": "code", "execution_count": 2, "source": [ "url = 'https://en.wikipedia.org/wiki/Data_science'\r\n", "url = 'https://en.wikipedia.org/wiki/Machine_learning'" ], "outputs": [], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Step 1: ഡാറ്റ നേടൽ\n", "\n", "ഓരോ ഡാറ്റാ സയൻസ് പ്രക്രിയയിലും ആദ്യപടി ഡാറ്റ നേടലാണ്. അതിനായി നാം `requests` ലൈബ്രറി ഉപയോഗിക്കും:\n" ], "metadata": {} }, { "cell_type": "code", "execution_count": 3, "source": [ "import requests\r\n", "\r\n", "text = requests.get(url).content.decode('utf-8')\r\n", "print(text[:1000])" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "\n", "\n", "\n", "\n", "Machine learning - Wikipedia\n", "