{ "cells": [ { "cell_type": "markdown", "source": [ "# आव्हान: डेटा सायन्स बद्दल मजकूराचा विश्लेषण\n", "\n", "> *या नोटबुकमध्ये, आपण वेगवेगळ्या URL वापरून प्रयोग करतो - मशीन लर्निंगवरील विकिपीडिया लेख. तुम्हाला दिसेल की, डेटा सायन्सच्या विपरीत, या लेखात खूपशी संज्ञा आहेत, ज्यामुळे विश्लेषण अधिक गुंतागुंतीचे होते. कीवर्ड एक्स्ट्रॅक्शन केल्यानंतर, काही वारंवार परंतु अर्थपूर्ण नसलेल्या शब्दसंपूर्णाकडून मुक्त होण्यासाठी डेटा साफ करण्याचा दुसरा मार्ग आम्हाला शोधावा लागेल.*\n", "\n", "या उदाहरणात, चल तर पारंपारिक डेटा सायन्स प्रक्रियेतील सर्व टप्पे व्यापून घेतलेले एक सोपा व्यायाम करूया. तुम्हाला कोणतीही कोड लिहायची गरज नाही, तुम्ही खालील सेल वर क्लिक करून ते चालवू शकता आणि निकाल पाहू शकता. आव्हान म्हणून, तुम्ही वेगळ्या डेटासह हा कोड वापरून पाहण्याचा प्रयत्न करू शकता.\n", "\n", "## उद्दिष्ट\n", "\n", "या धड्यात, आपण डेटा सायन्सशी संबंधित विविध संकल्पनांवर चर्चा केली आहे. चला काही **टेक्स्ट माइनिंग** करून अधिक संबंधित संकल्पना शोधण्याचा प्रयत्न करूया. आपण डेटा सायन्सवरील विकिपीडिया पृष्ठ वापरून सुरुवात करू, त्यातून कीवर्ड काढू, आणि नंतर निकालाचे दृश्यात्मक सादरीकरण करू.\n", "\n", "मजकूर म्हणून, मी विकिपीडिया मधून डेटा सायन्सवरील पृष्ठ वापरेल:\n" ], "metadata": {} }, { "cell_type": "markdown", "source": [], "metadata": {} }, { "cell_type": "code", "execution_count": 2, "source": [ "url = 'https://en.wikipedia.org/wiki/Data_science'\r\n", "url = 'https://en.wikipedia.org/wiki/Machine_learning'" ], "outputs": [], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Step 1: डेटा मिळवणे\n", "\n", "प्रत्येक डेटा सायन्स प्रक्रियेतील पहिला टप्पा म्हणजे डेटा मिळवणे. आपण यासाठी `requests` लायब्ररी वापरणार आहोत:\n" ], "metadata": {} }, { "cell_type": "code", "execution_count": 3, "source": [ "import requests\r\n", "\r\n", "text = requests.get(url).content.decode('utf-8')\r\n", "print(text[:1000])" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "\n", "\n", "\n", "\n", "Machine learning - Wikipedia\n", "