14 KiB
डेटा साइंस जीवनचक्र: विश्लेषण
 |
|---|
| डेटा साइंस जीवनचक्र: विश्लेषण - @nitya द्वारा स्केच नोट |
प्री-लेक्चर क्विज
प्री-लेक्चर क्विज
डेटा जीवनचक्र में विश्लेषण यह सुनिश्चित करता है कि डेटा उन सवालों का जवाब दे सकता है जो प्रस्तावित किए गए हैं या किसी विशेष समस्या को हल कर सकता है। यह चरण यह पुष्टि करने पर भी केंद्रित हो सकता है कि कोई मॉडल इन सवालों और समस्याओं को सही तरीके से संबोधित कर रहा है। यह पाठ एक्सप्लोरेटरी डेटा एनालिसिस (EDA) पर केंद्रित है, जो डेटा के भीतर विशेषताओं और संबंधों को परिभाषित करने की तकनीकें हैं और मॉडलिंग के लिए डेटा तैयार करने में उपयोग की जा सकती हैं।
हम Kaggle से एक उदाहरण डेटासेट का उपयोग करेंगे ताकि दिखा सकें कि इसे Python और Pandas लाइब्रेरी के साथ कैसे लागू किया जा सकता है। इस डेटासेट में ईमेल में पाए जाने वाले कुछ सामान्य शब्दों की गिनती शामिल है, इन ईमेल के स्रोत गुमनाम हैं। इस निर्देशिका में नोटबुक का उपयोग करके साथ चलें।
एक्सप्लोरेटरी डेटा एनालिसिस
जीवनचक्र का कैप्चर चरण वह है जहां डेटा प्राप्त किया जाता है और समस्याओं और सवालों को परिभाषित किया जाता है, लेकिन हम कैसे जान सकते हैं कि डेटा अंतिम परिणाम का समर्थन कर सकता है? याद करें कि एक डेटा वैज्ञानिक डेटा प्राप्त करते समय निम्नलिखित सवाल पूछ सकता है:
- क्या मेरे पास इस समस्या को हल करने के लिए पर्याप्त डेटा है?
- क्या यह डेटा इस समस्या के लिए स्वीकार्य गुणवत्ता का है?
- यदि मैं इस डेटा के माध्यम से अतिरिक्त जानकारी खोजता हूं, तो क्या हमें लक्ष्यों को बदलने या पुनर्परिभाषित करने पर विचार करना चाहिए?
एक्सप्लोरेटरी डेटा एनालिसिस डेटा को समझने की प्रक्रिया है और इन सवालों का जवाब देने के लिए उपयोग की जा सकती है, साथ ही डेटासेट के साथ काम करने की चुनौतियों की पहचान कर सकती है। आइए इसे प्राप्त करने के लिए उपयोग की जाने वाली कुछ तकनीकों पर ध्यान केंद्रित करें।
डेटा प्रोफाइलिंग, वर्णनात्मक सांख्यिकी, और Pandas
हम कैसे मूल्यांकन करें कि हमारे पास इस समस्या को हल करने के लिए पर्याप्त डेटा है? डेटा प्रोफाइलिंग वर्णनात्मक सांख्यिकी की तकनीकों के माध्यम से हमारे डेटासेट के बारे में कुछ सामान्य समग्र जानकारी को सारांशित और एकत्र कर सकती है। डेटा प्रोफाइलिंग हमें यह समझने में मदद करती है कि हमारे पास क्या उपलब्ध है, और वर्णनात्मक सांख्यिकी हमें यह समझने में मदद करती है कि हमारे पास कितनी चीजें उपलब्ध हैं।
पिछले कुछ पाठों में, हमने Pandas का उपयोग करके describe() फ़ंक्शन के साथ कुछ वर्णनात्मक सांख्यिकी प्रदान की हैं। यह गिनती, अधिकतम और न्यूनतम मान, औसत, मानक विचलन और संख्यात्मक डेटा पर क्वांटाइल्स प्रदान करता है। describe() जैसे वर्णनात्मक सांख्यिकी का उपयोग करके आप मूल्यांकन कर सकते हैं कि आपके पास कितना डेटा है और क्या आपको अधिक की आवश्यकता है।
सैंपलिंग और क्वेरी करना
बड़े डेटासेट में सब कुछ एक्सप्लोर करना बहुत समय लेने वाला हो सकता है और यह आमतौर पर कंप्यूटर द्वारा किया जाने वाला कार्य होता है। हालांकि, सैंपलिंग डेटा को समझने में एक उपयोगी उपकरण है और यह हमें डेटासेट में क्या है और यह क्या दर्शाता है, इसे बेहतर तरीके से समझने की अनुमति देता है। एक सैंपल के साथ, आप संभावना और सांख्यिकी लागू कर सकते हैं ताकि अपने डेटा के बारे में कुछ सामान्य निष्कर्षों पर पहुंच सकें। हालांकि, यह ध्यान रखना महत्वपूर्ण है कि जितना अधिक डेटा आप सैंपल करते हैं, उतना ही सटीक सामान्यीकरण आप डेटा के बारे में कर सकते हैं।
Pandas में sample() फ़ंक्शन है, जहां आप यह तर्क पास कर सकते हैं कि आप कितने रैंडम सैंपल प्राप्त करना और उपयोग करना चाहते हैं।
डेटा की सामान्य क्वेरी करना आपको कुछ सामान्य सवालों और सिद्धांतों का जवाब देने में मदद कर सकता है। सैंपलिंग के विपरीत, क्वेरी आपको नियंत्रण और डेटा के विशिष्ट भागों पर ध्यान केंद्रित करने की अनुमति देती है जिनके बारे में आपके सवाल हैं। Pandas लाइब्रेरी में query() फ़ंक्शन आपको कॉलम चुनने और पंक्तियों के माध्यम से डेटा के बारे में सरल उत्तर प्राप्त करने की अनुमति देता है।
विज़ुअलाइज़ेशन के साथ एक्सप्लोर करना
आपको डेटा को पूरी तरह से साफ और विश्लेषण करने तक इंतजार करने की आवश्यकता नहीं है ताकि विज़ुअलाइज़ेशन बनाना शुरू कर सकें। वास्तव में, एक्सप्लोर करते समय विज़ुअल प्रतिनिधित्व होना पैटर्न, संबंधों और डेटा में समस्याओं की पहचान करने में मदद कर सकता है। इसके अलावा, विज़ुअलाइज़ेशन उन लोगों के साथ संवाद करने का एक माध्यम प्रदान करते हैं जो डेटा प्रबंधन में शामिल नहीं हैं और यह एक अवसर हो सकता है कि कैप्चर चरण में संबोधित नहीं किए गए अतिरिक्त सवालों को साझा और स्पष्ट किया जाए। विज़ुअलाइज़ेशन पर अनुभाग देखें ताकि विज़ुअल रूप से एक्सप्लोर करने के कुछ लोकप्रिय तरीकों के बारे में अधिक जान सकें।
असंगतियों की पहचान के लिए एक्सप्लोर करना
इस पाठ के सभी विषय गायब या असंगत मानों की पहचान करने में मदद कर सकते हैं, लेकिन Pandas कुछ को जांचने के लिए फ़ंक्शन प्रदान करता है। isna() या isnull() गायब मानों की जांच कर सकते हैं। आपके डेटा में इन मानों की जांच करने का एक महत्वपूर्ण हिस्सा यह है कि वे पहली बार में इस तरह क्यों समाप्त हुए। यह आपको यह तय करने में मदद कर सकता है कि उन्हें हल करने के लिए क्या कार्रवाई करनी है।
पोस्ट-लेक्चर क्विज
असाइनमेंट
उत्तर खोजने के लिए एक्सप्लोर करना
अस्वीकरण:
यह दस्तावेज़ AI अनुवाद सेवा Co-op Translator का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में उपलब्ध मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।