24 KiB
தரவை வரையறுத்தல்
 |
|---|
| தரவை வரையறுத்தல் - @nitya அவர்களுடைய வரைவுக் குறிப்பு |
தரவு என்பது கண்டுபிடிப்புகளுக்கு உதவ மற்றும் அறிவார்ந்த முடிவுகளை ஆதரிக்க பயன்படுத்தப்படும் உண்மைகள், தகவல்கள், கவனிப்புகள் மற்றும் அளவீடுகள் ஆகும். ஒரு தரவு புள்ளி என்பது ஒரு தரவு தொகுப்பிற்குள் உள்ள தனி தரவு அலகு ஆகும், இது பல தரவு புள்ளிகளைச் சேகரித்துள்ளது. தரவு தொகுப்புகள் வெவ்வேறு வடிவமைப்புகளிலும் அமைப்புகளிலும் வரக்கூடும், மற்றும் பொதுவாக அதன் மூலத்திலோ, அதாவது தரவு எங்கு வந்ததோ அதற்கு அடிப்படையாக இருக்கும். உதாரணமாக, ஒரு நிறுவனத்தின் மாதாந்திர வருமானம் காரியப்பட்டியில் இருக்கலாம் ஆனால் ஸ்மார்ட்வாட்ச் மூலம் பெறப்படும் மணிநேரம் HR தரவு JSON வடிவத்தில் இருக்கலாம். ஒரு தரவுத்தಜ்ஞர் பல்வேறு வகை தரவுகளுடன் ஒரு தொகுப்பிற்குள் வேலை செய்வது சாதாரணமாக இருக்கும்.
இந்த பாடம் தரவை அதன் பண்புகள் மற்றும் அதன் மூலங்களை அடிப்படையாகக் கொண்டு அடையாளம் காண்பதும் வகைப்படுத்துவதும் மீது கவனம் செலுத்துகிறது.
முன்னோட்டக் கேள்வித்தாள்
தரவு எப்படி விவரிக்கப்படுகிறது
நிகர்மானி தரவு
நிகர்மானி தரவு என்பது துவக்க மூலத்திலிருந்து வந்த மற்றும் பகுப்பாய்வு செய்யப்படாத அல்லது ஒழுங்குபடுத்தப்படாத தரவு ஆகும். ஒரு தரவு தொகுப்பில் என்ன நடக்கின்றதோ என்பதை உணர்பதற்கு, அது மனிதர்களுக்கும் பரிசோதனைக்கு பயன்படும் தொழில்நுட்பத்திற்கும் புரிந்துகொள்ளக்கூடிய வடிவத்தில் ஒழுங்குபடுத்தப்பட வேண்டும். ஒரு தரவு தொகுப்பின் அமைப்பு அது எப்படி ஒழுங்குபடுத்தபட்டுள்ளது என்பதை விவரிக்கிறது மற்றும் அமைப்பு, அமைக்கப்படாத மற்றும் அரை-சூழலியல் என வகைப்படுத்தப்படலாம். இந்த அமைப்பு வகைகள் மூலத்தின் அடிப்படையால் மாறுபடும், ஆனால் இவை மூன்று பிரிவுகளிலும் இறுதி கட்டத்தில் பொருந்தும்.
அளவிடக்கூடிய தரவு
அளவிடக்கூடிய தரவு என்பது தரவு தொகுப்பில் எண்கணக்கான கவனிப்புகள் ஆகும் மற்றும் பொதுவாக கணித ரீதியாக பகுப்பாய்வு செய்யப்படும், அளவிடப்படும் மற்றும் பயன்படுத்தப்படும். சில அளவிடக்கூடிய தரவு உதாரணங்கள்: ஒரு நாட்டின் மக்கள் தொகை, ஒரு நபரின் உயரம் அல்லது ஒரு நிறுவனத்தின் காலாண்டு வருமானம். சில கூடுதல் பகுப்பாய்வின் மூலம், அளவிடக்கூடிய தரவை பயன்படுத்தி காற்று தரநிலைய सूचकांक (AQI)ன் பருவநிலை போக்குகளை கண்டுபிடிக்கலாம் அல்லது ஒரு சாதாரண வேலை நாளில் பிஸியாக இருக்கும் சாலை நேர போக்குவரத்து சாத்தியத்தைக் கணக்கிடலாம்.
தரவரிசைக்கூடிய தரவு
தரவரிசைக்கூடிய தரவு, அதேபோல் வர்க்கீகக் தரவாக அழைக்கப்படும், அளவிடக்கூடிய தரவு போன்று அதிவேகமாக அளவிட முடியாத தரவு ஆகும். இது பொதுவாக பல்முக தரப்பட்ட பார்வை தரவுகளாக இருக்கும், எ.கா ஒரு தயாரிப்பு அல்லது செயல்முறை தரத்தை பற்றிய தரவு. சில நேரங்களில், தரவரிசைக்கூடிய தரவு எண்கணக்காக கிடைக்கும் ஆனால் பொதுவாக கணித ரீதியாக பயன்படுத்தப்படுவதில்லை, உதாரணமாக தொலைபேசி எண்கள் அல்லது நேரஅம்சங்கள். சில தரவரிசைக்கூடிய தரவு உதாரணங்கள்: வீடியோ கருத்துக்கள், ஒரு காரின் உற்பத்தியாளரும் மாதிரியும் அல்லது உங்கள் அருகிலுள்ள நண்பர்களின் பிடித்த நிறம். தரவரிசைக்கூடிய தரவை பயன்படுத்தி எந்த தயாரிப்புகளை பயனர்கள் மிகவும் விரும்புகிறார்கள் என்பதை தெரிந்து கொள்ளலாம் அல்லது வேலைவாய்ப்பு விண்ணப்பங்கள் சுருக்கங்களில் பிரபலமான முக்கியவாக்கியங்களை அடையாளம் காணலாம்.
கட்டமைக்கப்பட்ட தரவு
கட்டமைக்கப்பட்ட தரவு என்பது வரிகளை மற்றும் நெடுவரிசைகளை கொண்டதாகும், ஒவ்வொரு வரியிலும் அதே வகை நெடுவரிசைகள் இருக்கும். நெடுவரிசைகள் ஒரு குறிப்பிட்ட வகைப்பாட்டின் மதிப்பை பிரதிநிதித்துவப்படுத்துகின்றன மற்றும் அந்த மதிப்பை என்ன பிரதிநிதித்துவப்படுத்துகிறது என்பதனை விவரிக்கும் பெயருடன் அடையாளம் காணப்படுகின்றன, ஆனால் வரிகள் உண்மையான மதிப்புகளை கொண்டிருக்கும். மதிப்புகள் துல்லியமாக நெடுவரிசையை பிரதிநிதித்துவப்படுத்துவதற்காக நெடுவரிசைகள் மீது குறிப்பிட்ட விதிமுறைகள் அல்லது கட்டுப்பாடுகள் இருக்கலாம். உதாரணமாக, ஒரு வாடிக்கையாளர் ஸ்பிரெட்ஷீட்டில் ஒவ்வொரு வரியிலும் ஒரு தொலைபேசி எண் இருக்க வேண்டும் மற்றும் தொலைபேசி எண்கள் எழுத்துக்களைக் கொண்டிரக்கக்கூடாது. தொலைபேசி எண் நெடுவரிசையில் அந்த மதிப்புகள் எப்போதும் இருப்பதாகவும் எண்கள் மட்டுமே உள்ளதாகவும் விதிமுறைகள் இருக்கலாம்.
கட்டமைக்கப்பட்ட தரவின் ஒரு நன்மை என்னவெனில், அது மற்ற கட்டமைக்கப்பட்ட தரவுடன் தொடர்புபடுத்தக்கூடிய விதத்தில் ஒழுங்குபடுத்தப்படக்கூடியது. இருப்பினும், தரவு குறிப்பிட்ட முறையில் ஒழுங்குபடுத்தப்பட இருப்பதால், அதன் பொது அமைப்பில் மாற்றங்களைச் செய்ய அதிக முயற்சி தேவைப்படும். எடுத்துக்காட்டாக, வாடிக்கையாளர் ஸ்பிரெட்ஷீட்டில் காலியற்ற ஈமெயில் நெடுவரிசையை சேர்க்குவதை நினைத்தால், நீங்கள் அந்த மதிப்புகளை ஏற்கனவே உள்ள வாடிக்கையாளர் பத்திகளுக்கு எவ்வாறு சேர்க்க முடியும் என்று புரிந்து கொள்ள வேண்டும்.
கட்டமைக்கப்பட்ட தரவு உதாரணங்கள்: ஸ்பிரெட்ஷீட்கள், உறவுக் தரவுத்தளங்கள், தொலைபேசி எண்கள், வங்கி அறிக்கைகள்
கட்டமைக்கப்படாத தரவு
கட்டமைக்கப்படாத தரவு பொதுவாக வரிகளுக்கும் நெடுவரிசைகளுக்கும் பிரிக்க முடியாது மற்றும் ஒரு வடிவமைப்போ விதிமுறைகளோ இல்லாமல் இருக்கும். கட்டமைக்கப்படாத தரவை அமைப்பின்மை குறைவாக இருப்பதால் புதிய தகவல்களைச் சேர்ப்பது எளிதாக இருக்கும். உதாரணமாக, ஒரு சென்சர் இருமிடையில் ஒன்றுமுறை விமான அழுத்தத்தை பதிவு செய்தால், தற்போழுது அது வெப்பநிலை அளவிடும் மற்றும் பதிவு செய்யும் போன்ற புதுப்பிப்பை பெற்றிருந்தால், அதற்கு பிற்பட்ட தரவை மாற்ற தேவையில்லை. இருப்பினும், இந்த வகை தரவை பகுப்பாய்வு செய்வது அல்லது ஆராய்ச்சி செய்வது நீண்ட நேரம் ஆகலாம். உதாரணமாக, ஒரு விஞ்ஞானி கடந்த மாத வெப்பநிலையில் சென்சர் தரவை பெற விரும்பினால், சென்சர் சில பதிவில் "e" என பதியப்பட்டிருப்பதை கண்டுபிடிக்கிறான்; இது சென்சர் உடைந்திருந்தது என்பதைக் குறிக்கிறது, என்பது அந்த தரவு முழுமையாக இல்லை என்பதை அர்த்தம்.
கட்டமைக்கப்படாத தரவு உதாரணங்கள்: உரை கோப்புகள், உரை செய்திகள், வீடியோ கோப்புகள்
அரை-கட்டமைக்கப்பட்ட தரவு
அரை-கட்டமைக்கப்பட்ட தரவுக்கு கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத தருவுகளின் கட்டளைகளை கொண்ட தன்மைகள் உள்ளன. அது பொதுவாக வரிசைகள் மற்றும் நெடுவரிசைகளின் வடிவமைப்பின் கீழ் வராது, ஆனால் கட்டமைக்கப்பட்டதாகக் கணக்கிடப்படும் வகையில் ஒழுங்குபடுத்தப்படுகிறது மற்றும் குறிப்பிடப்பட்ட வடிவிலக்கோ விதிமுறைகளோ பின்பற்றப்படலாம். அமைப்பு மூலங்களுக்கு ஏற்ப மாறுபடும், சிலநர்கள் நன்றாக வரிசைப்படுத்தப்பட்ட வரிசை மற்றும் சில மிகவும் சுலபமாக புதிய தகவல்களைக் கொண்டுவர அனுமதிக்கும் வகை உள்ளன. மெட்டாடேட்டா என்பது தரவு எவ்வாறு ஒழுங்குபடுத்தப்பட்டுள்ளது மற்றும் சேமிக்கப்பட்டுள்ளது என்பதை தீர்மானிக்க உதவுகின்ற குறியீடுகள் மற்றும் தரவின் வகையைப் பொறுத்து பல பெயர்களைக் கொண்டிருக்கும். பொதுவான மெட்டாடேட்டா பெயர்கள்: குறிச்சொற்கள், கூறுகள், நிறுவனங்கள் மற்றும் பண்புகள். உதாரணமாக, ஒரு சாதாரண ஈமெயில் செய்தியில் ஒரு பொருள், உள்ளடக்கம் மற்றும் பெறுநர்களின் தொகுப்பு இருக்கும் மற்றும் அது யார் அல்லது எப்போது அனுப்பப்பட்டது என்று ஒழுங்குபடுத்தப்படலாம்.
அரை-கட்டமைக்கப்பட்ட தரவு உதாரணங்கள்: HTML, CSV கோப்புகள், JavaScript பொருள் குறிப்பு (JSON)
தரவின் மூலங்கள்
தரவு மூலம் என்பது தரவு எங்கே உருவாக்கப்பட்டதோ அல்லது அதன் "வாழும்" துவக்க இடம் ஆகும் மற்றும் அது எவ்வாறு மற்றும் எப்போது சேகரிக்கப்பட்டதன் அடிப்படையில் மாறும். அதன் பயனர்களால் உருவாக்கப்படும் தரவை முதன்மை தரவு என அழைக்கப்படுகிறது, மற்றொரு தரவு பொதுவான பயன்பாட்டிற்கு சேகரிக்கப்பட்ட தரவு மூலத்திலிருந்து வரும் என்றால் அதனை இரண்டாம் நிலை தரவு என்று குறிப்பிடலாம். உதாரணமாக, ஒரு காடான ஆய்வாளர்கள் பார்வையிடும், அது முதன்மை என்றும் அவர்கள் மற்ற ஆய்வாளர்களுடன் பகிர்வதற்கு தீர்மானித்தால், அது பயன்படுத்தும் ஆய்வாளர்களுக்கு இரண்டாம் நிலை ஆகும்.
தரவுத்தளங்கள் பொதுவான மூலமாக இருப்பது; தரவுத்தள நிர்வாக அமைப்பால் தரவு நடத்தப்படுகின்றது மற்றும் பயனர்கள் கேள்விகள் எனப்படும் கட்டளைகளைப் பயன்படுத்தி தரவை ஆராய்கின்றனர். கோப்புகள் ஆகியவையாக ஆடியோ, படம் மற்றும் வீடியோ கோப்புகளாக இருக்கலாம், மேலும் எக்செல் போன்ற ஸ்பிரெட்ஷீட்களும் ஆகும். இணைய மூலங்கள் பரவலாக உள்ளன; அதில் தரவுத்தளங்களும், கோப்புகளும் உள்ளன. பயன்பாட்டு நிரலாக்க இடைமுகங்கள், அதாவது APIs, நிரலாளர்கள் வெளியூர் பயனர்களுடன் இணையத்திலாக தரவை பகிர வழிகளை உருவாக்க அனுமதிக்கின்றன, அதேசமயம் வலைப்பதிவு என்பதில் இணையப் பக்கத்திலிருந்து தரவு எடுக்கப்படுகிறது. தரவு உடன் பணியாற்றுதல் பாடங்களில் பல்வேறு தரவு மூலங்களைப் பயன்படுத்துவது குறித்த பாடங்கள் உள்ளன.
முடிவுரை
இந்த பாடத்தில் நாம் கற்றுக்கொண்டோம்:
- தரவு என்பது என்ன
- தரவு எப்படி விவரிக்கப்படுகிறது
- தரவு எப்படி வகைப்படுத்தப்படுகிறது மற்றும் வகைகள்படுத்தப்படுகிறது
- தரவு எங்கு காணப்படலாம்
🚀 சவால்
காகிள் (Kaggle) திறந்த தரவு தொகுப்புகளுக்கான சிறந்த மூலமாகும். தரவு தொகுப்பு தேடல் கருவியை பயன்படுத்தி சில சுவாரசியமான தரவு தொகுப்புகளைத் தேடுங்கள் மற்றும் 3-5 தரவு தொகுப்புகளை கீழ்காணும் அளவுகோலின் படி வகைப்படுத்துங்கள்:
- தரவு அளவிடக்கூடியதா அல்லது தரவரிசைக்கூடியதா?
- தரவு கட்டமைக்கப்பட்டதா, கட்டமைக்கப்படாததா அல்லது அரை-கட்டமைக்கப்பட்டதா?
பாடம் முடிவுக்குப் பிறகு கூற்றுக் கேள்வி
மீளாய்வு மற்றும் தானாக படிப்பு
- தரவு வடிவங்களை அடையாளம் காண்கிறோம் என்ற தலைப்பில் உள்ள இந்த மைக்ரோசாஃப்ட் கற்றல் அலகு கட்டமைக்கப்பட்ட, அரை-கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத தரவுகளின் விரிவான பகுப்பாய்வை வழங்குகிறது.
பணிகள்
தரவு தொகுப்புகளை வகைப்படுத்தல்
மறுப்பு: இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை Co-op Translator பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சி செய்துள்ளோம், ஆனால் தானாக செய்யப்படும் மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கலாம் என்பதை கவனத்தில் கொள்ளவும். அசல் ஆவணம் அதன் தாய்மொழியில் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்நுட்பமான மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கத்திற்கும் நாங்கள் பொறுப்பில்வில்லை.