localizeflow[bot]
081f029c0d
|
7 months ago | |
|---|---|---|
| .. | ||
| README.md | 7 months ago | |
| assignment.md | 7 months ago | |
README.md
இயந்திர கற்றல் நுட்பங்கள்
இயந்திர கற்றல் மாதிரிகளை உருவாக்குவது, பயன்படுத்துவது மற்றும் பராமரிப்பது, அவற்றின் தரவுகளை கையாள்வது போன்ற செயல்முறைகள் பல்வேறு அபிவிருத்தி பணிமுறைகளிலிருந்து மிகவும் வேறுபட்டவை. இந்த பாடத்தில், இந்த செயல்முறையை தெளிவுபடுத்தி, நீங்கள் அறிந்துகொள்ள வேண்டிய முக்கிய நுட்பங்களை விளக்குவோம். நீங்கள்:
- இயந்திர கற்றலின் அடிப்படை செயல்முறைகளை உயர்ந்த நிலை பார்வையில் புரிந்துகொள்வீர்கள்.
- 'மாதிரிகள்', 'முன்கூட்டிய கணிப்புகள்', மற்றும் 'பயிற்சி தரவுகள்' போன்ற அடிப்படை கருத்துகளை ஆராய்வீர்கள்.
பாடத்துக்கு முன் கேள்வி
🎥 மேலே உள்ள படத்தை கிளிக் செய்து இந்த பாடத்தைப் பற்றிய குறுகிய வீடியோவைப் பாருங்கள்.
அறிமுகம்
உயர்ந்த நிலை பார்வையில், இயந்திர கற்றல் (ML) செயல்முறைகளை உருவாக்கும் கலை பல படிகளைக் கொண்டுள்ளது:
- கேள்வியைத் தீர்மானிக்கவும். பெரும்பாலான ML செயல்முறைகள் ஒரு கேள்வியை கேட்பதிலிருந்து தொடங்குகின்றன, இது ஒரு எளிய நிபந்தனையுடன் செயல்படும் நிரலால் அல்லது விதிமுறைகளின் அடிப்படையிலான இயந்திரத்தால் பதிலளிக்க முடியாது. இந்த கேள்விகள் பெரும்பாலும் தரவின் அடிப்படையில் முன்கூட்டிய கணிப்புகளைச் சுற்றி மையமாக இருக்கும்.
- தரவை சேகரித்து தயாரிக்கவும். உங்கள் கேள்விக்கு பதிலளிக்க, உங்களுக்கு தரவுகள் தேவைப்படும். உங்கள் தரவின் தரம் மற்றும் சில நேரங்களில் அளவு, உங்கள் ஆரம்ப கேள்விக்கு நீங்கள் எவ்வளவு நன்றாக பதிலளிக்க முடியும் என்பதை தீர்மானிக்கும். தரவுகளை காட்சிப்படுத்துவது இந்த கட்டத்தின் முக்கிய அம்சமாகும். இந்த கட்டம், மாதிரியை உருவாக்க தரவுகளை பயிற்சி மற்றும் சோதனை குழுவாகப் பிரிப்பதையும் உள்ளடக்கியது.
- பயிற்சி முறையைத் தேர்ந்தெடுக்கவும். உங்கள் கேள்வி மற்றும் உங்கள் தரவின் தன்மை ஆகியவற்றைப் பொறுத்து, உங்கள் தரவுகளை சிறப்பாக பிரதிபலிக்கவும், அதற்கு எதிராக துல்லியமான கணிப்புகளைச் செய்யவும் ஒரு மாதிரியை எப்படி பயிற்சி செய்ய வேண்டும் என்பதை நீங்கள் தேர்ந்தெடுக்க வேண்டும். இது உங்கள் ML செயல்முறையின் ஒரு பகுதி, இது குறிப்பிட்ட நிபுணத்துவத்தைத் தேவைப்படும் மற்றும் பெரும்பாலும் கணிசமான அளவிலான பரிசோதனையைத் தேவைப்படும்.
- மாதிரியை பயிற்சி செய்யவும். உங்கள் பயிற்சி தரவுகளைப் பயன்படுத்தி, தரவிலுள்ள முறைமைகளை அடையாளம் காண ஒரு மாதிரியை பயிற்சி செய்ய பல்வேறு அல்காரிதங்களைப் பயன்படுத்துவீர்கள். மாதிரி, தரவின் சில பகுதிகளை மற்றவற்றை விட முன்னுரிமை அளிக்க, உள்நாட்டு எடைகளை பயன்படுத்தி ஒரு சிறந்த மாதிரியை உருவாக்கலாம்.
- மாதிரியை மதிப்பீடு செய்யவும். உங்கள் சேகரிக்கப்பட்ட தொகுப்பிலிருந்து, உங்கள் சோதனை தரவுகளைப் பயன்படுத்தி, மாதிரி எப்படி செயல்படுகிறது என்பதைப் பாருங்கள்.
- அளவுரு அமைத்தல். உங்கள் மாதிரியின் செயல்திறனை அடிப்படையாகக் கொண்டு, நீங்கள் மாதிரியை பயிற்சி செய்ய பயன்படுத்தப்படும் அல்காரிதங்களின் நடத்தை கட்டுப்படுத்தும் பல்வேறு அளவுருக்கள் அல்லது மாறிகள் மூலம் செயல்முறையை மீண்டும் செய்யலாம்.
- கணிக்கவும். உங்கள் மாதிரியின் துல்லியத்தை சோதிக்க புதிய உள்ளீடுகளைப் பயன்படுத்தவும்.
எந்த கேள்வியை கேட்க வேண்டும்
கணினிகள் தரவிலுள்ள மறைக்கப்பட்ட முறைமைகளை கண்டறிவதில் மிகவும் திறமையானவை. இது ஒரு குறிப்பிட்ட துறையில் கேள்விகள் உள்ள ஆராய்ச்சியாளர்களுக்கு மிகவும் உதவியாக இருக்கும், இது ஒரு நிபந்தனையுடன் செயல்படும் விதிமுறைகளின் இயந்திரத்தை உருவாக்குவதன் மூலம் எளிதாக பதிலளிக்க முடியாது. உதாரணமாக, ஒரு கணக்கீட்டு பணியில், ஒரு தரவியல் விஞ்ஞானி புகைபிடிப்பவர்களின் மரணத்திற்கான விதிகளை உருவாக்க முடியும்.
எனினும், பல்வேறு மாறிகள் சமன்பாட்டில் கொண்டு வரப்பட்டால், கடந்த கால சுகாதார வரலாற்றின் அடிப்படையில் எதிர்கால மரண விகிதங்களை கணிக்க ஒரு ML மாதிரி மிகவும் திறமையாக இருக்கலாம். ஒரு மகிழ்ச்சியான உதாரணமாக, ஒரு குறிப்பிட்ட இடத்தில் ஏப்ரல் மாதத்திற்கான வானிலை கணிப்புகளை, அகலாங்கு, நீளாங்கு, காலநிலை மாற்றம், கடலுக்கு அருகாமை, ஜெட் ஸ்ட்ரீம் முறைமைகள் மற்றும் பலவற்றை உள்ளடக்கிய தரவின் அடிப்படையில் செய்யலாம்.
✅ வானிலை மாதிரிகளைப் பற்றிய இந்த சுருக்கமான சுருக்கம் வானிலை பகுப்பாய்வில் ML ஐப் பயன்படுத்துவதற்கான வரலாற்று பார்வையை வழங்குகிறது.
மாதிரி உருவாக்கத்திற்கு முன் பணிகள்
மாதிரியை உருவாக்கத் தொடங்குவதற்கு முன், நீங்கள் நிறைவேற்ற வேண்டிய பல பணிகள் உள்ளன. உங்கள் கேள்வியை சோதிக்கவும், மாதிரியின் கணிப்புகளின் அடிப்படையில் ஒரு கருதுகோளை உருவாக்கவும், பல கூறுகளை அடையாளம் காணவும் மற்றும் அமைக்கவும் வேண்டும்.
தரவுகள்
உங்கள் கேள்விக்கு எந்தவிதமான உறுதிப்பாட்டுடன் பதிலளிக்க, சரியான வகையான போதுமான அளவிலான தரவுகள் தேவைப்படும். இந்த நேரத்தில் நீங்கள் செய்ய வேண்டிய இரண்டு விஷயங்கள் உள்ளன:
- தரவை சேகரிக்கவும். தரவுகள் பகுப்பாய்வில் நியாயம் பற்றிய முந்தைய பாடத்தை மனதில் வைத்துக்கொண்டு, உங்கள் தரவுகளை கவனமாக சேகரிக்கவும். இந்த தரவின் மூலங்கள், அதில் உள்ள எந்தவொரு உட்கார்ந்த பாகுபாடுகள் மற்றும் அதன் தோற்றத்தை ஆவணப்படுத்தவும்.
- தரவைத் தயாரிக்கவும். தரவுகளை தயாரிக்கும் செயல்முறையில் பல படிகள் உள்ளன. இது பல்வேறு மூலங்களிலிருந்து வந்தால், தரவுகளை ஒருங்கிணைத்து, சாதாரணமாக்க வேண்டும். தரவின் தரத்தை மற்றும் அளவினை மேம்படுத்த, சரங்களை எண்களாக மாற்றுவது போன்ற பல்வேறு முறைகளைப் பயன்படுத்தலாம் (நாம் கிளஸ்டரிங் இல் செய்யும் போல்). நீங்கள் அசல் தரவின் அடிப்படையில் புதிய தரவுகளை உருவாக்கலாம் (நாம் வகைப்படுத்தல் இல் செய்யும் போல்). தரவுகளை சுத்தம் செய்து திருத்தலாம் (நாம் வெப் பயன்பாட்டிற்கு முன் செய்யும் போல்). இறுதியாக, உங்கள் பயிற்சி நுட்பங்களைப் பொறுத்து, அதை சீரற்றதாக்கி கலக்கவும்.
✅ உங்கள் தரவுகளை சேகரித்து செயல்படுத்திய பிறகு, உங்கள் கேள்வியைத் தீர்மானிக்க அதன் வடிவம் உங்களை அனுமதிக்குமா என்பதைப் பாருங்கள். உங்கள் கொடுக்கப்பட்ட பணியில் தரவுகள் நன்றாக செயல்படாது என்று கண்டுபிடிக்கலாம், கிளஸ்டரிங் பாடங்களில் நாம் கண்டுபிடித்தது போல!
அம்சங்கள் மற்றும் இலக்கு
ஒரு அம்சம் என்பது உங்கள் தரவின் அளவிடக்கூடிய பண்பாகும். பல தரவுத்தொகுப்புகளில் இது 'தேதி', 'அளவு' அல்லது 'நிறம்' போன்ற தலைப்புகளாக வெளிப்படுகிறது. உங்கள் அம்ச மாறி, பொதுவாக X என குறிக்கப்படும், மாதிரியை பயிற்சி செய்ய பயன்படுத்தப்படும் உள்ளீடு மாறியை பிரதிநிதித்துவப்படுத்துகிறது.
இலக்கு என்பது நீங்கள் கணிக்க முயற்சிக்கும் விஷயமாகும். இலக்கு பொதுவாக y என குறிக்கப்படும், இது உங்கள் தரவிலிருந்து நீங்கள் கேட்க முயற்சிக்கும் கேள்விக்கு பதிலாகும்: டிசம்பர் மாதத்தில் எந்த நிறம் கொண்ட பூசணிக்காய்கள் குறைந்த விலையில் இருக்கும்? சான் பிரான்சிஸ்கோவில், எந்தப் பகுதிகளில் சிறந்த நிலம் விலை இருக்கும்? சில நேரங்களில் இலக்கு 'லேபிள் அட்ரிப்யூட்' என்றும் குறிப்பிடப்படுகிறது.
உங்கள் அம்ச மாறியைத் தேர்ந்தெடுக்கவும்
🎓 அம்சத் தேர்வு மற்றும் அம்சம் எடுக்கும் செயல்முறை. ஒரு மாதிரியை உருவாக்கும்போது எந்த மாறியைத் தேர்ந்தெடுப்பது என்று நீங்கள் எப்படி தெரிந்துகொள்வீர்கள்? நீங்கள் சரியான மாறிகளை தேர்ந்தெடுக்கும் செயல்முறையைப் பின்பற்றுவீர்கள். அவை ஒரே மாதிரியானவை அல்ல: "அம்சம் எடுக்கும் செயல்முறை அசல் அம்சங்களின் செயல்பாடுகளிலிருந்து புதிய அம்சங்களை உருவாக்குகிறது, ஆனால் அம்சத் தேர்வு அம்சங்களின் ஒரு துண்டை மட்டுமே திரும்ப அளிக்கிறது." (மூலம்)
உங்கள் தரவுகளை காட்சிப்படுத்தவும்
தரவுகளை காட்சிப்படுத்துவதற்கான பல சிறந்த நூலகங்களைப் பயன்படுத்தும் திறன் என்பது ஒரு தரவியல் விஞ்ஞானியின் கருவிகளின் முக்கிய அம்சமாகும். உங்கள் தரவுகளை காட்சிப்படுத்துவது, நீங்கள் பயன்படுத்தக்கூடிய மறைக்கப்பட்ட தொடர்புகளை கண்டறிய உதவலாம். உங்கள் காட்சிப்படுத்தல்கள் பாகுபாடு அல்லது சமநிலையற்ற தரவுகளை கண்டறியவும் உதவலாம் (வகைப்படுத்தல் இல் நாம் கண்டுபிடித்தது போல).
உங்கள் தரவுத்தொகுப்பை பிரிக்கவும்
பயிற்சி செய்யும் முன், உங்கள் தரவுத்தொகுப்பை சம அளவில்லாத அளவுகளில் இரண்டு அல்லது அதற்கு மேற்பட்ட பகுதிகளாகப் பிரிக்க வேண்டும், ஆனால் தரவுகளை நன்றாக பிரதிநிதித்துவப்படுத்த வேண்டும்.
- பயிற்சி. தரவுத்தொகுப்பின் இந்த பகுதி உங்கள் மாதிரிக்கு பொருத்தமாக உள்ளது. இது அசல் தரவுத்தொகுப்பின் பெரும்பகுதியை உள்ளடக்கியது.
- சோதனை. சோதனை தரவுத்தொகுப்பு என்பது அசல் தரவிலிருந்து சேகரிக்கப்பட்ட சுயாதீன தரவுகளின் குழு, இது உருவாக்கப்பட்ட மாதிரியின் செயல்திறனை உறுதிப்படுத்த பயன்படுத்தப்படுகிறது.
- சரிபார்ப்பு. சரிபார்ப்பு தொகுப்பு என்பது மாதிரியின் ஹைப்பர்பாராமீட்டர்கள் அல்லது கட்டமைப்பை மேம்படுத்த ஒரு சிறிய சுயாதீன தரவுகளின் குழு ஆகும். உங்கள் தரவின் அளவு மற்றும் நீங்கள் கேட்கும் கேள்வியைப் பொறுத்து, இந்த மூன்றாவது தொகுப்பை உருவாக்க தேவையில்லை (நேரம் வரலாற்று கணிப்பு இல் நாம் குறிப்பிட்டது போல).
ஒரு மாதிரியை உருவாக்குதல்
உங்கள் பயிற்சி தரவுகளைப் பயன்படுத்தி, உங்கள் நோக்கம் ஒரு மாதிரியை உருவாக்குவது, அல்லது உங்கள் தரவின் புள்ளிவிவரங்களை பிரதிநிதித்துவப்படுத்துவது, பல்வேறு அல்காரிதங்களைப் பயன்படுத்தி அதை பயிற்சி செய்ய வேண்டும். ஒரு மாதிரியை பயிற்சி செய்வது, தரவுகளை வெளிப்படுத்தி, அது கண்டறியும் முறைமைகளைப் பற்றி கருதுகோள்களை உருவாக்க, சரிபார்க்க மற்றும் ஏற்க அல்லது மறுக்க அனுமதிக்கிறது.
பயிற்சி முறையைத் தீர்மானிக்கவும்
உங்கள் கேள்வி மற்றும் உங்கள் தரவின் தன்மை ஆகியவற்றைப் பொறுத்து, அதை பயிற்சி செய்ய ஒரு முறையை நீங்கள் தேர்ந்தெடுப்பீர்கள். Scikit-learn இன் ஆவணங்களை - நாம் இந்த பாடத்தில் பயன்படுத்துகிறோம் - படிக்கும்போது, ஒரு மாதிரியை பயிற்சி செய்ய பல வழிகளை நீங்கள் ஆராயலாம். உங்கள் அனுபவத்தைப் பொறுத்து, சிறந்த மாதிரியை உருவாக்க பல்வேறு முறைகளை முயற்சிக்க வேண்டியிருக்கும். தரவியல் விஞ்ஞானிகள் ஒரு மாதிரியின் செயல்திறனை மதிப்பீடு செய்யும் செயல்முறையை நீங்கள் கடந்து செல்ல வாய்ப்பு உள்ளது, அதற்கு தெரியாத தரவுகளை வழங்கி, துல்லியம், பாகுபாடு மற்றும் தரத்தை குறைக்கும் பிற பிரச்சினைகளைச் சரிபார்த்து, கொடுக்கப்பட்ட பணிக்கான மிகவும் பொருத்தமான பயிற்சி முறையைத் தேர்ந்தெடுக்கவும்.
ஒரு மாதிரியை பயிற்சி செய்யவும்
உங்கள் பயிற்சி தரவுகளுடன், ஒரு மாதிரியை உருவாக்க 'பிட்' செய்ய நீங்கள் தயாராக இருக்கிறீர்கள். பல ML நூலகங்களில், 'model.fit' என்ற குறியீட்டை நீங்கள் காண்பீர்கள் - இது உங்கள் அம்ச மாறியை (பொதுவாக 'X') மற்றும் ஒரு இலக்கு மாறியை (பொதுவாக 'y') மதிப்பீடு செய்ய அனுப்பும் நேரம்.
மாதிரியை மதிப்பீடு செய்யவும்
பயிற்சி செயல்முறை முடிந்தவுடன் (ஒரு பெரிய மாதிரியை பயிற்சி செய்ய பல முறை அல்லது 'எபோக்கள்' ஆகலாம்), அதன் செயல்திறனை மதிப்பீடு செய்ய நீங்கள் சோதனை தரவுகளைப் பயன்படுத்தலாம். இந்த தரவுகள், மாதிரி முன்பு பகுப்பாய்வு செய்யாத அசல் தரவின் ஒரு துண்டாகும். உங்கள் மாதிரியின் தரத்தைப் பற்றிய அளவுகோல் அட்டவணையை நீங்கள் அச்சிடலாம்.
🎓 மாதிரி பொருத்தம்
இயந்திர கற்றல் சூழலில், மாதிரி பொருத்தம் என்பது, அது அறியாத தரவுகளை பகுப்பாய்வு செய்ய முயற்சிக்கும் போது மாதிரியின் அடிப்படை செயல்பாட்டின் துல்லியத்தைக் குறிக்கிறது.
🎓 குறைவான பொருத்தம் மற்றும் அதிக பொருத்தம் ஆகியவை மாதிரியின் தரத்தை குறைக்கும் பொதுவான பிரச்சினைகள், ஏனெனில் மாதிரி போதுமான அளவு பொருந்தவில்லை அல்லது மிகவும் பொருந்துகிறது. இது மாதிரியை அதன் பயிற்சி தரவுகளுடன் மிகவும் நெருக்கமாக அல்லது மிகவும் தளர்வாக இணைக்கச் செய்கிறது. ஒரு அதிக பொருத்தமான மாதிரி, பயிற்சி தரவுகளை மிகவும் நன்றாக கணிக்கிறது, ஏனெனில் அது தரவின் விவரங்கள் மற்றும் சத்தத்தை மிகவும் நன்றாக கற்றுக்கொண்டுள்ளது. ஒரு குறைவான பொருத்தமான மாதிரி, அதன் பயிற்சி தரவுகளை அல்லது அது 'கண்டறியாத' தரவுகளை சரியாகப் பகுப்பாய்வு செய்ய முடியாது.
ஜென் லூப்பர் உருவாக்கிய தகவல் வரைபடம்
அளவுரு அமைத்தல்
உங்கள் ஆரம்ப பயிற்சி முடிந்தவுடன், மாதிரியின் தரத்தை கவனித்து, அதன் 'ஹைப்பர்பாராமீட்டர்கள்' ஐ சரிசெய்து அதை மேம்படுத்துவது பற்றி யோசிக்கவும். இந்த செயல்முறையைப் பற்றிய மேலும் தகவலுக்கு ஆவணங்களை படிக்கவும்.
கணிப்பு
இது உங்கள் மாதிரியின் துல்லியத்தை சோதிக்க புதிய தரவுகளை முழுமையாகப் பயன்படுத்தும் தருணம். 'விண்ணப்பிக்கப்பட்ட' ML அமைப்பில், நீங்கள் உற்பத்தியில் மாதிரியைப் பயன்படுத்த வெப் சொத்துகளை உருவாக்கும்போது, இந்த செயல்முறை ஒரு மாறியை அமைக்கவும், மாதிரிக்கு மதிப்பீடு அல்லது கணிப்பு செய்ய அனுப்பவும் பயனர் உள்ளீட்டை (உதாரணமாக ஒரு பொத்தானை அழுத்துதல்) சேகரிப்பதை உள்ளடக்கலாம்.
இந்த பாடங்களில், நீங்கள் தயாரிக்க, உருவாக்க, சோதிக்க, மதிப்பீடு செய்ய மற்றும் கணிக்க எப்படி என்பதை கண்டறிவீர்கள் - தரவியல் விஞ்ஞானியின் அனைத்து நடவடிக்கைகளையும் மேலும், 'முழு ஸ்டாக்' ML பொறியாளராக மாற உங்கள் பயணத்தில் முன்னேறுவீர்கள்.
🚀சவால்
ஒரு ML பயிற்சியாளரின் படி படி செயல்முறையை பிரதிபலிக்கும் ஒரு ஓட்டப் படத்தை வரை. இந்த செயல்முறையில் நீங்கள் தற்போது எங்கு இருக்கிறீர்கள்? நீங்கள் எந்த இடத்தில் சிக்கல்களை எதிர்கொள்வீர்கள் என்று நீங்கள் கணிக்கிறீர்கள்? உங்களுக்கு எது எளிதாக தோன்றுகிறது?
பாடத்திற்குப் பின் கேள்வி
மதிப்பீடு மற்றும் சுயபயிற்சி
தரவியல் விஞ்ஞானிகள் தங்கள் தினசரி பணிகளைப் பற்றி விவாதிக்கும் ஆன்லைன் நேர்காணல்களைத் தேடுங்கள். இதோ ஒரு நேர்காணல்.
பணிக்கான ஒப்பந்தம்
ஒரு தரவியல் விஞ்ஞானியை நேர்காணல் செய்யவும்
குறிப்பு:
இந்த ஆவணம் Co-op Translator என்ற AI மொழிபெயர்ப்பு சேவையைப் பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கின்றோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறான தகவல்கள் இருக்கக்கூடும் என்பதை தயவுசெய்து கவனத்தில் கொள்ளவும். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல.