localizeflow[bot]
f64682928a
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 2 weeks ago | |
README.md
క్లౌడ్లో డేటా సైన్స్: "లో కోడ్/నో కోడ్" విధానం
 |
|---|
| క్లౌడ్లో డేటా సైన్స్: లో కోడ్ - స్కెచ్ నోట్ @nitya ద్వారా |
అంశాల పట్టిక:
- క్లౌడ్లో డేటా సైన్స్: "లో కోడ్/నో కోడ్" విధానం
ప్రీ-లెక్చర్ క్విజ్
1. పరిచయం
1.1 అజ్యూర్ మెషీన్ లెర్నింగ్ అంటే ఏమిటి?
అజ్యూర్ క్లౌడ్ ప్లాట్ఫారమ్ అనేది 200 కంటే ఎక్కువ ఉత్పత్తులు మరియు క్లౌడ్ సేవల సమాహారం, ఇది మీకు కొత్త పరిష్కారాలను సృష్టించడంలో సహాయపడుతుంది.
డేటా శాస్త్రవేత్తలు డేటాను అన్వేషించడం, ప్రీ-ప్రాసెసింగ్ చేయడం మరియు వివిధ రకాల మోడల్ శిక్షణ అల్గోరిథమ్స్ను ప్రయత్నించడం కోసం చాలా శ్రమ పెట్టుతారు, తద్వారా ఖచ్చితమైన మోడల్స్ తయారవుతాయి. ఈ పనులు సమయం తీసుకుంటాయి మరియు ఖరీదైన కంప్యూట్ హార్డ్వేర్ను సమర్థవంతంగా ఉపయోగించకపోవచ్చు.
Azure ML అనేది అజ్యూర్లో మెషీన్ లెర్నింగ్ పరిష్కారాలను నిర్మించడానికి మరియు నిర్వహించడానికి క్లౌడ్ ఆధారిత ప్లాట్ఫారమ్. ఇది డేటా శాస్త్రవేత్తలకు డేటాను సిద్ధం చేయడం, మోడల్స్ను శిక్షణ ఇవ్వడం, ప్రిడిక్టివ్ సేవలను ప్రచురించడం మరియు వాటి వినియోగాన్ని పర్యవేక్షించడంలో సహాయపడే విస్తృత ఫీచర్లు మరియు సామర్థ్యాలను కలిగి ఉంది. ముఖ్యంగా, ఇది శిక్షణకు సంబంధించిన సమయం తీసుకునే పనులను ఆటోమేటిక్గా చేయడం ద్వారా వారి సామర్థ్యాన్ని పెంచుతుంది; మరియు క్లౌడ్ ఆధారిత కంప్యూట్ వనరులను సమర్థవంతంగా స్కేల్ చేయడానికి వీలు కల్పిస్తుంది, పెద్ద డేటా వాల్యూమ్లను నిర్వహించడానికి, వాస్తవంగా ఉపయోగించినప్పుడు మాత్రమే ఖర్చులు వస్తాయి.
అజ్యూర్ ML డెవలపర్లు మరియు డేటా శాస్త్రవేత్తలకు వారి మెషీన్ లెర్నింగ్ వర్క్ఫ్లోలకు అవసరమైన అన్ని టూల్స్ను అందిస్తుంది. వీటిలో:
- Azure Machine Learning Studio: ఇది అజ్యూర్ మెషీన్ లెర్నింగ్లో మోడల్ శిక్షణ, డిప్లాయ్మెంట్, ఆటోమేషన్, ట్రాకింగ్ మరియు ఆస్తి నిర్వహణ కోసం లో-కోడ్ మరియు నో-కోడ్ ఎంపికలతో వెబ్ పోర్టల్. స్టూడియో అజ్యూర్ మెషీన్ లెర్నింగ్ SDKతో సమగ్ర అనుభవాన్ని అందిస్తుంది.
- Jupyter Notebooks: ML మోడల్స్ను త్వరగా ప్రోటోటైప్ చేసి పరీక్షించండి.
- Azure Machine Learning Designer: మాడ్యూల్స్ను డ్రాగ్-అండ్-డ్రాప్ చేసి ప్రయోగాలు నిర్మించడానికి మరియు తరువాత లో-కోడ్ వాతావరణంలో పైప్లైన్లను డిప్లాయ్ చేయడానికి అనుమతిస్తుంది.
- Automated machine learning UI (AutoML) : మెషీన్ లెర్నింగ్ మోడల్ అభివృద్ధి యొక్క పునరావృత పనులను ఆటోమేటిక్గా చేస్తుంది, అధిక స్కేల్, సామర్థ్యం మరియు ఉత్పాదకతతో ML మోడల్స్ను నిర్మించడానికి అనుమతిస్తుంది, మోడల్ నాణ్యతను నిలబెట్టుకుంటూ.
- Data Labelling: డేటాను ఆటోమేటిక్గా లేబుల్ చేయడానికి సహాయక ML టూల్.
- Machine learning extension for Visual Studio Code: ML ప్రాజెక్టులను నిర్మించడానికి మరియు నిర్వహించడానికి పూర్తి లక్షణాల డెవలప్మెంట్ వాతావరణాన్ని అందిస్తుంది.
- Machine learning CLI: కమాండ్ లైన్ నుండి అజ్యూర్ ML వనరులను నిర్వహించడానికి కమాండ్లను అందిస్తుంది.
- Integration with open-source frameworks: PyTorch, TensorFlow, Scikit-learn మరియు మరెన్నోతో శిక్షణ, డిప్లాయ్మెంట్ మరియు ఎండ్-టు-ఎండ్ మెషీన్ లెర్నింగ్ ప్రక్రియను నిర్వహించడానికి.
- MLflow: మీ మెషీన్ లెర్నింగ్ ప్రయోగాల జీవన చక్రాన్ని నిర్వహించడానికి ఓపెన్-సోర్స్ లైబ్రరీ. MLFlow Tracking అనేది MLflow యొక్క భాగం, ఇది మీ శిక్షణ రన్ మెట్రిక్స్ మరియు మోడల్ ఆర్టిఫాక్ట్స్ను లాగ్ చేసి ట్రాక్ చేస్తుంది, మీ ప్రయోగ వాతావరణం ఏదైనా సరే.
1.2 హార్ట్ ఫెయిల్యూర్ ప్రిడిక్షన్ ప్రాజెక్ట్:
ప్రాజెక్టులు తయారు చేయడం మరియు నిర్మించడం మీ నైపుణ్యాలు మరియు జ్ఞానాన్ని పరీక్షించడానికి ఉత్తమ మార్గం అని సందేహం లేదు. ఈ పాఠంలో, అజ్యూర్ ML స్టూడియోలో హార్ట్ ఫెయిల్యూర్ దాడుల ప్రిడిక్షన్ కోసం డేటా సైన్స్ ప్రాజెక్ట్ను రెండు వేర్వేరు మార్గాల్లో నిర్మించడం గురించి తెలుసుకోబోతున్నాము, లో కోడ్/నో కోడ్ ద్వారా మరియు అజ్యూర్ ML SDK ద్వారా, క్రింది స్కీమా ప్రకారం:
ప్రతి విధానానికి తన స్వంత లాభాలు మరియు నష్టాలు ఉన్నాయి. లో కోడ్/నో కోడ్ విధానం GUI (గ్రాఫికల్ యూజర్ ఇంటర్ఫేస్)తో ఇంటరాక్ట్ చేయడం వల్ల ప్రారంభించడానికి సులభం, కోడ్ గురించి ముందస్తు జ్ఞానం అవసరం లేదు. ఈ పద్ధతి ప్రాజెక్ట్ యొక్క సాధ్యతను త్వరగా పరీక్షించడానికి మరియు POC (ప్రూఫ్ ఆఫ్ కాన్సెప్ట్) సృష్టించడానికి అనుమతిస్తుంది. అయితే, ప్రాజెక్ట్ పెరిగినప్పుడు మరియు ప్రొడక్షన్ సిద్ధంగా ఉండాల్సినప్పుడు, GUI ద్వారా వనరులను సృష్టించడం సాధ్యం కాదు. వనరుల సృష్టి నుండి మోడల్ డిప్లాయ్మెంట్ వరకు ప్రతిదీ ప్రోగ్రామాటిక్గా ఆటోమేట్ చేయాలి. అప్పుడు అజ్యూర్ ML SDK ఉపయోగించడం చాలా ముఖ్యం అవుతుంది.
| లో కోడ్/నో కోడ్ | అజ్యూర్ ML SDK | |
|---|---|---|
| కోడ్ నైపుణ్యం | అవసరం లేదు | అవసరం |
| అభివృద్ధి సమయం | వేగంగా మరియు సులభం | కోడ్ నైపుణ్యంపై ఆధారపడి ఉంటుంది |
| ప్రొడక్షన్ సిద్ధం | కాదు | అవును |
1.3 హార్ట్ ఫెయిల్యూర్ డేటాసెట్:
కార్డియోవాస్క్యులర్ వ్యాధులు (CVDs) ప్రపంచవ్యాప్తంగా మరణాలలో 31% వాటాను కలిగి, మరణాలలో నంబర్ 1 కారణం. పొగాకు వాడకం, అనారోగ్యకరమైన ఆహారం మరియు మోটা దెబ్బతినడం, శారీరక క్రియాశీలత లేకపోవడం మరియు మద్యం దుర్వినియోగం వంటి పర్యావరణ మరియు ప్రవర్తనా ప్రమాద కారకాలు అంచనా మోడల్స్ కోసం ఫీచర్లుగా ఉపయోగించవచ్చు. CVD అభివృద్ధి సంభావ్యతను అంచనా వేయగలగడం అధిక ప్రమాదంలో ఉన్న వ్యక్తుల దాడులను నివారించడంలో చాలా ఉపయోగకరం.
Kaggle ఒక Heart Failure dataset ను అందుబాటులో ఉంచింది, దీన్ని ఈ ప్రాజెక్ట్ కోసం ఉపయోగించబోతున్నాము. మీరు ఇప్పుడే డేటాసెట్ డౌన్లోడ్ చేసుకోవచ్చు. ఇది 13 కాలమ్స్ (12 ఫీచర్లు మరియు 1 లక్ష్య వేరియబుల్) మరియు 299 వరుసలతో కూడిన టేబులర్ డేటాసెట్.
| వేరియబుల్ పేరు | రకం | వివరణ | ఉదాహరణ | |
|---|---|---|---|---|
| 1 | వయస్సు | సంఖ్యాత్మక | రోగి వయస్సు | 25 |
| 2 | అనీమియా | బూలియన్ | ఎర్ర రక్త కణాలు లేదా హీమోగ్లోబిన్ తగ్గడం | 0 లేదా 1 |
| 3 | క్రియాటినిన్ ఫాస్ఫోకినేస్ | సంఖ్యాత్మక | రక్తంలో CPK ఎంజైమ్ స్థాయి | 542 |
| 4 | మధుమేహం | బూలియన్ | రోగికి మధుమేహం ఉందా | 0 లేదా 1 |
| 5 | ఎజెక్షన్ ఫ్రాక్షన్ | సంఖ్యాత్మక | ప్రతి సంకోచంలో హృదయం నుండి రక్తం విడిచిపెట్టే శాతం | 45 |
| 6 | అధిక రక్తపోటు | బూలియన్ | రోగికి హైపర్టెన్షన్ ఉందా | 0 లేదా 1 |
| 7 | ప్లేట్లెట్స్ | సంఖ్యాత్మక | రక్తంలో ప్లేట్లెట్స్ సంఖ్య | 149000 |
| 8 | సీరమ్ క్రియాటినిన్ | సంఖ్యాత్మక | రక్తంలో సీరమ్ క్రియాటినిన్ స్థాయి | 0.5 |
| 9 | సీరమ్ సోడియం | సంఖ్యాత్మక | రక్తంలో సీరమ్ సోడియం స్థాయి | jun |
| 10 | లింగం | బూలియన్ | మహిళ లేదా పురుషుడు | 0 లేదా 1 |
| 11 | పొగ త్రాగడం | బూలియన్ | రోగి పొగ త్రాగుతాడా | 0 లేదా 1 |
| 12 | కాలం | సంఖ్యాత్మక | ఫాలో-అప్ కాలం (రోజులు) | 4 |
| ---- | ------------------------- | ----------------- | --------------------------------------------------------- | ------------------ |
| 21 | DEATH_EVENT [లక్ష్యం] | బూలియన్ | ఫాలో-అప్ సమయంలో రోగి మరణిస్తాడా | 0 లేదా 1 |
డేటాసెట్ పొందిన తర్వాత, ప్రాజెక్ట్ను అజ్యూర్లో ప్రారంభించవచ్చు.
2. అజ్యూర్ ML స్టూడియోలో లో కోడ్/నో కోడ్ మోడల్ శిక్షణ
2.1 అజ్యూర్ ML వర్క్స్పేస్ సృష్టించండి
అజ్యూర్ MLలో మోడల్ శిక్షణ కోసం మీరు ముందుగా అజ్యూర్ ML వర్క్స్పేస్ సృష్టించాలి. వర్క్స్పేస్ అనేది అజ్యూర్ మెషీన్ లెర్నింగ్ కోసం టాప్-లెవల్ వనరు, మీరు అజ్యూర్ మెషీన్ లెర్నింగ్ ఉపయోగించినప్పుడు సృష్టించే అన్ని ఆర్టిఫాక్ట్స్తో పని చేయడానికి కేంద్రీకృత స్థలం అందిస్తుంది. వర్క్స్పేస్ అన్ని శిక్షణ రన్స్ యొక్క చరిత్రను, లాగ్స్, మెట్రిక్స్, అవుట్పుట్ మరియు మీ స్క్రిప్ట్ల స్నాప్షాట్ను ఉంచుతుంది. మీరు ఈ సమాచారాన్ని ఉపయోగించి ఏ శిక్షణ రన్ ఉత్తమ మోడల్ను ఉత్పత్తి చేస్తుందో నిర్ణయించవచ్చు. మరింత తెలుసుకోండి
మీ ఆపరేటింగ్ సిస్టమ్కు అనుకూలమైన తాజా బ్రౌజర్ ఉపయోగించడం సిఫార్సు చేయబడుతుంది. క్రింది బ్రౌజర్లు మద్దతు ఇస్తాయి:
- Microsoft Edge (కొత్త Microsoft Edge, తాజా వెర్షన్. Microsoft Edge లెగసీ కాదు)
- Safari (తాజా వెర్షన్, Mac మాత్రమే)
- Chrome (తాజా వెర్షన్)
- Firefox (తాజా వెర్షన్)
అజ్యూర్ మెషీన్ లెర్నింగ్ ఉపయోగించడానికి, మీ అజ్యూర్ సబ్స్క్రిప్షన్లో వర్క్స్పేస్ సృష్టించండి. మీరు ఈ వర్క్స్పేస్ను డేటా, కంప్యూట్ వనరులు, కోడ్, మోడల్స్ మరియు మీ మెషీన్ లెర్నింగ్ వర్క్లోడ్స్కు సంబంధించిన ఇతర ఆర్టిఫాక్ట్స్ను నిర్వహించడానికి ఉపయోగించవచ్చు.
గమనిక: అజ్యూర్ మెషీన్ లెర్నింగ్ వర్క్స్పేస్ మీ సబ్స్క్రిప్షన్లో ఉన్నంతకాలం, డేటా నిల్వ కోసం మీ అజ్యూర్ సబ్స్క్రిప్షన్కు చిన్న మొత్తంలో ఛార్జ్ ఉంటుంది, కాబట్టి మీరు వాడకంలేని సమయంలో వర్క్స్పేస్ను తొలగించమని మేము సిఫార్సు చేస్తాము.
-
మీ అజ్యూర్ సబ్స్క్రిప్షన్కు సంబంధించిన Microsoft క్రెడెన్షియల్స్ ఉపయోగించి Azure పోర్టల్లో సైన్ ఇన్ అవ్వండి.
-
＋Create a resource ఎంచుకోండి
మెషీన్ లెర్నింగ్ కోసం శోధించి, మెషీన్ లెర్నింగ్ టైల్ ఎంచుకోండి
క్రియేట్ బటన్ క్లిక్ చేయండి
క్రింది విధంగా సెట్టింగ్స్ నింపండి:
- సబ్స్క్రిప్షన్: మీ అజ్యూర్ సబ్స్క్రిప్షన్
- రిసోర్స్ గ్రూప్: రిసోర్స్ గ్రూప్ సృష్టించండి లేదా ఎంచుకోండి
- వర్క్స్పేస్ పేరు: మీ వర్క్స్పేస్కు ప్రత్యేకమైన పేరు ఇవ్వండి
- ప్రాంతం: మీకు సమీపంలోని భౌగోళిక ప్రాంతాన్ని ఎంచుకోండి
- స్టోరేజ్ అకౌంట్: మీ వర్క్స్పేస్ కోసం సృష్టించబడే డిఫాల్ట్ కొత్త స్టోరేజ్ అకౌంట్ గమనించండి
- కీ వాల్ట్: మీ వర్క్స్పేస్ కోసం సృష్టించబడే డిఫాల్ట్ కొత్త కీ వాల్ట్ గమనించండి
- అప్లికేషన్ ఇన్సైట్స్: మీ వర్క్స్పేస్ కోసం సృష్టించబడే డిఫాల్ట్ కొత్త అప్లికేషన్ ఇన్సైట్స్ వనరు గమనించండి
- కంటైనర్ రిజిస్ట్రీ: లేదు (మొదటి సారి మోడల్ను కంటైనర్కు డిప్లాయ్ చేసినప్పుడు ఒకటి ఆటోమేటిక్గా సృష్టించబడుతుంది)
- create + review క్లిక్ చేసి, తరువాత create బటన్ క్లిక్ చేయండి
-
మీ వర్క్స్పేస్ సృష్టించబడే వరకు వేచి ఉండండి (కొన్ని నిమిషాలు పట్టవచ్చు). తరువాత పోర్టల్లో దానికి వెళ్లండి. మీరు మెషీన్ లెర్నింగ్ అజ్యూర్ సర్వీస్ ద్వారా దాన్ని కనుగొనవచ్చు.
-
మీ వర్క్స్పేస్ యొక్క ఓవర్వ్యూ పేజీలో, అజ్యూర్ మెషీన్ లెర్నింగ్ స్టూడియో ప్రారంభించండి (లేదా కొత్త బ్రౌజర్ ట్యాబ్ తెరిచి https://ml.azure.com కి వెళ్లండి), మరియు మీ Microsoft ఖాతాతో సైన్ ఇన్ అవ్వండి. ప్రాంప్ట్ అయితే, మీ అజ్యూర్ డైరెక్టరీ, సబ్స్క్రిప్షన్ మరియు అజ్యూర్ మెషీన్ లెర్నింగ్ వర్క్స్పేస్ ఎంచుకోండి.
- అజ్యూర్ మెషీన్ లెర్నింగ్ స్టూడియోలో, ఎడమ పైభాగంలో ☰ ఐకాన్ను టోగుల్ చేసి ఇంటర్ఫేస్లోని వివిధ పేజీలను చూడండి. మీరు ఈ పేజీలను ఉపయోగించి మీ వర్క్స్పేస్ వనరులను నిర్వహించవచ్చు.
మీరు అజ్యూర్ పోర్టల్ ఉపయోగించి మీ వర్క్స్పేస్ను నిర్వహించవచ్చు, కానీ డేటా శాస్త్రవేత్తలు మరియు మెషీన్ లెర్నింగ్ ఆపరేషన్స్ ఇంజనీర్ల కోసం, అజ్యూర్ మెషీన్ లెర్నింగ్ స్టూడియో వర్క్స్పేస్ వనరులను నిర్వహించడానికి మరింత కేంద్రీకృత యూజర్ ఇంటర్ఫేస్ను అందిస్తుంది.
2.2 కంప్యూట్ వనరులు
కంప్యూట్ వనరులు అనేవి క్లౌడ్ ఆధారిత వనరులు, వీటిపై మీరు మోడల్ శిక్షణ మరియు డేటా అన్వేషణ ప్రక్రియలను నడిపించవచ్చు. మీరు సృష్టించగల నాలుగు రకాల కంప్యూట్ వనరులు ఉన్నాయి:
- కంప్యూట్ ఇన్స్టాన్సెస్: డేటా శాస్త్రవేత్తలు డేటా మరియు మోడల్స్తో పని చేయడానికి ఉపయోగించే అభివృద్ధి వర్క్స్టేషన్లు. ఇది వర్చువల్ మెషీన్ (VM) సృష్టించడం మరియు నోట్బుక్ ఇన్స్టాన్స్ను ప్రారంభించడం కలిగి ఉంటుంది. మీరు తరువాత నోట్బుక్ నుండి కంప్యూటర్ క్లస్టర్ను పిలిచి మోడల్ శిక్షణ చేయవచ్చు.
- కంప్యూట్ క్లస్టర్స్: ప్రయోగ కోడ్ను డిమాండ్ ప్రకారం ప్రాసెస్ చేయడానికి స్కేలబుల్ VM క్లస్టర్లు. మీరు మోడల్ శిక్షణ సమయంలో దీనిని అవసరం పడుతుంది. కంప్యూట్ క్లస్టర్లు ప్రత్యేక GPU లేదా CPU వనరులను కూడా ఉపయోగించవచ్చు.
- Inference Clusters: మీ శిక్షణ పొందిన మోడల్స్ ఉపయోగించే భవిష్యత్తు సేవల కోసం డిప్లాయ్మెంట్ లక్ష్యాలు.
- Attached Compute: వర్చువల్ మెషీన్లు లేదా Azure Databricks క్లస్టర్లు వంటి ఉన్న Azure కంప్యూట్ వనరులకు లింకులు.
2.2.1 మీ కంప్యూట్ వనరుల కోసం సరైన ఎంపికలను ఎంచుకోవడం
కంప్యూట్ వనరును సృష్టించే సమయంలో పరిగణించవలసిన కొన్ని ముఖ్యమైన అంశాలు ఉన్నాయి మరియు ఆ ఎంపికలు కీలక నిర్ణయాలు కావచ్చు.
మీకు CPU లేదా GPU అవసరమా?
CPU (సెంట్రల్ ప్రాసెసింగ్ యూనిట్) అనేది కంప్యూటర్ ప్రోగ్రామ్ను అమలు చేసే ఎలక్ట్రానిక్ సర్క్యూట్రీ. GPU (గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్) అనేది గ్రాఫిక్స్-సంబంధిత కోడ్ను చాలా వేగంగా అమలు చేయగల ప్రత్యేక ఎలక్ట్రానిక్ సర్క్యూట్.
CPU మరియు GPU ఆర్కిటెక్చర్ మధ్య ప్రధాన తేడా ఏమిటంటే CPU విస్తృత శ్రేణి పనులను వేగంగా నిర్వహించడానికి (CPU క్లాక్ స్పీడ్ ద్వారా కొలవబడుతుంది) రూపొందించబడింది, కానీ ఒకేసారి నడిచే పనుల concurrency పరిమితమైంది. GPUలు సమాంతర కంప్యూటింగ్ కోసం రూపొందించబడ్డాయి కాబట్టి డీప్ లెర్నింగ్ పనులలో చాలా మెరుగ్గా ఉంటాయి.
| CPU | GPU |
|---|---|
| తక్కువ ఖర్చు | ఎక్కువ ఖర్చు |
| concurrency స్థాయి తక్కువ | concurrency స్థాయి ఎక్కువ |
| డీప్ లెర్నింగ్ మోడల్స్ శిక్షణలో నెమ్మదిగా | డీప్ లెర్నింగ్కు ఆప్టిమల్ |
క్లస్టర్ పరిమాణం
పెద్ద క్లస్టర్లు ఎక్కువ ఖర్చుతో ఉంటాయి కానీ మెరుగైన స్పందనను ఇస్తాయి. కాబట్టి, మీకు సమయం ఉంది కానీ డబ్బు తక్కువ అయితే, మీరు చిన్న క్లస్టర్తో ప్రారంభించాలి. విరుద్ధంగా, డబ్బు ఉంది కానీ సమయం తక్కువ అయితే, మీరు పెద్ద క్లస్టర్తో ప్రారంభించాలి.
VM పరిమాణం
మీ సమయం మరియు బడ్జెట్ పరిమితుల ఆధారంగా, మీరు RAM, డిస్క్, కోర్ల సంఖ్య మరియు క్లాక్ స్పీడ్ పరిమాణాన్ని మార్చవచ్చు. ఈ అన్ని పారామీటర్లను పెంచడం ఖర్చుతో కూడుకున్నది, కానీ మెరుగైన పనితీరును ఇస్తుంది.
Dedicated లేదా Low-Priority Instances?
Low-priority instance అంటే అది అంతరాయం కలిగించదగినది: మైక్రోసాఫ్ట్ Azure ఆ వనరులను తీసుకుని మరొక పనికి కేటాయించవచ్చు, తద్వారా ఒక పని అంతరాయం అవుతుంది. Dedicated instance లేదా non-interruptible అంటే ఆ పని మీ అనుమతి లేకుండా ఎప్పుడూ ముగించబడదు. ఇది సమయం మరియు డబ్బు మధ్య మరో పరిగణన, ఎందుకంటే interruptible instances dedicated కంటే తక్కువ ఖర్చుతో ఉంటాయి.
2.2.2 కంప్యూట్ క్లస్టర్ సృష్టించడం
ముందుగా సృష్టించిన Azure ML వర్క్స్పేస్లో, compute కి వెళ్లండి మరియు మనం చర్చించిన వివిధ compute వనరులను చూడగలుగుతారు (అంటే compute instances, compute clusters, inference clusters మరియు attached compute). ఈ ప్రాజెక్ట్ కోసం, మోడల్ శిక్షణకు compute cluster అవసరం. స్టూడియోలో, "Compute" మెనూకి క్లిక్ చేయండి, తరువాత "Compute cluster" ట్యాబ్ మరియు "+ New" బటన్ క్లిక్ చేసి compute cluster సృష్టించండి.
- మీ ఎంపికలను ఎంచుకోండి: Dedicated vs Low priority, CPU లేదా GPU, VM పరిమాణం మరియు కోర్ సంఖ్య (ఈ ప్రాజెక్ట్ కోసం డిఫాల్ట్ సెట్టింగ్స్ ఉంచవచ్చు).
- Next బటన్ క్లిక్ చేయండి.
- క్లస్టర్కు compute పేరు ఇవ్వండి
- మీ ఎంపికలను ఎంచుకోండి: కనీస/గరిష్ట నోడ్స్ సంఖ్య, scale down కు ముందు idle సెకన్లు, SSH యాక్సెస్. కనీస నోడ్స్ సంఖ్య 0 అయితే, క్లస్టర్ idle ఉన్నప్పుడు మీరు డబ్బు ఆదా చేస్తారు. గరిష్ట నోడ్స్ సంఖ్య ఎక్కువగా ఉంటే శిక్షణ తక్కువ సమయం తీసుకుంటుంది. గరిష్ట నోడ్స్ సంఖ్య 3 సిఫార్సు చేయబడింది.
- "Create" బటన్ క్లిక్ చేయండి. ఈ దశ కొంత సమయం తీసుకోవచ్చు.
అద్భుతం! ఇప్పుడు మనకు Compute cluster ఉంది, Azure ML Studioకి డేటాను లోడ్ చేయాలి.
2.3 డేటాసెట్ లోడ్ చేయడం
-
ముందుగా సృష్టించిన Azure ML వర్క్స్పేస్లో, ఎడమ మెనూలో "Datasets" క్లిక్ చేసి "+ Create dataset" బటన్ క్లిక్ చేసి dataset సృష్టించండి. "From local files" ఎంపికను ఎంచుకుని ముందుగా డౌన్లోడ్ చేసిన Kaggle dataset ఎంచుకోండి.
-
మీ dataset కు పేరు, రకం మరియు వివరణ ఇవ్వండి. Next క్లిక్ చేయండి. ఫైళ్ల నుండి డేటాను అప్లోడ్ చేయండి. Next క్లిక్ చేయండి.
-
Schema లో, క్రింది ఫీచర్ల కోసం డేటా రకాన్ని Boolean గా మార్చండి: anaemia, diabetes, high blood pressure, sex, smoking, మరియు DEATH_EVENT. Next క్లిక్ చేసి Create క్లిక్ చేయండి.
చాలా బాగుంది! ఇప్పుడు dataset సెట్ అయింది మరియు compute cluster సృష్టించబడింది, మోడల్ శిక్షణ ప్రారంభించవచ్చు!
2.4 AutoML తో Low code/No Code శిక్షణ
సాంప్రదాయ మెషీన్ లెర్నింగ్ మోడల్ అభివృద్ధి వనరుల్ని ఎక్కువగా ఉపయోగిస్తుంది, గణనీయమైన డొమైన్ జ్ఞానం మరియు సమయం అవసరం, మరియు పలు మోడల్స్ను తయారు చేసి పోల్చాలి. Automated machine learning (AutoML) అనేది మెషీన్ లెర్నింగ్ మోడల్ అభివృద్ధి యొక్క సమయం తీసుకునే, పునరావృత పనులను ఆటోమేటింగ్ చేసే ప్రక్రియ. ఇది డేటా సైంటిస్టులు, విశ్లేషకులు మరియు డెవలపర్లకు అధిక స్కేల్, సామర్థ్యం మరియు ఉత్పాదకతతో ML మోడల్స్ నిర్మించడానికి అనుమతిస్తుంది, మోడల్ నాణ్యతను నిలబెట్టుకుంటూ. ఇది ప్రొడక్షన్-రెడీ ML మోడల్స్ పొందడానికి సమయాన్ని తగ్గిస్తుంది, సులభత మరియు సామర్థ్యంతో. మరింత తెలుసుకోండి
-
ముందుగా సృష్టించిన Azure ML వర్క్స్పేస్లో, ఎడమ మెనూలో "Automated ML" క్లిక్ చేసి మీరు అప్లోడ్ చేసిన dataset ఎంచుకోండి. Next క్లిక్ చేయండి.
-
కొత్త ఎక్స్పెరిమెంట్ పేరు, లక్ష్య కాలమ్ (DEATH_EVENT) మరియు మనం సృష్టించిన compute cluster ఎంచుకోండి. Next క్లిక్ చేయండి.
-
"Classification" ఎంచుకుని Finish క్లిక్ చేయండి. ఈ దశ compute cluster పరిమాణం ఆధారంగా 30 నిమిషాల నుండి 1 గంట వరకు పడవచ్చు.
-
రన్ పూర్తయిన తర్వాత, "Automated ML" ట్యాబ్ క్లిక్ చేసి మీ రన్ ఎంచుకోండి, "Best model summary" కార్డులో Algorithm క్లిక్ చేయండి.
ఇక్కడ మీరు AutoML రూపొందించిన ఉత్తమ మోడల్ యొక్క వివరమైన వివరణ చూడవచ్చు. మీరు Models ట్యాబ్లో ఇతర మోడల్స్ను కూడా అన్వేషించవచ్చు. Explanations (preview button) లో మోడల్స్ను కొంత సమయం తీసుకుని పరిశీలించండి. మీరు ఉపయోగించదలచుకున్న మోడల్ ఎంచుకున్న తర్వాత (ఇక్కడ మనం AutoML ఎంచుకున్న ఉత్తమ మోడల్ తీసుకుంటాం), దాన్ని ఎలా డిప్లాయ్ చేయాలో చూద్దాం.
3. Low code/No Code మోడల్ డిప్లాయ్మెంట్ మరియు ఎండ్పాయింట్ వినియోగం
3.1 మోడల్ డిప్లాయ్మెంట్
ఆటోమేటెడ్ మెషీన్ లెర్నింగ్ ఇంటర్ఫేస్ ఉత్తమ మోడల్ను కొన్ని దశల్లో వెబ్ సర్వీస్గా డిప్లాయ్ చేయడానికి అనుమతిస్తుంది. డిప్లాయ్మెంట్ అనేది మోడల్ను ఇంటిగ్రేట్ చేయడం, తద్వారా అది కొత్త డేటా ఆధారంగా భవిష్యత్తు చెప్పగలదు మరియు అవకాశ ప్రాంతాలను గుర్తించగలదు. ఈ ప్రాజెక్ట్ కోసం, వెబ్ సర్వీస్కు డిప్లాయ్ చేయడం అంటే వైద్య అనువర్తనాలు మోడల్ను వినియోగించి వారి రోగుల హృదయపోటు ప్రమాదాన్ని ప్రత్యక్షంగా అంచనా వేయగలవు.
ఉత్తమ మోడల్ వివరణలో, "Deploy" బటన్ క్లిక్ చేయండి.
- దానికి పేరు, వివరణ, compute రకం (Azure Container Instance), authentication ఎనేబుల్ చేసి Deploy క్లిక్ చేయండి. ఈ దశ సుమారు 20 నిమిషాలు పడవచ్చు. డిప్లాయ్మెంట్ ప్రక్రియలో మోడల్ రిజిస్టర్ చేయడం, వనరులు సృష్టించడం మరియు వాటిని వెబ్ సర్వీస్ కోసం కాన్ఫిగర్ చేయడం ఉంటాయి. Deploy స్థితి క్రింద ఒక స్థితి సందేశం కనిపిస్తుంది. Deploy స్థితి "Healthy" అయినప్పుడు అది డిప్లాయ్ అయి నడుస్తోంది అని అర్థం.
- డిప్లాయ్ అయిన తర్వాత, Endpoint ట్యాబ్ క్లిక్ చేసి మీరు డిప్లాయ్ చేసిన ఎండ్పాయింట్ ఎంచుకోండి. ఇక్కడ ఎండ్పాయింట్ గురించి అవసరమైన అన్ని వివరాలు ఉంటాయి.
అద్భుతం! ఇప్పుడు మోడల్ డిప్లాయ్ అయింది, ఎండ్పాయింట్ వినియోగం ప్రారంభించవచ్చు.
3.2 ఎండ్పాయింట్ వినియోగం
"Consume" ట్యాబ్ క్లిక్ చేయండి. ఇక్కడ మీరు REST ఎండ్పాయింట్ మరియు python స్క్రిప్ట్ వినియోగ ఎంపికలో కనుగొనవచ్చు. python కోడ్ చదవడానికి కొంత సమయం తీసుకోండి.
ఈ స్క్రిప్ట్ మీ స్థానిక యంత్రం నుండి నేరుగా నడిపించవచ్చు మరియు మీ ఎండ్పాయింట్ను వినియోగిస్తుంది.
ఈ 2 కోడ్ లైన్లను ఒకసారి పరిశీలించండి:
url = 'http://98e3715f-xxxx-xxxx-xxxx-9ec22d57b796.centralus.azurecontainer.io/score'
api_key = '' # వెబ్ సర్వీస్ కోసం API కీతో దీన్ని మార్చండి
url వేరియబుల్ consume ట్యాబ్లో ఉన్న REST ఎండ్పాయింట్ మరియు api_key వేరియబుల్ ప్రాథమిక కీ (authentication ఎనేబుల్ చేసిన సందర్భంలో మాత్రమే) consume ట్యాబ్లో ఉంటుంది. ఈ విధంగా స్క్రిప్ట్ ఎండ్పాయింట్ను వినియోగిస్తుంది.
- స్క్రిప్ట్ నడిపించినప్పుడు, మీరు క్రింది అవుట్పుట్ చూడగలరు:
b'"{\\"result\\": [true]}"'
ఇది ఇచ్చిన డేటా కోసం హార్ట్ ఫెయిల్యూర్ అంచనా నిజమని అర్థం. ఇది అర్థం అవుతుంది ఎందుకంటే స్క్రిప్ట్లో ఆటోమేటిక్గా రూపొందించిన డేటాను గమనిస్తే, అన్ని విలువలు డిఫాల్ట్గా 0 మరియు false ఉన్నాయి. మీరు క్రింది ఇన్పుట్ నమూనాతో డేటాను మార్చవచ్చు:
data = {
"data":
[
{
'age': "0",
'anaemia': "false",
'creatinine_phosphokinase': "0",
'diabetes': "false",
'ejection_fraction': "0",
'high_blood_pressure': "false",
'platelets': "0",
'serum_creatinine': "0",
'serum_sodium': "0",
'sex': "false",
'smoking': "false",
'time': "0",
},
{
'age': "60",
'anaemia': "false",
'creatinine_phosphokinase': "500",
'diabetes': "false",
'ejection_fraction': "38",
'high_blood_pressure': "false",
'platelets': "260000",
'serum_creatinine': "1.40",
'serum_sodium': "137",
'sex': "false",
'smoking': "false",
'time': "130",
},
],
}
స్క్రిప్ట్ ఈ విధంగా తిరిగి ఇవ్వాలి:
python b'"{\\"result\\": [true, false]}"'
అభినందనలు! మీరు Azure MLలో మోడల్ను డిప్లాయ్ చేసి శిక్షణ ఇచ్చి, దాన్ని వినియోగించారు!
గమనిక: ప్రాజెక్ట్ పూర్తయిన తర్వాత, అన్ని వనరులను తొలగించడం మర్చిపోకండి.
🚀 సవాలు
AutoML రూపొందించిన టాప్ మోడల్స్ యొక్క మోడల్ వివరణలు మరియు వివరాలను జాగ్రత్తగా పరిశీలించండి. ఉత్తమ మోడల్ ఇతర మోడల్స్ కంటే ఎందుకు మెరుగ్గా ఉందో అర్థం చేసుకోండి. ఏ అల్గోరిథమ్స్ పోల్చబడ్డాయి? వాటి మధ్య తేడాలు ఏమిటి? ఈ సందర్భంలో ఉత్తమ మోడల్ ఎందుకు మెరుగ్గా పనిచేస్తోంది?
పోస్ట్-లెక్చర్ క్విజ్
సమీక్ష & స్వీయ అధ్యయనం
ఈ పాఠంలో, మీరు Low code/No code విధానంలో క్లౌడ్లో హార్ట్ ఫెయిల్యూర్ ప్రమాదాన్ని అంచనా వేయడానికి మోడల్ను శిక్షణ, డిప్లాయ్ మరియు వినియోగించడం నేర్చుకున్నారు. మీరు ఇంకా చేయకపోతే, AutoML రూపొందించిన టాప్ మోడల్స్ యొక్క మోడల్ వివరణలను లోతుగా పరిశీలించి ఉత్తమ మోడల్ ఇతర మోడల్స్ కంటే ఎందుకు మెరుగ్గా ఉందో అర్థం చేసుకోండి.
Low code/No code AutoML గురించి మరింత తెలుసుకోవడానికి ఈ డాక్యుమెంటేషన్ చదవండి.
అసైన్మెంట్
Azure MLపై Low code/No code డేటా సైన్స్ ప్రాజెక్ట్
అస్పష్టత:
ఈ పత్రాన్ని AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నించినప్పటికీ, ఆటోమేటెడ్ అనువాదాల్లో పొరపాట్లు లేదా తప్పిదాలు ఉండవచ్చు. మూల పత్రం దాని స్వదేశీ భాషలో అధికారిక మూలంగా పరిగణించాలి. ముఖ్యమైన సమాచారానికి, ప్రొఫెషనల్ మానవ అనువాదం సిఫార్సు చేయబడుతుంది. ఈ అనువాదం వలన కలిగే ఏవైనా అపార్థాలు లేదా తప్పుదారితీసే అర్థాలు కోసం మేము బాధ్యత వహించము.