You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
247 lines
25 KiB
247 lines
25 KiB
<!--
|
|
CO_OP_TRANSLATOR_METADATA:
|
|
{
|
|
"original_hash": "73dead89dc2ddda4d6ec0232814a191e",
|
|
"translation_date": "2025-08-27T17:51:24+00:00",
|
|
"source_file": "5-Data-Science-In-Cloud/19-Azure/README.md",
|
|
"language_code": "pa"
|
|
}
|
|
-->
|
|
# ਕਲਾਉਡ ਵਿੱਚ ਡਾਟਾ ਸਾਇੰਸ: "Azure ML SDK" ਦਾ ਤਰੀਕਾ
|
|
|
|
| ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਸਕੈਚਨੋਟ ](../../sketchnotes/19-DataScience-Cloud.png)|
|
|
|:---:|
|
|
| ਕਲਾਉਡ ਵਿੱਚ ਡਾਟਾ ਸਾਇੰਸ: Azure ML SDK - _[@nitya](https://twitter.com/nitya) ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਸਕੈਚਨੋਟ_ |
|
|
|
|
ਸਮੱਗਰੀ ਦੀ ਸੂਚੀ:
|
|
|
|
- [ਕਲਾਉਡ ਵਿੱਚ ਡਾਟਾ ਸਾਇੰਸ: "Azure ML SDK" ਦਾ ਤਰੀਕਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [ਪ੍ਰੀ-ਲੈਕਚਰ ਕਵਿਜ਼](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [1. ਪਰਿਚਯ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [1.1 Azure ML SDK ਕੀ ਹੈ?](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [1.2 ਦਿਲ ਦੇ ਫੇਲ ਹੋਣ ਦੀ ਭਵਿੱਖਵਾਣੀ ਪ੍ਰੋਜੈਕਟ ਅਤੇ ਡਾਟਾਸੈੱਟ ਦਾ ਪਰਿਚਯ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2. Azure ML SDK ਨਾਲ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.1 Azure ML ਵਰਕਸਪੇਸ ਬਣਾਉਣਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.2 ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਬਣਾਉਣਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.3 ਡਾਟਾਸੈੱਟ ਲੋਡ ਕਰਨਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.4 ਨੋਟਬੁੱਕ ਬਣਾਉਣਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.5 ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.5.1 ਵਰਕਸਪੇਸ, ਐਕਸਪੇਰੀਮੈਂਟ, ਕੰਪਿਊਟ ਕਲਸਟਰ ਅਤੇ ਡਾਟਾਸੈੱਟ ਸੈਟਅਪ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [2.5.2 AutoML ਕਨਫਿਗਰੇਸ਼ਨ ਅਤੇ ਟ੍ਰੇਨਿੰਗ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [3. Azure ML SDK ਨਾਲ ਮਾਡਲ ਡਿਪਲੌਇਮੈਂਟ ਅਤੇ ਐਂਡਪੌਇੰਟ ਖਪਤ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [3.1 ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਸੇਵ ਕਰਨਾ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [3.2 ਮਾਡਲ ਡਿਪਲੌਇਮੈਂਟ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [3.3 ਐਂਡਪੌਇੰਟ ਖਪਤ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [🚀 ਚੁਣੌਤੀ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [ਪੋਸਟ-ਲੈਕਚਰ ਕਵਿਜ਼](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [ਸਮੀਖਿਆ ਅਤੇ ਸਵੈ ਅਧਿਐਨ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
- [ਅਸਾਈਨਮੈਂਟ](../../../../5-Data-Science-In-Cloud/19-Azure)
|
|
|
|
## [ਪ੍ਰੀ-ਲੈਕਚਰ ਕਵਿਜ਼](https://purple-hill-04aebfb03.1.azurestaticapps.net/quiz/36)
|
|
|
|
## 1. ਪਰਿਚਯ
|
|
|
|
### 1.1 Azure ML SDK ਕੀ ਹੈ?
|
|
|
|
ਡਾਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ AI ਡਿਵੈਲਪਰ Azure Machine Learning SDK ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ Azure Machine Learning ਸੇਵਾ ਨਾਲ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਵਰਕਫਲੋ ਬਣਾਉਣ ਅਤੇ ਚਲਾਉਣ ਲਈ। ਤੁਸੀਂ ਇਸ ਸੇਵਾ ਨਾਲ ਕਿਸੇ ਵੀ Python ਮਾਹੌਲ ਵਿੱਚ ਇੰਟਰਐਕਟ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ Jupyter Notebooks, Visual Studio Code, ਜਾਂ ਤੁਹਾਡਾ ਮਨਪਸੰਦ Python IDE।
|
|
|
|
SDK ਦੇ ਮੁੱਖ ਖੇਤਰ ਸ਼ਾਮਲ ਹਨ:
|
|
|
|
- ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਐਕਸਪੇਰੀਮੈਂਟ ਵਿੱਚ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਡਾਟਾਸੈੱਟ ਦੇ ਜੀਵਨ ਚੱਕਰ ਦੀ ਖੋਜ, ਤਿਆਰੀ ਅਤੇ ਪ੍ਰਬੰਧਨ।
|
|
- ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਐਕਸਪੇਰੀਮੈਂਟ ਦੀ ਨਿਗਰਾਨੀ, ਲੌਗਿੰਗ ਅਤੇ ਆਯੋਜਨ ਲਈ ਕਲਾਉਡ ਸਰੋਤਾਂ ਦਾ ਪ੍ਰਬੰਧਨ।
|
|
- ਮਾਡਲ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਜਾਂ ਕਲਾਉਡ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਟ੍ਰੇਨ ਕਰੋ, ਜਿਸ ਵਿੱਚ GPU-ਤੇਜ਼ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਸ਼ਾਮਲ ਹੈ।
|
|
- ਆਟੋਮੈਟਿਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਜੋ ਕਨਫਿਗਰੇਸ਼ਨ ਪੈਰਾਮੀਟਰ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ। ਇਹ ਅਲਗੋਰਿਥਮ ਅਤੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਸੈਟਿੰਗਾਂ ਦੁਆਰਾ ਆਪਣੇ ਆਪ ਦੁਹਰਾਉਂਦਾ ਹੈ ਤਾਂ ਜੋ ਭਵਿੱਖਵਾਣੀ ਚਲਾਉਣ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਲੱਭ ਸਕੇ।
|
|
- ਵੈੱਬ ਸੇਵਾਵਾਂ ਨੂੰ ਡਿਪਲੌਇ ਕਰੋ ਤਾਂ ਜੋ ਤੁਹਾਡੇ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲ ਨੂੰ RESTful ਸੇਵਾਵਾਂ ਵਿੱਚ ਬਦਲਿਆ ਜਾ ਸਕੇ ਜੋ ਕਿਸੇ ਵੀ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਖਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।
|
|
|
|
[Azure Machine Learning SDK ਬਾਰੇ ਹੋਰ ਜਾਣੋ](https://docs.microsoft.com/python/api/overview/azure/ml?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109)
|
|
|
|
[ਪਿਛਲੇ ਪਾਠ](../18-Low-Code/README.md) ਵਿੱਚ, ਅਸੀਂ ਦੇਖਿਆ ਕਿ ਕਿਵੇਂ ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ, ਡਿਪਲੌਇ ਅਤੇ ਖਪਤ ਕਰਨਾ ਹੈ ਇੱਕ Low code/No code ਤਰੀਕੇ ਨਾਲ। ਅਸੀਂ Heart Failure ਡਾਟਾਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਸੀ ਦਿਲ ਦੇ ਫੇਲ ਹੋਣ ਦੀ ਭਵਿੱਖਵਾਣੀ ਮਾਡਲ ਬਣਾਉਣ ਲਈ। ਇਸ ਪਾਠ ਵਿੱਚ, ਅਸੀਂ ਬਿਲਕੁਲ ਉਹੀ ਕੰਮ ਕਰਨ ਜਾ ਰਹੇ ਹਾਂ ਪਰ Azure Machine Learning SDK ਦੀ ਵਰਤੋਂ ਕਰਕੇ।
|
|
|
|
|
|
|
|
### 1.2 ਦਿਲ ਦੇ ਫੇਲ ਹੋਣ ਦੀ ਭਵਿੱਖਵਾਣੀ ਪ੍ਰੋਜੈਕਟ ਅਤੇ ਡਾਟਾਸੈੱਟ ਦਾ ਪਰਿਚਯ
|
|
|
|
[ਇਥੇ](../18-Low-Code/README.md) ਦਿਲ ਦੇ ਫੇਲ ਹੋਣ ਦੀ ਭਵਿੱਖਵਾਣੀ ਪ੍ਰੋਜੈਕਟ ਅਤੇ ਡਾਟਾਸੈੱਟ ਦਾ ਪਰਿਚਯ ਦੇਖੋ।
|
|
|
|
## 2. Azure ML SDK ਨਾਲ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ
|
|
|
|
### 2.1 Azure ML ਵਰਕਸਪੇਸ ਬਣਾਉਣਾ
|
|
|
|
ਸਰਲਤਾ ਲਈ, ਅਸੀਂ Jupyter Notebook 'ਤੇ ਕੰਮ ਕਰਨ ਜਾ ਰਹੇ ਹਾਂ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਵਰਕਸਪੇਸ ਅਤੇ ਇੱਕ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਵਰਕਸਪੇਸ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸਿੱਧੇ ਸੈਕਸ਼ਨ 2.3 ਨੋਟਬੁੱਕ ਬਣਾਉਣ 'ਤੇ ਜਾ ਸਕਦੇ ਹੋ।
|
|
|
|
ਜੇ ਨਹੀਂ, ਤਾਂ ਕਿਰਪਾ ਕਰਕੇ [ਪਿਛਲੇ ਪਾਠ](../18-Low-Code/README.md) ਵਿੱਚ ਸੈਕਸ਼ਨ **2.1 Azure ML ਵਰਕਸਪੇਸ ਬਣਾਉਣਾ** ਵਿੱਚ ਦਿੱਤੀਆਂ ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ।
|
|
|
|
### 2.2 ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਬਣਾਉਣਾ
|
|
|
|
[Azure ML ਵਰਕਸਪੇਸ](https://ml.azure.com/) ਵਿੱਚ ਜੋ ਅਸੀਂ ਪਹਿਲਾਂ ਬਣਾਇਆ ਸੀ, ਕੰਪਿਊਟ ਮੀਨੂ 'ਤੇ ਜਾਓ ਅਤੇ ਤੁਹਾਨੂੰ ਉਪਲਬਧ ਵੱਖ-ਵੱਖ ਕੰਪਿਊਟ ਸਰੋਤਾਂ ਦੇਖਣ ਨੂੰ ਮਿਲਣਗੇ।
|
|
|
|
|
|
|
|
ਆਓ ਇੱਕ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਬਣਾਈਏ ਤਾਂ ਜੋ Jupyter Notebook ਪ੍ਰੋਵਿਜ਼ਨ ਕੀਤਾ ਜਾ ਸਕੇ।
|
|
1. + New ਬਟਨ 'ਤੇ ਕਲਿਕ ਕਰੋ।
|
|
2. ਆਪਣੇ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਨੂੰ ਇੱਕ ਨਾਮ ਦਿਓ।
|
|
3. ਆਪਣੇ ਵਿਕਲਪ ਚੁਣੋ: CPU ਜਾਂ GPU, VM ਆਕਾਰ ਅਤੇ ਕੋਰ ਦੀ ਗਿਣਤੀ।
|
|
4. Create ਬਟਨ 'ਤੇ ਕਲਿਕ ਕਰੋ।
|
|
|
|
ਵਧਾਈਆਂ, ਤੁਸੀਂ ਸਿਰਫ ਇੱਕ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਬਣਾਇਆ ਹੈ! ਅਸੀਂ ਇਸ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਦੀ ਵਰਤੋਂ [ਨੋਟਬੁੱਕ ਬਣਾਉਣ ਦੇ ਸੈਕਸ਼ਨ](../../../../5-Data-Science-In-Cloud/19-Azure) ਵਿੱਚ ਕਰਨ ਜਾ ਰਹੇ ਹਾਂ।
|
|
|
|
### 2.3 ਡਾਟਾਸੈੱਟ ਲੋਡ ਕਰਨਾ
|
|
|
|
ਜੇ ਤੁਸੀਂ ਹਾਲੇ ਤੱਕ ਡਾਟਾਸੈੱਟ ਅੱਪਲੋਡ ਨਹੀਂ ਕੀਤਾ ਹੈ, ਤਾਂ [ਪਿਛਲੇ ਪਾਠ](../18-Low-Code/README.md) ਵਿੱਚ ਸੈਕਸ਼ਨ **2.3 ਡਾਟਾਸੈੱਟ ਲੋਡ ਕਰਨਾ** ਨੂੰ ਵੇਖੋ।
|
|
|
|
### 2.4 ਨੋਟਬੁੱਕ ਬਣਾਉਣਾ
|
|
|
|
> **_ਨੋਟ:_** ਅਗਲੇ ਕਦਮ ਲਈ ਤੁਸੀਂ ਜਾਂ ਤਾਂ ਨਵਾਂ ਨੋਟਬੁੱਕ ਸ਼ੁਰੂ ਤੋਂ ਬਣਾਉਣ ਦਾ ਚੋਣ ਕਰ ਸਕਦੇ ਹੋ, ਜਾਂ ਤੁਸੀਂ [ਅਸੀਂ ਬਣਾਇਆ ਨੋਟਬੁੱਕ](notebook.ipynb) ਆਪਣੇ Azure ML Studio ਵਿੱਚ ਅੱਪਲੋਡ ਕਰ ਸਕਦੇ ਹੋ। ਇਸਨੂੰ ਅੱਪਲੋਡ ਕਰਨ ਲਈ, ਸਿਰਫ "Notebook" ਮੀਨੂ 'ਤੇ ਕਲਿਕ ਕਰੋ ਅਤੇ ਨੋਟਬੁੱਕ ਅੱਪਲੋਡ ਕਰੋ।
|
|
|
|
ਨੋਟਬੁੱਕ ਡਾਟਾ ਸਾਇੰਸ ਪ੍ਰਕਿਰਿਆ ਦਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਹਨ। ਇਹਨਾਂ ਦੀ ਵਰਤੋਂ Exploratory Data Analysis (EDA) ਕਰਨ ਲਈ, ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਕੰਪਿਊਟ ਕਲਸਟਰ ਨੂੰ ਕਾਲ ਕਰਨ ਲਈ, ਜਾਂ ਐਂਡਪੌਇੰਟ ਡਿਪਲੌਇ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।
|
|
|
|
ਨੋਟਬੁੱਕ ਬਣਾਉਣ ਲਈ, ਸਾਨੂੰ ਇੱਕ ਕੰਪਿਊਟ ਨੋਡ ਦੀ ਲੋੜ ਹੈ ਜੋ Jupyter Notebook ਇੰਸਟੈਂਸ ਨੂੰ ਸਰਵ ਕਰ ਰਿਹਾ ਹੈ। ਵਾਪਸ [Azure ML ਵਰਕਸਪੇਸ](https://ml.azure.com/) 'ਤੇ ਜਾਓ ਅਤੇ Compute Instances 'ਤੇ ਕਲਿਕ ਕਰੋ। ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ ਦੀ ਸੂਚੀ ਵਿੱਚ ਤੁਹਾਨੂੰ [ਅਸੀਂ ਪਹਿਲਾਂ ਬਣਾਇਆ ਕੰਪਿਊਟ ਇੰਸਟੈਂਸ](../../../../5-Data-Science-In-Cloud/19-Azure) ਦੇਖਣ ਨੂੰ ਮਿਲੇਗਾ।
|
|
|
|
1. Applications ਸੈਕਸ਼ਨ ਵਿੱਚ, Jupyter ਵਿਕਲਪ 'ਤੇ ਕਲਿਕ ਕਰੋ।
|
|
2. "Yes, I understand" ਬਾਕਸ ਨੂੰ ਟਿਕ ਕਰੋ ਅਤੇ Continue ਬਟਨ 'ਤੇ ਕਲਿਕ ਕਰੋ।
|
|
|
|
3. ਇਹ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਟੈਬ ਖੋਲ੍ਹੇਗਾ ਜਿਸ ਵਿੱਚ ਤੁਹਾਡਾ Jupyter Notebook ਇੰਸਟੈਂਸ ਹੋਵੇਗਾ। "New" ਬਟਨ 'ਤੇ ਕਲਿਕ ਕਰਕੇ ਨੋਟਬੁੱਕ ਬਣਾਓ।
|
|
|
|
|
|
|
|
ਹੁਣ ਜਦੋਂ ਸਾਡੇ ਕੋਲ ਨੋਟਬੁੱਕ ਹੈ, ਅਸੀਂ Azure ML SDK ਨਾਲ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹਾਂ।
|
|
|
|
### 2.5 ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ
|
|
|
|
ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਜੇ ਤੁਹਾਨੂੰ ਕਦੇ ਵੀ ਕੋਈ ਸ਼ੱਕ ਹੋਵੇ, ਤਾਂ [Azure ML SDK ਡੌਕੂਮੈਂਟੇਸ਼ਨ](https://docs.microsoft.com/python/api/overview/azure/ml?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109) ਨੂੰ ਵੇਖੋ। ਇਸ ਵਿੱਚ ਉਹ ਸਾਰੀਆਂ ਜਾਣਕਾਰੀਆਂ ਹਨ ਜੋ ਅਸੀਂ ਇਸ ਪਾਠ ਵਿੱਚ ਦੇਖਣ ਜਾ ਰਹੇ ਮੌਡੀਊਲਾਂ ਨੂੰ ਸਮਝਣ ਲਈ ਲੋੜੀਂਦੀਆਂ ਹਨ।
|
|
|
|
#### 2.5.1 ਵਰਕਸਪੇਸ, ਐਕਸਪੇਰੀਮੈਂਟ, ਕੰਪਿਊਟ ਕਲਸਟਰ ਅਤੇ ਡਾਟਾਸੈੱਟ ਸੈਟਅਪ
|
|
|
|
ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਨਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਤੋਂ `workspace` ਲੋਡ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:
|
|
|
|
```python
|
|
from azureml.core import Workspace
|
|
ws = Workspace.from_config()
|
|
```
|
|
|
|
ਇਹ `Workspace` ਕਿਸਮ ਦਾ ਇੱਕ ਆਬਜੈਕਟ ਵਾਪਸ ਕਰਦਾ ਹੈ ਜੋ ਵਰਕਸਪੇਸ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਫਿਰ ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ `experiment` ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ:
|
|
|
|
```python
|
|
from azureml.core import Experiment
|
|
experiment_name = 'aml-experiment'
|
|
experiment = Experiment(ws, experiment_name)
|
|
```
|
|
|
|
ਵਰਕਸਪੇਸ ਤੋਂ ਇੱਕ ਐਕਸਪੇਰੀਮੈਂਟ ਪ੍ਰਾਪਤ ਕਰਨ ਜਾਂ ਬਣਾਉਣ ਲਈ, ਤੁਸੀਂ ਐਕਸਪੇਰੀਮੈਂਟ ਦਾ ਨਾਮ ਮੰਗਦੇ ਹੋ। ਐਕਸਪੇਰੀਮੈਂਟ ਦਾ ਨਾਮ 3-36 ਅੱਖਰਾਂ ਦਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਇੱਕ ਅੱਖਰ ਜਾਂ ਨੰਬਰ ਨਾਲ ਸ਼ੁਰੂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਸਿਰਫ ਅੱਖਰਾਂ, ਨੰਬਰਾਂ, ਅੰਡਰਸਕੋਰ ਅਤੇ ਡੈਸ਼ ਸ਼ਾਮਲ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ। ਜੇ ਵਰਕਸਪੇਸ ਵਿੱਚ ਐਕਸਪੇਰੀਮੈਂਟ ਨਹੀਂ ਮਿਲਦਾ, ਤਾਂ ਇੱਕ ਨਵਾਂ ਐਕਸਪੇਰੀਮੈਂਟ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ।
|
|
|
|
ਹੁਣ ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਟ੍ਰੇਨਿੰਗ ਲਈ ਇੱਕ ਕੰਪਿਊਟ ਕਲਸਟਰ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ। ਧਿਆਨ ਦਿਓ ਕਿ ਇਹ ਕਦਮ ਕੁਝ ਮਿੰਟ ਲੈ ਸਕਦਾ ਹੈ।
|
|
|
|
```python
|
|
from azureml.core.compute import AmlCompute
|
|
|
|
aml_name = "heart-f-cluster"
|
|
try:
|
|
aml_compute = AmlCompute(ws, aml_name)
|
|
print('Found existing AML compute context.')
|
|
except:
|
|
print('Creating new AML compute context.')
|
|
aml_config = AmlCompute.provisioning_configuration(vm_size = "Standard_D2_v2", min_nodes=1, max_nodes=3)
|
|
aml_compute = AmlCompute.create(ws, name = aml_name, provisioning_configuration = aml_config)
|
|
aml_compute.wait_for_completion(show_output = True)
|
|
|
|
cts = ws.compute_targets
|
|
compute_target = cts[aml_name]
|
|
```
|
|
|
|
ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਤਰੀਕੇ ਨਾਲ ਵਰਕਸਪੇਸ ਤੋਂ ਡਾਟਾਸੈੱਟ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:
|
|
|
|
```python
|
|
dataset = ws.datasets['heart-failure-records']
|
|
df = dataset.to_pandas_dataframe()
|
|
df.describe()
|
|
```
|
|
|
|
#### 2.5.2 AutoML ਕਨਫਿਗਰੇਸ਼ਨ ਅਤੇ ਟ੍ਰੇਨਿੰਗ
|
|
|
|
AutoML ਕਨਫਿਗਰੇਸ਼ਨ ਸੈਟ ਕਰਨ ਲਈ, [AutoMLConfig ਕਲਾਸ](https://docs.microsoft.com/python/api/azureml-train-automl-client/azureml.train.automl.automlconfig(class)?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109) ਦੀ ਵਰਤੋਂ ਕਰੋ।
|
|
|
|
ਜਿਵੇਂ ਕਿ ਡੌਕ ਵਿੱਚ ਵਰਣਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਤੁਹਾਡੇ ਕੋਲ ਖੇਡਣ ਲਈ ਬਹੁਤ ਸਾਰੇ ਪੈਰਾਮੀਟਰ ਹਨ। ਇਸ ਪ੍ਰੋਜੈਕਟ ਲਈ, ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਜਾ ਰਹੇ ਹਾਂ:
|
|
|
|
- `experiment_timeout_minutes`: ਅਧਿਕਤਮ ਸਮਾਂ (ਮਿੰਟਾਂ ਵਿੱਚ) ਜੋ ਐਕਸਪੇਰੀਮੈਂਟ ਨੂੰ ਚਲਾਉਣ ਦੀ ਆਗਿਆ ਹੈ।
|
|
- `max_concurrent_iterations`: ਅਧਿਕਤਮ ਸੰਖਿਆ ਜੋ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਟ੍ਰੇਨਿੰਗ ਦੁਹਰਾਅ ਲਈ ਆਗਿਆ ਹੈ।
|
|
- `primary_metric`: ਐਕਸਪੇਰੀਮੈਂਟ ਦੀ ਸਥਿਤੀ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਣ ਵਾਲਾ ਮੁੱਖ ਮਾਪ।
|
|
- `compute_target`: Automated Machine Learning ਐਕਸਪੇਰੀਮੈਂਟ ਚਲਾਉਣ ਲਈ Azure Machine Learning ਕੰਪਿਊਟ ਟਾਰਗਟ।
|
|
- `task`: ਚਲਾਉਣ ਲਈ ਟਾਸਕ ਦੀ ਕਿਸਮ। ਮੁੱਲ 'classification', 'regression', ਜਾਂ 'forecasting' ਹੋ ਸਕਦੇ ਹਨ।
|
|
- `training_data`: ਐਕਸਪੇਰੀਮੈਂਟ ਵਿੱਚ ਵਰਤਣ ਲਈ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ।
|
|
- `label_column_name`: ਲੇਬਲ ਕਾਲਮ ਦਾ ਨਾਮ।
|
|
- `path`: Azure Machine Learning ਪ੍ਰੋਜੈਕਟ ਫੋਲਡਰ ਦਾ ਪੂਰਾ ਪਾਥ।
|
|
- `enable_early_stopping`: ਜੇ ਸਕੋਰ ਛੋਟੇ ਸਮੇਂ ਵਿੱਚ ਸੁਧਾਰ ਨਹੀਂ ਕਰ ਰਿਹਾ, ਤਾਂ ਸ਼ੁਰੂਆਤੀ ਰੋਕਥਾਮ ਨੂੰ ਯੋਗ ਕਰੋ।
|
|
- `featurization`: ਕੀ ਫੀਚਰਾਈਜ਼ੇਸ਼ਨ ਕਦਮ ਆਪਣੇ ਆਪ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
|
|
- `debug_log`: ਡਿਬੱਗ ਜਾਣਕਾਰੀ ਲਿਖਣ ਲਈ ਲੌਗ ਫਾਈਲ।
|
|
|
|
```python
|
|
from azureml.train.automl import AutoMLConfig
|
|
|
|
project_folder = './aml-project'
|
|
|
|
automl_settings = {
|
|
"experiment_timeout_minutes": 20,
|
|
"max_concurrent_iterations": 3,
|
|
"primary_metric" : 'AUC_weighted'
|
|
}
|
|
|
|
automl_config = AutoMLConfig(compute_target=compute_target,
|
|
task = "classification",
|
|
training_data=dataset,
|
|
label_column_name="DEATH_EVENT",
|
|
path = project_folder,
|
|
enable_early_stopping= True,
|
|
featurization= 'auto',
|
|
debug_log = "automl_errors.log",
|
|
**automl_settings
|
|
)
|
|
```
|
|
|
|
ਹੁਣ ਜਦੋਂ ਤੁਹਾਡੀ ਕਨਫਿਗਰੇਸ਼ਨ ਸੈਟ ਹੈ, ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਕਦਮ ਤੁਹਾਡੇ ਕਲਸਟਰ ਆਕਾਰ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਘੰਟੇ ਤੱਕ ਲੈ ਸਕਦਾ ਹੈ।
|
|
|
|
```python
|
|
remote_run = experiment.submit(automl_config)
|
|
```
|
|
|
|
ਤੁਸੀਂ RunDetails ਵਿਜਟ ਚਲਾ ਸਕਦੇ ਹੋ ਤਾਂ ਜੋ ਵੱਖ-ਵੱਖ ਐਕਸਪੇਰੀਮੈਂਟ ਦਿਖਾਏ ਜਾ ਸਕਣ।
|
|
|
|
```python
|
|
from azureml.widgets import RunDetails
|
|
RunDetails(remote_run).show()
|
|
```
|
|
|
|
## 3. Azure ML SDK ਨਾਲ ਮਾਡਲ ਡਿਪਲੌਇਮੈਂਟ ਅਤੇ ਐਂਡਪੌਇੰਟ ਖਪਤ
|
|
|
|
### 3.1 ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਸੇਵ ਕਰਨਾ
|
|
|
|
`remote_run` [AutoMLRun](https://docs.microsoft.com/python/api/azureml-train-automl-client/azureml.train.automl.run.automlrun?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109) ਕਿਸਮ ਦਾ ਇੱਕ ਆਬਜੈਕਟ ਹੈ। ਇਸ ਆਬਜੈਕਟ ਵਿੱਚ `get_output
|
|
```python
|
|
response = aci_service.run(input_data=test_sample)
|
|
response
|
|
```
|
|
ਇਸ ਦਾ ਆਉਟਪੁਟ `'{"result": [false]}'` ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਅਸੀਂ ਜੋ ਮਰੀਜ਼ ਦੀ ਜਾਣਕਾਰੀ ਐਂਡਪੌਇੰਟ ਨੂੰ ਭੇਜੀ ਸੀ, ਉਸ ਨੇ `false` ਦੀ ਪੇਸ਼ਗੂਈ ਕੀਤੀ ਹੈ, ਜਿਸਦਾ ਅਰਥ ਹੈ ਕਿ ਇਸ ਵਿਅਕਤੀ ਨੂੰ ਦਿਲ ਦਾ ਦੌਰਾ ਪੈਣ ਦੀ ਸੰਭਾਵਨਾ ਨਹੀਂ ਹੈ।
|
|
|
|
ਵਧਾਈਆਂ! ਤੁਸੀਂ Azure ML SDK ਦੀ ਵਰਤੋਂ ਕਰਕੇ Azure ML 'ਤੇ ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਡਿਪਲੌਇਡ ਕਰਕੇ ਕਾਮਯਾਬੀ ਨਾਲ ਵਰਤਿਆ ਹੈ!
|
|
|
|
> **_NOTE:_** ਜਦੋਂ ਤੁਸੀਂ ਪ੍ਰੋਜੈਕਟ ਪੂਰਾ ਕਰ ਲਵੋ, ਤਾਂ ਸਾਰੇ ਸਰੋਤਾਂ ਨੂੰ ਮਿਟਾਉਣਾ ਨਾ ਭੁੱਲੋ।
|
|
|
|
## 🚀 ਚੁਣੌਤੀ
|
|
|
|
SDK ਰਾਹੀਂ ਹੋਰ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ, ਪਰ ਅਫਸੋਸ, ਅਸੀਂ ਇਸ ਪਾਠ ਵਿੱਚ ਸਾਰੀਆਂ ਨਹੀਂ ਦੇਖ ਸਕਦੇ। ਪਰ ਚੰਗੀ ਖ਼ਬਰ ਇਹ ਹੈ ਕਿ SDK ਡੌਕੂਮੈਂਟੇਸ਼ਨ ਨੂੰ ਸਮਝਣ ਦਾ ਤਰੀਕਾ ਸਿੱਖਣਾ ਤੁਹਾਨੂੰ ਆਪਣੇ ਆਪ ਬਹੁਤ ਅੱਗੇ ਲੈ ਜਾ ਸਕਦਾ ਹੈ। Azure ML SDK ਡੌਕੂਮੈਂਟੇਸ਼ਨ ਨੂੰ ਦੇਖੋ ਅਤੇ `Pipeline` ਕਲਾਸ ਨੂੰ ਲੱਭੋ ਜੋ ਤੁਹਾਨੂੰ ਪਾਈਪਲਾਈਨ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਪਾਈਪਲਾਈਨ ਕਦਮਾਂ ਦਾ ਇਕ ਸੰਗ੍ਰਹਿ ਹੈ ਜੋ ਵਰਕਫਲੋ ਵਜੋਂ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।
|
|
|
|
**ਸੁਝਾਅ:** [SDK ਡੌਕੂਮੈਂਟੇਸ਼ਨ](https://docs.microsoft.com/python/api/overview/azure/ml/?view=azure-ml-py?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109) 'ਤੇ ਜਾਓ ਅਤੇ ਖੋਜ ਬਾਰ ਵਿੱਚ "Pipeline" ਵਰਗੇ ਕੀਵਰਡ ਟਾਈਪ ਕਰੋ। ਤੁਹਾਨੂੰ ਖੋਜ ਦੇ ਨਤੀਜਿਆਂ ਵਿੱਚ `azureml.pipeline.core.Pipeline` ਕਲਾਸ ਮਿਲਣੀ ਚਾਹੀਦੀ ਹੈ।
|
|
|
|
## [ਪਾਠ-ਪ੍ਰਚਾਰ ਕਵਿਜ਼](https://purple-hill-04aebfb03.1.azurestaticapps.net/quiz/37)
|
|
|
|
## ਸਮੀਖਿਆ ਅਤੇ ਸਵੈ ਅਧਿਐਨ
|
|
|
|
ਇਸ ਪਾਠ ਵਿੱਚ, ਤੁਸੀਂ ਸਿੱਖਿਆ ਕਿ ਕਿਵੇਂ Azure ML SDK ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਲਾਉਡ ਵਿੱਚ ਦਿਲ ਦੇ ਦੌਰੇ ਦੇ ਖਤਰੇ ਦੀ ਪੇਸ਼ਗੂਈ ਕਰਨ ਲਈ ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ, ਡਿਪਲੌਇਡ ਅਤੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ [ਡੌਕੂਮੈਂਟੇਸ਼ਨ](https://docs.microsoft.com/python/api/overview/azure/ml/?view=azure-ml-py?WT.mc_id=academic-77958-bethanycheum&ocid=AID3041109) ਨੂੰ ਚੈੱਕ ਕਰੋ ਤਾਂ ਜੋ Azure ML SDK ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾ ਸਕੇ। Azure ML SDK ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਪਣਾ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ।
|
|
|
|
## ਅਸਾਈਨਮੈਂਟ
|
|
|
|
[Azure ML SDK ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਡਾਟਾ ਸਾਇੰਸ ਪ੍ਰੋਜੈਕਟ](assignment.md)
|
|
|
|
---
|
|
|
|
**ਅਸਵੀਕਾਰਨਾ**:
|
|
ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀ ਹੋਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁਚੱਜੇਪਣ ਹੋ ਸਕਦੇ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼, ਜੋ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਹੈ, ਨੂੰ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ। |