19 KiB

Raw Blame History Unescape Escape

Bulutta Veri Bilimi: "Azure ML SDK" Yöntemi


Bulutta Veri Bilimi: Azure ML SDK - Sketchnote by @nitya

İçindekiler:

Bulutta Veri Bilimi: "Azure ML SDK" Yöntemi

Ders Öncesi Test

1. Giriş

1.1 Azure ML SDK Nedir?

Veri bilimciler ve yapay zeka geliştiricileri, Azure Machine Learning SDK'sını kullanarak Azure Machine Learning hizmeti ile makine öğrenimi iş akışları oluşturur ve çalıştırır. Bu hizmetle Jupyter Notebooks, Visual Studio Code veya tercih ettiğiniz Python IDE gibi herhangi bir Python ortamında etkileşim kurabilirsiniz.

SDK'nın temel alanları şunlardır:

Makine öğrenimi deneylerinde kullanılan veri kümelerinin yaşam döngüsünü keşfetmek, hazırlamak ve yönetmek.
Makine öğrenimi deneylerinizi izlemek, günlük kaydı yapmak ve düzenlemek için bulut kaynaklarını yönetmek.
Modelleri yerel olarak veya GPU hızlandırmalı model eğitimi dahil bulut kaynaklarını kullanarak eğitmek.
Yapılandırma parametrelerini ve eğitim verilerini kabul eden otomatik makine öğrenimini kullanmak. Algoritmalar ve hiperparametre ayarları arasında otomatik olarak iterasyon yaparak tahmin çalıştırmak için en iyi modeli bulur.
Eğitilmiş modellerinizi RESTful hizmetlere dönüştürerek herhangi bir uygulamada tüketilebilecek web hizmetleri olarak dağıtmak.

Azure Machine Learning SDK hakkında daha fazla bilgi edinin

Önceki derste, düşük kod/yok kod yaklaşımıyla bir modelin nasıl eğitileceğini, dağıtılacağını ve tüketileceğini gördük. Kalp Yetmezliği veri kümesini kullanarak bir kalp yetmezliği tahmin modeli oluşturduk. Bu derste, aynı işlemi Azure Machine Learning SDK kullanarak yapacağız.

1.2 Kalp yetmezliği tahmin projesi ve veri kümesi tanıtımı

Kalp yetmezliği tahmin projesi ve veri kümesi tanıtımı için buraya göz atın.

2. Azure ML SDK ile Model Eğitimi

2.1 Azure ML çalışma alanı oluşturma

Basitlik açısından, bir Jupyter not defteri üzerinde çalışacağız. Bu, zaten bir Çalışma Alanı ve bir hesaplama örneğiniz olduğu anlamına gelir. Zaten bir Çalışma Alanınız varsa, doğrudan 2.3 Not Defteri Oluşturma bölümüne geçebilirsiniz.

Eğer yoksa, bir çalışma alanı oluşturmak için önceki dersteki 2.1 Azure ML çalışma alanı oluşturma bölümündeki talimatları takip edin.

2.2 Hesaplama örneği oluşturma

Daha önce oluşturduğumuz Azure ML çalışma alanına gidin ve hesaplama menüsünde mevcut hesaplama kaynaklarını göreceksiniz.

Bir Jupyter not defteri sağlamak için bir hesaplama örneği oluşturalım.

- Yeni düğmesine tıklayın.
Hesaplama örneğinize bir ad verin.
Seçeneklerinizi belirleyin: CPU veya GPU, VM boyutu ve çekirdek sayısı.
Oluştur düğmesine tıklayın.

Tebrikler, bir hesaplama örneği oluşturdunuz! Bu hesaplama örneğini Not Defteri Oluşturma bölümünde kullanacağız.

2.3 Veri Kümesini Yükleme

Eğer veri kümesini henüz yüklemediyseniz, önceki dersteki 2.3 Veri Kümesini Yükleme bölümüne bakın.

2.4 Not Defteri Oluşturma

NOT: Bir sonraki adım için ya sıfırdan yeni bir not defteri oluşturabilir ya da önceden oluşturduğumuz not defterini Azure ML Studio'ya yükleyebilirsiniz. Yüklemek için, "Notebook" menüsüne tıklayın ve not defterini yükleyin.

Not defterleri, veri bilimi sürecinin çok önemli bir parçasıdır. Keşifsel Veri Analizi (EDA) yapmak, bir hesaplama kümesine model eğitimi çağrısı yapmak veya bir çıkarım kümesine uç nokta dağıtımı çağrısı yapmak için kullanılabilirler.

Bir not defteri oluşturmak için, Jupyter not defteri örneğini çalıştıran bir hesaplama düğümüne ihtiyacımız var. Azure ML çalışma alanına geri dönün ve Hesaplama örneklerine tıklayın. Daha önce oluşturduğumuz hesaplama örneğini listede görmelisiniz.

Uygulamalar bölümünde Jupyter seçeneğine tıklayın.
"Evet, anladım" kutusunu işaretleyin ve Devam düğmesine tıklayın.
Bu, aşağıdaki gibi Jupyter not defteri örneğinizle yeni bir tarayıcı sekmesi açmalıdır. Yeni bir not defteri oluşturmak için "Yeni" düğmesine tıklayın.

Artık bir not defterimiz olduğuna göre, Azure ML SDK ile model eğitimine başlayabiliriz.

2.5 Model Eğitimi

Öncelikle, herhangi bir şüpheniz varsa, Azure ML SDK belgelerine başvurun. Bu derste göreceğimiz modülleri anlamak için gerekli tüm bilgileri içerir.

2.5.1 Çalışma alanı, deney, hesaplama kümesi ve veri kümesi ayarları

Aşağıdaki kodu kullanarak yapılandırma dosyasından workspace yüklemeniz gerekiyor:

from azureml.core import Workspace
ws = Workspace.from_config()

Bu, çalışma alanını temsil eden Workspace türünde bir nesne döndürür. Ardından, aşağıdaki kodu kullanarak bir experiment oluşturmanız gerekiyor:

from azureml.core import Experiment
experiment_name = 'aml-experiment'
experiment = Experiment(ws, experiment_name)

Bir çalışma alanından deney almak veya oluşturmak için, deney adını kullanarak istekte bulunursunuz. Deney adı 3-36 karakter arasında olmalı, bir harf veya sayı ile başlamalı ve yalnızca harfler, sayılar, alt çizgiler ve tireler içermelidir. Çalışma alanında deney bulunmazsa, yeni bir deney oluşturulur.

Şimdi, aşağıdaki kodu kullanarak eğitim için bir hesaplama kümesi oluşturmanız gerekiyor. Bu adım birkaç dakika sürebilir.

from azureml.core.compute import AmlCompute

aml_name = "heart-f-cluster"
try:
    aml_compute = AmlCompute(ws, aml_name)
    print('Found existing AML compute context.')
except:
    print('Creating new AML compute context.')
    aml_config = AmlCompute.provisioning_configuration(vm_size = "Standard_D2_v2", min_nodes=1, max_nodes=3)
    aml_compute = AmlCompute.create(ws, name = aml_name, provisioning_configuration = aml_config)
    aml_compute.wait_for_completion(show_output = True)

cts = ws.compute_targets
compute_target = cts[aml_name]

Veri kümesini çalışma alanından veri kümesi adını kullanarak şu şekilde alabilirsiniz:

dataset = ws.datasets['heart-failure-records']
df = dataset.to_pandas_dataframe()
df.describe()

2.5.2 AutoML Yapılandırması ve Eğitim

AutoML yapılandırmasını ayarlamak için AutoMLConfig sınıfını kullanın.

Belgelerde açıklandığı gibi, oynayabileceğiniz birçok parametre vardır. Bu proje için aşağıdaki parametreleri kullanacağız:

experiment_timeout_minutes: Deneyin otomatik olarak durdurulmadan ve sonuçların otomatik olarak kullanılabilir hale getirilmeden önce çalışmasına izin verilen maksimum süre (dakika cinsinden).
max_concurrent_iterations: Deney için izin verilen maksimum eş zamanlı eğitim iterasyonu sayısı.
primary_metric: Deneyin durumunu belirlemek için kullanılan birincil metrik.
compute_target: Otomatik Makine Öğrenimi deneyini çalıştırmak için kullanılan Azure Machine Learning hesaplama hedefi.
task: Çalıştırılacak görev türü. 'classification', 'regression' veya 'forecasting' değerleri, çözülmesi gereken otomatik ML problem türüne bağlı olarak kullanılabilir.
training_data: Deneyde kullanılacak eğitim verileri. Hem eğitim özelliklerini hem de bir etiket sütununu (isteğe bağlı olarak bir örnek ağırlıkları sütunu) içermelidir.
label_column_name: Etiket sütununun adı.
path: Azure Machine Learning proje klasörünün tam yolu.
enable_early_stopping: Kısa vadede skor iyileşmiyorsa erken sonlandırmayı etkinleştirip etkinleştirmeyeceğinizi belirtir.
featurization: Özellik oluşturma adımının otomatik olarak mı yapılacağını, yoksa özelleştirilmiş bir özellik oluşturmanın mı kullanılacağını belirtir.
debug_log: Hata ayıklama bilgilerini yazmak için kullanılan günlük dosyası.

from azureml.train.automl import AutoMLConfig

project_folder = './aml-project'

automl_settings = {
    "experiment_timeout_minutes": 20,
    "max_concurrent_iterations": 3,
    "primary_metric" : 'AUC_weighted'
}

automl_config = AutoMLConfig(compute_target=compute_target,
                             task = "classification",
                             training_data=dataset,
                             label_column_name="DEATH_EVENT",
                             path = project_folder,  
                             enable_early_stopping= True,
                             featurization= 'auto',
                             debug_log = "automl_errors.log",
                             **automl_settings
                            )

Artık yapılandırmanız ayarlandığına göre, aşağıdaki kodu kullanarak modeli eğitebilirsiniz. Bu adım, küme boyutunuza bağlı olarak bir saate kadar sürebilir.

remote_run = experiment.submit(automl_config)

Farklı deneyleri göstermek için RunDetails widget'ını çalıştırabilirsiniz.

from azureml.widgets import RunDetails
RunDetails(remote_run).show()

3. Azure ML SDK ile Model Dağıtımı ve Uç Nokta Tüketimi

3.1 En iyi modeli kaydetme

remote_run, AutoMLRun türünde bir nesnedir. Bu nesne, en iyi çalışmayı ve karşılık gelen uyarlanmış modeli döndüren get_output() yöntemini içerir.

best_run, fitted_model = remote_run.get_output()

En iyi model için kullanılan parametreleri sadece fitted_model'i yazdırarak görebilir ve en iyi modelin özelliklerini get_properties() yöntemiyle inceleyebilirsiniz.

best_run.get_properties()

Şimdi modeli register_model yöntemiyle kaydedin.

model_name = best_run.properties['model_name']
script_file_name = 'inference/score.py'
best_run.download_file('outputs/scoring_file_v_1_0_0.py', 'inference/score.py')
description = "aml heart failure project sdk"
model = best_run.register_model(model_name = model_name,
                                model_path = './outputs/',
                                description = description,
                                tags = None)

3.2 Model Dağıtımı

En iyi model kaydedildikten sonra, InferenceConfig sınıfını kullanarak modeli dağıtabiliriz. InferenceConfig, dağıtım için kullanılan özel bir ortamın yapılandırma ayarlarını temsil eder. AciWebservice sınıfı, Azure Container Instances üzerinde bir web hizmeti uç noktası olarak dağıtılmış bir makine öğrenimi modelini temsil eder. Dağıtılmış hizmet, bir model, betik ve ilişkili dosyalardan oluşturulur. Ortaya çıkan web hizmeti, bir REST API ile yük dengelemeli bir HTTP uç noktasıdır. Bu API'ye veri gönderebilir ve model tarafından döndürülen tahmini alabilirsiniz.

Model, deploy yöntemiyle dağıtılır.

from azureml.core.model import InferenceConfig, Model
from azureml.core.webservice import AciWebservice

inference_config = InferenceConfig(entry_script=script_file_name, environment=best_run.get_environment())

aciconfig = AciWebservice.deploy_configuration(cpu_cores = 1,
                                               memory_gb = 1,
                                               tags = {'type': "automl-heart-failure-prediction"},
                                               description = 'Sample service for AutoML Heart Failure Prediction')

aci_service_name = 'automl-hf-sdk'
aci_service = Model.deploy(ws, aci_service_name, [model], inference_config, aciconfig)
aci_service.wait_for_deployment(True)
print(aci_service.state)

Bu adım birkaç dakika sürebilir.

3.3 Uç Nokta Tüketimi

Uç noktanızı bir örnek giriş oluşturarak tüketebilirsiniz:

data = {
    "data":
    [
        {
            'age': "60",
            'anaemia': "false",
            'creatinine_phosphokinase': "500",
            'diabetes': "false",
            'ejection_fraction': "38",
            'high_blood_pressure': "false",
            'platelets': "260000",
            'serum_creatinine': "1.40",
            'serum_sodium': "137",
            'sex': "false",
            'smoking': "false",
            'time': "130",
        },
    ],
}

test_sample = str.encode(json.dumps(data))

Ve ardından bu girişi tahmin için modelinize gönderebilirsiniz:

response = aci_service.run(input_data=test_sample)
response

Bu, '{"result": [false]}' çıktısını vermelidir. Bu, uç noktaya gönderdiğimiz hasta girdisinin false tahminini oluşturduğu anlamına gelir, yani bu kişinin kalp krizi geçirme olasılığı düşük.

Tebrikler! Azure ML SDK ile Azure ML üzerinde eğitilmiş ve dağıtılmış modeli başarıyla kullandınız!

NOT: Projeyi tamamladıktan sonra tüm kaynakları silmeyi unutmayın.

🚀 Zorluk

SDK ile yapabileceğiniz birçok şey var, ne yazık ki bu ders kapsamında hepsini inceleyemiyoruz. Ama iyi haber, SDK dokümantasyonunu nasıl hızlıca gözden geçireceğinizi öğrenmek, kendi başınıza uzun bir yol kat etmenizi sağlayabilir. Azure ML SDK dokümantasyonuna göz atın ve size iş akışı olarak çalıştırılabilecek adımlar koleksiyonu oluşturmaya olanak tanıyan Pipeline sınıfını bulun.

İPUCU: SDK dokümantasyonu sayfasına gidin ve arama çubuğuna "Pipeline" gibi anahtar kelimeler yazın. Arama sonuçlarında azureml.pipeline.core.Pipeline sınıfını görmelisiniz.

Ders sonrası sınav

Gözden Geçirme ve Kendi Kendine Çalışma

Bu derste, Azure ML SDK ile bulutta kalp yetmezliği riskini tahmin eden bir modeli nasıl eğiteceğinizi, dağıtacağınızı ve kullanacağınızı öğrendiniz. Azure ML SDK hakkında daha fazla bilgi için bu dokümantasyona göz atın. Azure ML SDK ile kendi modelinizi oluşturmaya çalışın.

Ödev

Azure ML SDK kullanarak Veri Bilimi projesi

Feragatname:
Bu belge, AI çeviri hizmeti Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlık içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalar için sorumluluk kabul etmiyoruz.

19 KiB Raw Blame History Unescape Escape