Data-Science-For-Beginners/translations/my/4-Data-Science-Lifecycle/14-Introduction

ဒေတာသိပ္ပံ၏ အသက်တာစဉ်ကို မိတ်ဆက်ခြင်း

ဒေတာသိပ္ပံ၏ အသက်တာစဉ်ကို မိတ်ဆက်ခြင်း - Sketchnote by @nitya

Pre-Lecture Quiz

ဒီအချိန်မှာ သင်ဟာ ဒေတာသိပ္ပံဟာ တစ်ခုတည်းသော လုပ်ငန်းစဉ်ဖြစ်တယ်ဆိုတာ သိရှိလာပြီးဖြစ်နိုင်ပါတယ်။ ဒီလုပ်ငန်းစဉ်ကို အောက်ပါ ၅ အဆင့်အလိုက် ခွဲခြားနိုင်ပါတယ်-

• ဒေတာရယူခြင်း
• ဒေတာကို အလုပ်လုပ်ခြင်း
• ဒေတာကို ခွဲခြမ်းစိတ်ဖြာခြင်း
• ဆက်သွယ်ပေးခြင်း
• ထိန်းသိမ်းခြင်း

ဒီသင်ခန်းစာမှာ အသက်တာစဉ်ရဲ့ အစိတ်အပိုင်း ၃ ခုကို အဓိကထားပြီး လေ့လာပါမယ်- ဒေတာရယူခြင်း၊ အလုပ်လုပ်ခြင်း၊ ထိန်းသိမ်းခြင်း။

Berkeley School of Information မှဓာတ်ပုံ

ဒေတာရယူခြင်း

အသက်တာစဉ်ရဲ့ ပထမအဆင့်ဟာ အရေးကြီးဆုံးဖြစ်ပြီး နောက်အဆင့်တွေဟာ ဒီအဆင့်ပေါ်မှာ မူတည်ပါတယ်။ ဒေတာရယူခြင်းနဲ့ ရည်ရွယ်ချက်၊ ပြဿနာတွေကို သတ်မှတ်ခြင်းဟာ တစ်ခုတည်းသော အဆင့်အဖြစ် ပေါင်းစပ်ထားပါတယ်။
ပရောဂျက်ရဲ့ ရည်မှန်းချက်တွေကို သတ်မှတ်ဖို့အတွက် ပြဿနာနဲ့ မေးခွန်းကို နက်နက်ရှိုင်းရှိုင်း နားလည်ဖို့ လိုအပ်ပါတယ်။ ပထမဦးဆုံး ကျွန်တော်တို့အနေနဲ့ ပြဿနာကို ဖြေရှင်းဖို့ လိုအပ်တဲ့သူတွေကို ရှာဖွေပြီး ရယူဖို့ လိုအပ်ပါတယ်။ ဒါတွေဟာ စီးပွားရေးလုပ်ငန်းရဲ့ အကျိုးဆောင်တွေ ဖြစ်နိုင်ပြီး ပရောဂျက်ရဲ့ အဓိက အထောက်အပံ့ပေးသူတွေ ဖြစ်နိုင်ပါတယ်။ သူတို့က ဒီပရောဂျက်က ဘယ်သူ/ဘာကို အကျိုးရှိစေမလဲ၊ ဘာကြောင့် လိုအပ်လဲဆိုတာကို သတ်မှတ်ဖို့ ကူညီနိုင်ပါတယ်။ ရည်မှန်းချက်တစ်ခုဟာ တိကျပြီး တိုင်းတာနိုင်ဖို့ လိုအပ်ပါတယ်။

ဒေတာသိပ္ပံပညာရှင်တွေ မေးနိုင်တဲ့ မေးခွန်းတွေ:

• ဒီပြဿနာကို အရင်က လေ့လာဖူးလား? ဘာတွေ ရှာဖွေတွေ့ရှိခဲ့လဲ?
• ရည်ရွယ်ချက်နဲ့ ရည်မှန်းချက်ကို ပါဝင်သူအားလုံး နားလည်ထားလား?
• မရေရာမှုရှိလား? ဘယ်လို လျှော့ချနိုင်မလဲ?
• အကန့်အသတ်တွေ ဘာတွေလဲ?
• နောက်ဆုံးရလဒ်ဟာ ဘယ်လိုပုံစံရှိနိုင်မလဲ?
• အရင်းအမြစ် (အချိန်၊ လူတွေ၊ ကွန်ပျူတာ) ဘယ်လောက် ရရှိနိုင်လဲ?

နောက်တစ်ခုက ရည်မှန်းချက်တွေကို ရောက်ရှိဖို့ လိုအပ်တဲ့ ဒေတာကို ရှာဖွေ၊ စုဆောင်းပြီး စူးစမ်းဖို့ ဖြစ်ပါတယ်။ ဒေတာရယူတဲ့ အဆင့်မှာ ဒေတာရဲ့ အရေအတွက်နဲ့ အရည်အသွေးကို သုံးသပ်ဖို့ လိုအပ်ပါတယ်။ ဒေတာရရှိမှုဟာ ရည်မှန်းချက်ကို ရောက်ရှိဖို့ အထောက်အကူဖြစ်မလားဆိုတာကို အတည်ပြုဖို့ ဒေတာကို စူးစမ်းဖို့ လိုအပ်ပါတယ်။

ဒေတာအပေါ် ဒေတာသိပ္ပံပညာရှင်တွေ မေးနိုင်တဲ့ မေးခွန်းတွေ:

• ကျွန်တော့်မှာ ရရှိပြီးသား ဒေတာတွေ ဘာတွေလဲ?
• ဒီဒေတာကို ဘယ်သူပိုင်ထားလဲ?
• ကိုယ်ရေးကိုယ်တာအချက်အလက်ဆိုင်ရာ စိုးရိမ်မှုတွေ ရှိလား?
• ဒီပြဿနာကို ဖြေရှင်းဖို့ ဒေတာလုံလောက်လား?
• ဒီပြဿနာအတွက် ဒေတာရဲ့ အရည်အသွေးလုံလောက်လား?
• ဒေတာကနေ ထပ်မံသိရှိလာတဲ့ အချက်အလက်တွေကြောင့် ရည်မှန်းချက်တွေကို ပြောင်းလဲသင့်လား?

ဒေတာကို အလုပ်လုပ်ခြင်း

အသက်တာစဉ်ရဲ့ ဒေတာကို အလုပ်လုပ်တဲ့ အဆင့်ဟာ ဒေတာထဲက ပုံစံတွေကို ရှာဖွေခြင်းနဲ့ မော်ဒယ်တည်ဆောက်ခြင်းကို အဓိကထားပါတယ်။ ဒီအဆင့်မှာ အသုံးပြုတဲ့ နည်းလမ်းတွေဟာ ဒေတာထဲက ပုံစံတွေကို ရှာဖွေဖို့ စာရင်းဇယားနည်းလမ်းတွေကို အသုံးပြုပါတယ်။ ဒေတာအများကြီးနဲ့ လူသားတစ်ဦးအနေနဲ့ လုပ်ဆောင်ဖို့ အလွန်ခက်ခဲတဲ့ အလုပ်တွေကို ကွန်ပျူတာတွေက အမြန်ဆုံးလုပ်ဆောင်ပေးနိုင်ပါတယ်။ ဒီအဆင့်မှာ ဒေတာသိပ္ပံနဲ့ စက်ရုပ်သင်ယူမှု (Machine Learning) တစ်ခုတည်းဖြစ်လာပါတယ်။ စက်ရုပ်သင်ယူမှုဟာ ဒေတာကို နားလည်ဖို့ မော်ဒယ်တည်ဆောက်တဲ့ လုပ်ငန်းစဉ်ဖြစ်ပါတယ်။ မော်ဒယ်တွေဟာ ဒေတာထဲက အပြောင်းအလဲတွေကို ကိုယ်စားပြုပြီး ရလဒ်ကို ခန့်မှန်းဖို့ ကူညီပေးပါတယ်။

ဒီအဆင့်မှာ အသုံးပြုတဲ့ နည်းလမ်းတွေကို ML for Beginners သင်ခန်းစာမှာ လေ့လာနိုင်ပါတယ်။ အောက်ပါလင့်ခ်တွေကို နှိပ်ပြီး ပိုမိုသိရှိပါ:

• Classification: ဒေတာကို အမျိုးအစားအလိုက် စီစဉ်ခြင်း။
• Clustering: ဒေတာကို ဆင်တူတဲ့ အုပ်စုတွေထဲမှာ စုပေါင်းခြင်း။
• Regression: အပြောင်းအလဲတွေကြား ဆက်နွယ်မှုကို သတ်မှတ်ပြီး တန်ဖိုးတွေကို ခန့်မှန်းခြင်း။

ထိန်းသိမ်းခြင်း

အသက်တာစဉ်ရဲ့ ပုံစံမှာ Maintenance (ထိန်းသိမ်းခြင်း) ဟာ ဒေတာရယူခြင်းနဲ့ ဒေတာကို အလုပ်လုပ်ခြင်းကြားမှာ ရှိနေပါတယ်။ Maintenance ဟာ ပရောဂျက်တစ်ခုရဲ့ လုပ်ငန်းစဉ်တစ်လျှောက်လုံးမှာ ဒေတာကို စီမံခန့်ခွဲခြင်း၊ သိမ်းဆည်းခြင်းနဲ့ လုံခြုံရေးကို အဆက်မပြတ်လုပ်ဆောင်ရမယ့် လုပ်ငန်းစဉ်ဖြစ်ပါတယ်။

ဒေတာကို သိမ်းဆည်းခြင်း

ဒေတာကို ဘယ်လိုနဲ့ ဘယ်မှာ သိမ်းဆည်းမလဲဆိုတာက ဒေတာရဲ့ သိမ်းဆည်းမှုကုန်ကျစရိတ်နဲ့ ဒေတာကို အမြန်ဆုံးရယူနိုင်မှုကို သက်ရောက်စေပါတယ်။ ဒီဆုံးဖြတ်ချက်တွေဟာ ဒေတာသိပ္ပံပညာရှင်တစ်ဦးတည်းက မလုပ်ဆောင်နိုင်ပေမယ့် ဒေတာကို ဘယ်လိုနဲ့ အလုပ်လုပ်မလဲဆိုတာကို သိမ်းဆည်းမှုနည်းလမ်းပေါ်မူတည်ပြီး ရွေးချယ်ရနိုင်ပါတယ်။

On premise vs off premise vs public or private cloud

On premise ဆိုတာက ကိုယ့်ပိုင်ပစ္စည်းပေါ်မှာ ဒေတာကို သိမ်းဆည်းခြင်းဖြစ်ပြီး၊ off premise ဆိုတာက ကိုယ့်ပိုင်ပစ္စည်းမဟုတ်တဲ့ data center တွေကို အားထားခြင်းဖြစ်ပါတယ်။ Public cloud ဟာ ဒေတာကို သိမ်းဆည်းဖို့ လူကြိုက်များတဲ့ ရွေးချယ်မှုဖြစ်ပြီး၊ ဒေတာကို ဘယ်မှာ သိမ်းဆည်းထားလဲဆိုတာကို မသိရပါဘူး။ Public cloud ဟာ အခြေခံပစ္စည်းတွေကို အားလုံးအတူတူ အသုံးပြုတဲ့ နည်းလမ်းဖြစ်ပြီး၊ Private cloud ဟာ လုံခြုံရေးမူဝါဒတွေကြောင့် ကိုယ့်ပိုင်ပစ္စည်းပေါ်မှာ ဒေတာကို သိမ်းဆည်းဖို့ လိုအပ်တဲ့ အဖွဲ့အစည်းတွေ အတွက် ရည်ရွယ်ပါတယ်။ Cloud-based ဒေတာနဲ့ ပတ်သက်တဲ့ သင်ခန်းစာတွေကို နောက်ပိုင်းသင်ခန်းစာတွေ မှာ လေ့လာနိုင်ပါတယ်။

Cold vs hot data

မော်ဒယ်တွေကို လေ့ကျင့်ဖို့ ဒေတာပိုမိုလိုအပ်နိုင်ပါတယ်။ မော်ဒယ်ကို ပြည့်စုံအောင်လုပ်ပြီးတဲ့နောက်မှာလည်း မော်ဒယ်ရဲ့ ရည်ရွယ်ချက်အတွက် ဒေတာအသစ်တွေ ရောက်ရှိလာနိုင်ပါတယ်။ ဒေတာကို သိမ်းဆည်းခြင်းနဲ့ ရယူခြင်းအတွက် ကုန်ကျစရိတ်တွေ တိုးလာနိုင်ပါတယ်။ အလွန်ရှားရှားသုံးတဲ့ ဒေတာ (cold data) ကို အမြဲအသုံးပြုတဲ့ ဒေတာ (hot data) နဲ့ ခွဲခြားထားခြင်းက hardware နဲ့ software ဝန်ဆောင်မှုတွေကို အသုံးပြုပြီး သိမ်းဆည်းမှုကုန်ကျစရိတ်ကို လျှော့ချနိုင်ပါတယ်။ Cold data ကို ရယူဖို့ လိုအပ်လာရင် Hot data ထက် နည်းနည်းပိုကြာနိုင်ပါတယ်။

ဒေတာကို စီမံခန့်ခွဲခြင်း

ဒေတာနဲ့ အလုပ်လုပ်တဲ့အခါမှာ ဒေတာတစ်ချို့ကို သန့်စင်ဖို့ လိုအပ်နိုင်ပါတယ်။ ဒေတာပြင်ဆင်ခြင်း သင်ခန်းစာမှာ လေ့လာထားတဲ့ နည်းလမ်းတွေကို အသုံးပြုပြီး မော်ဒယ်တည်ဆောက်ဖို့ လိုအပ်ပါတယ်။ ဒေတာအသစ်ရောက်လာတဲ့အခါမှာလည်း အရည်အသွေးကို တူညီအောင် ထိန်းသိမ်းဖို့ ဒီနည်းလမ်းတွေကို အသုံးပြုရပါမယ်။ Automated tool တွေကို အသုံးပြုပြီး ဒေတာကို သန့်စင်ခြင်း၊ စုပေါင်းခြင်းနဲ့ ဖိနှိပ်ခြင်းလုပ်ငန်းစဉ်တွေကို အလိုအလျောက်လုပ်ဆောင်နိုင်ပါတယ်။ Azure Data Factory ဟာ ဒီ tool တွေထဲက တစ်ခုဖြစ်ပါတယ်။

ဒေတာကို လုံခြုံစွာ သိမ်းဆည်းခြင်း

ဒေတာကို လုံခြုံစွာ သိမ်းဆည်းခြင်းရဲ့ အဓိကရည်ရွယ်ချက်က ဒေတာကို ဘယ်လိုရယူပြီး ဘယ်လိုအသုံးပြုမလဲဆိုတာကို အလုပ်လုပ်သူတွေ ထိန်းချုပ်နိုင်စေဖို့ ဖြစ်ပါတယ်။ ဒေတာကို လုံခြုံစွာ သိမ်းဆည်းဖို့အတွက် ဒေတာကို လိုအပ်သူတွေကိုသာ ခွင့်ပြုခြင်း၊ ဒေသခံဥပဒေတွေကို လိုက်နာခြင်းနဲ့ ကျင့်ဝတ်သင်ခန်းစာ မှာ လေ့လာထားတဲ့ ကျင့်ဝတ်စံနှုန်းတွေကို လိုက်နာခြင်းတို့ ပါဝင်ပါတယ်။

လုံခြုံရေးအတွက် အဖွဲ့တစ်ခုက လုပ်ဆောင်နိုင်တဲ့ အရာတွေ:

• ဒေတာအားလုံးကို စကားဝှက်ထားရှိမှုကို အတည်ပြုပါ
• ဖောက်သည်တွေကို သူတို့ရဲ့ ဒေတာကို ဘယ်လိုအသုံးပြုမလဲဆိုတာကို အကြောင်းကြားပါ
• ပရောဂျက်ကနေ ထွက်သွားတဲ့သူတွေကို ဒေတာရယူခွင့်ကို ဖယ်ရှားပါ
• ပရောဂျက်အဖွဲ့ဝင်တစ်ချို့ကိုသာ ဒေတာကို ပြောင်းလဲခွင့်ပေးပါ

🚀 စိန်ခေါ်မှု

Data Science Lifecycle ဟာ အမျိုးမျိုးသော ဗားရှင်းတွေ ရှိပြီး၊ အဆင့်နဲ့ အမည်တွေက ကွဲပြားနိုင်ပေမယ့် ဒီသင်ခန်းစာမှာ ဖော်ပြထားတဲ့ လုပ်ငန်းစဉ်တွေကို ပါဝင်ထားပါတယ်။

Team Data Science Process lifecycle နဲ့ Cross-industry standard process for data mining ကို လေ့လာပြီး၊ အတူတူရှိတဲ့ အချက် ၃ ခုနဲ့ ကွဲပြားတဲ့ အချက် ၃ ခုကို ဖော်ပြပါ။

Team Data Science Process (TDSP)	Cross-industry standard process for data mining (CRISP-DM)
Microsoft မှပုံ	Data Science Process Alliance မှပုံ

Post-lecture quiz

ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း

Data Science Lifecycle ကို အသုံးချတဲ့အခါမှာ အမျိုးမျိုးသော အခန်းကဏ္ဍနဲ့ တာဝန်တွေ ပါဝင်ပြီး၊ တစ်ချို့က အဆင့်တစ်ခုချင်းစီရဲ့ အပိုင်းအခြားတွေကို အဓိကထားလုပ်ဆောင်နိုင်ပါတယ်။ Team Data Science Process ဟာ ပရောဂျက်တစ်ခုမှာ ပါဝင်နိုင်တဲ့ အခန်းကဏ္ဍနဲ့ တာဝန်တွေကို ရှင်းလင်းဖော်ပြထားတဲ့ အရင်းအမြစ်တွေကို ပေးထားပါတယ်။

• Team Data Science Process roles and tasks
• Execute data science tasks: exploration, modeling, and deployment

အိမ်စာ

Assessing a Dataset

---

အကြောင်းကြားချက်:
ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု Co-op Translator ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူရင်းဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားယူမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။