15 KiB
ဒေတာသိပ္ပံ၏ အသက်တာစဉ်: အနက်ဖွင့်ခြင်း
 |
|---|
| ဒေတာသိပ္ပံ၏ အသက်တာစဉ်: အနက်ဖွင့်ခြင်း - Sketchnote by @nitya |
မိန့်ခွန်းမတိုင်မီ စမ်းမေးခွန်း
မိန့်ခွန်းမတိုင်မီ စမ်းမေးခွန်း
ဒေတာအသက်တာစဉ်တွင် အနက်ဖွင့်ခြင်းသည် သတ်မှတ်ထားသောမေးခွန်းများကို ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း သို့မဟုတ် တစ်ခုခုသောပြဿနာကို ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း အတည်ပြုရန်အရေးပါသည်။ ဒီအဆင့်မှာ မော်ဒယ်တစ်ခုသည် မေးခွန်းများနှင့် ပြဿနာများကို မှန်ကန်စွာ ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း အတည်ပြုရန်လည်း အာရုံစိုက်နိုင်သည်။ ဒီသင်ခန်းစာမှာ Exploratory Data Analysis (EDA) အပေါ် အာရုံစိုက်ထားပြီး ဒေတာအတွင်းရှိ အင်္ဂါရပ်များနှင့် ဆက်စပ်မှုများကို သတ်မှတ်ရန်နည်းလမ်းများကို လေ့လာမည်ဖြစ်သည်။ ဒေတာကို မော်ဒယ်တစ်ခုအတွက် ပြင်ဆင်ရန်လည်း အသုံးပြုနိုင်သည်။
Python နှင့် Pandas library ကို အသုံးပြု၍ ဒီနည်းလမ်းများကို ဘယ်လိုအသုံးချနိုင်သည်ကို ပြသရန် Kaggle မှ အတုဒေတာစုစည်းမှုကို အသုံးပြုမည်ဖြစ်သည်။ ဒီဒေတာစုစည်းမှုမှာ အီးမေးလ်များတွင် တွေ့ရသော စကားလုံးများ၏ အရေအတွက်ကို ပါဝင်ပြီး အီးမေးလ်များ၏ အရင်းအမြစ်များကို မသိနိုင်ပါ။ ဒီ directory ထဲရှိ notebook ကို အသုံးပြု၍ လိုက်လျောပါ။
Exploratory Data Analysis
အသက်တာစဉ်၏ capture အဆင့်မှာ ဒေတာကို ရယူခြင်းနှင့် ပြဿနာများနှင့် မေးခွန်းများကို သတ်မှတ်ခြင်းဖြစ်သည်။ ဒေတာသည် နောက်ဆုံးရလဒ်ကို ပံ့ပိုးနိုင်မည်ဖြစ်ကြောင်း ဘယ်လိုသိနိုင်မလဲ?
ဒေတာသိပ္ပံပညာရှင်တစ်ဦးသည် ဒေတာရရှိသောအခါ အောက်ပါမေးခွန်းများကို မေးနိုင်သည်-
- ဒီပြဿနာကို ဖြေရှင်းရန် ဒေတာလုံလောက်ပါသလား?
- ဒီပြဿနာအတွက် ဒေတာ၏ အရည်အသွေးလက်ခံနိုင်ဖွယ်ရှိပါသလား?
- ဒီဒေတာမှ ထပ်မံသောအချက်အလက်များကို ရှာဖွေတွေ့ရှိပါက ရည်မှန်းချက်များကို ပြောင်းလဲသတ်မှတ်သင့်ပါသလား?
Exploratory Data Analysis သည် ဒေတာကို နားလည်ရန် လုပ်ဆောင်မှုဖြစ်ပြီး အထက်ပါမေးခွန်းများကို ဖြေရှင်းနိုင်သည်။ ဒေတာစုစည်းမှုနှင့် အလုပ်လုပ်ရာတွင် ရှိသော စိန်ခေါ်မှုများကိုလည်း သတ်မှတ်နိုင်သည်။ ဒီနည်းလမ်းများကို ဘယ်လိုအသုံးချရမည်ကို အာရုံစိုက်ကြည့်ရအောင်။
ဒေတာပရိုဖိုင်လုပ်ခြင်း၊ ဖော်ပြချက်ဆိုင်ရာ သင်္ချာများနှင့် Pandas
ဒီပြဿနာကို ဖြေရှင်းရန် လုံလောက်သော ဒေတာရှိမရှိကို ဘယ်လိုအကဲဖြတ်ရမလဲ? ဒေတာပရိုဖိုင်လုပ်ခြင်းသည် ဖော်ပြချက်ဆိုင်ရာ သင်္ချာနည်းလမ်းများကို အသုံးပြု၍ ဒေတာစုစည်းမှုအကြောင်း အထွေထွေသတင်းအချက်အလက်များကို စုစည်းနိုင်သည်။ ဒေတာပရိုဖိုင်လုပ်ခြင်းသည် ကျွန်ုပ်တို့တွင် ရရှိနိုင်သောအရာများကို နားလည်စေပြီး ဖော်ပြချက်ဆိုင်ရာ သင်္ချာများသည် ရရှိနိုင်သောအရာများ၏ အရေအတွက်ကို နားလည်စေသည်။
ယခင်သင်ခန်းစာများအနည်းငယ်တွင် Pandas ကို အသုံးပြု၍ describe() function ဖြင့် ဖော်ပြချက်ဆိုင်ရာ သင်္ချာများကို ပေးခဲ့သည်။ ဒါဟာ အရေအတွက်၊ အများဆုံးနှင့် အနည်းဆုံးတန်ဖိုးများ၊ ပျမ်းမျှတန်ဖိုး၊ စံချိန်နှုန်းနှင့် quantiles ကို ရှင်းလင်းပေးသည်။ describe() function ကဲ့သို့သော ဖော်ပြချက်ဆိုင်ရာ သင်္ချာများကို အသုံးပြုခြင်းသည် သင်မှာ ဘယ်လောက်ရှိပြီး ထပ်မံလိုအပ်မလားကို အကဲဖြတ်နိုင်စေသည်။
Sampling နှင့် Querying
ဒေတာစုစည်းမှုကြီးတစ်ခုကို အားလုံးကို လေ့လာခြင်းသည် အချိန်အလွန်ကြာပြီး ကွန်ပျူတာကို အလုပ်လုပ်စေသင့်သော တာဝန်တစ်ခုဖြစ်သည်။ သို့သော် sampling သည် ဒေတာကို နားလည်ရန် အထောက်အကူဖြစ်ပြီး ဒေတာစုစည်းမှုတွင် ဘာတွေပါဝင်ပြီး ဘာကို ကိုယ်စားပြုသည်ကို ပိုမိုနားလည်စေသည်။ sample ရရှိပါက သင် probability နှင့် statistics ကို အသုံးပြု၍ ဒေတာအကြောင်း အထွေထွေသုံးသပ်ချက်များကို ရယူနိုင်သည်။ ဒေတာကို ဘယ်လောက် sample လုပ်သင့်သည်ဆိုတာ သတ်မှတ်ချက်မရှိသော်လည်း sample လုပ်သော ဒေတာများများရှိလေ၊ ဒေတာအကြောင်း အတိအကျသုံးသပ်ချက်များကို ပိုမိုရနိုင်သည်။
Pandas တွင် sample() function ရှိပြီး သင်လိုချင်သော random samples အရေအတွက်ကို argument အဖြစ် ပေးနိုင်သည်။
ဒေတာကို အထွေထွေ query လုပ်ခြင်းသည် သင်မှာရှိသော အထွေထွေမေးခွန်းများနှင့် သီအိုရီများကို ဖြေရှင်းနိုင်သည်။ sampling နှင့် ဆန့်ကျင်ဘက်ဖြစ်ပြီး query လုပ်ခြင်းသည် သင်မှာရှိသော မေးခွန်းများအပေါ် အာရုံစိုက်ပြီး ဒေတာ၏ အထူးအစိတ်အပိုင်းများကို ထိန်းချုပ်နိုင်စေသည်။
Pandas library တွင် query() function ရှိပြီး သင် column များကို ရွေးချယ်ပြီး row များမှ ဒေတာအကြောင်း အလွယ်တကူဖြေရှင်းနိုင်သည်။
Visualizations ဖြင့် လေ့လာခြင်း
ဒေတာကို အပြည့်အဝ သန့်စင်ပြီး အနက်ဖွင့်ပြီးမှ visualization ဖန်တီးရန် စောင့်ဆိုင်းရန် မလိုအပ်ပါ။ အမှန်တကယ်တော့ လေ့လာစဉ် visual representation ရှိခြင်းသည် ဒေတာအတွင်းရှိ pattern များ၊ ဆက်စပ်မှုများနှင့် ပြဿနာများကို သတ်မှတ်ရန် အထောက်အကူဖြစ်စေသည်။ ထို့အပြင် visualizations သည် ဒေတာကို စီမံခန့်ခွဲခြင်းတွင် ပါဝင်မထားသောသူများနှင့် ဆက်သွယ်ရန် နည်းလမ်းတစ်ခုဖြစ်ပြီး capture အဆင့်တွင် မဖြေရှင်းထားသော မေးခွန်းများကို မေးရန်နှင့် ရှင်းလင်းရန် အခွင့်အလမ်းဖြစ်စေသည်။ Visualizations အပိုင်း ကို ရည်ညွှန်းပြီး visualizations ကို လေ့လာပါ။
မညီညွတ်မှုများကို သတ်မှတ်ရန် လေ့လာခြင်း
ဒီသင်ခန်းစာရှိ အကြောင်းအရာအားလုံးသည် ပျောက်ဆုံးနေသော ဒေတာများ သို့မဟုတ် မညီညွတ်သောတန်ဖိုးများကို သတ်မှတ်ရန် အထောက်အကူဖြစ်စေသည်။ သို့သော် Pandas တွင် isna() သို့မဟုတ် isnull() function များကို အသုံးပြု၍ ပျောက်ဆုံးနေသောတန်ဖိုးများကို စစ်ဆေးနိုင်သည်။ ဒေတာအတွင်းရှိ ပျောက်ဆုံးနေသောတန်ဖိုးများကို ရှာဖွေခြင်း၏ အရေးပါသောအချက်တစ်ခုမှာ အစက ဘာကြောင့် ဒီအခြေအနေဖြစ်လာခဲ့သည်ကို လေ့လာခြင်းဖြစ်သည်။ ဒါဟာ ပြဿနာကို ဖြေရှင်းရန် လုပ်ဆောင်မှုများ ကို ဆုံးဖြတ်ရန် အထောက်အကူဖြစ်စေသည်။
မိန့်ခွန်းပြီးနောက် စမ်းမေးခွန်း
လုပ်ငန်း
အကြောင်းကြားချက်:
ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု Co-op Translator ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် ရှုလေ့လာသင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။