|
|
1 year ago | |
|---|---|---|
| .. | ||
| README.md | 1 year ago | |
| assignment.ipynb | 1 year ago | |
| assignment.md | 1 year ago | |
| notebook.ipynb | 1 year ago | |
README.md
ဒေတာသိပ္ပံ၏ အသက်တာစဉ်: အနက်ဖွင့်ခြင်း
![]() |
|---|
| ဒေတာသိပ္ပံ၏ အသက်တာစဉ်: အနက်ဖွင့်ခြင်း - Sketchnote by @nitya |
မိန့်ခွန်းမတိုင်မီ စမ်းမေးခွန်း
မိန့်ခွန်းမတိုင်မီ စမ်းမေးခွန်း
ဒေတာအသက်တာစဉ်တွင် အနက်ဖွင့်ခြင်းသည် ပေးထားသောမေးခွန်းများကို ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း သို့မဟုတ် တစ်ခုခုသောပြဿနာကို ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း အတည်ပြုရန်အရေးပါသည်။ ဒီအဆင့်မှာ မော်ဒယ်တစ်ခုသည် မေးခွန်းများနှင့် ပြဿနာများကို မှန်ကန်စွာ ဖြေရှင်းနိုင်မည်ဖြစ်ကြောင်း အတည်ပြုရန်လည်း အာရုံစိုက်နိုင်သည်။ ဒီသင်ခန်းစာမှာ Exploratory Data Analysis (EDA) အပေါ် အာရုံစိုက်ထားပြီး ဒေတာအတွင်းရှိ အင်္ဂါရပ်များနှင့် ဆက်နွယ်မှုများကို သတ်မှတ်ရန်နည်းလမ်းများကို လေ့လာမည်ဖြစ်သည်။ ဒေတာကို မော်ဒယ်တစ်ခုအတွက် ပြင်ဆင်ရန်အတွက်လည်း အသုံးပြုနိုင်သည်။
Python နှင့် Pandas library ကို အသုံးပြု၍ Kaggle မှ နမူနာဒေတာစဉ်ကို အသုံးပြုကာ ဒီနည်းလမ်းများကို လက်တွေ့အသုံးချပုံကို ပြသမည်ဖြစ်သည်။ ဒီဒေတာစဉ်မှာ အီးမေးလ်များတွင် တွေ့ရသော စကားလုံးများ၏ အရေအတွက်ကို ပါဝင်ပြီး အီးမေးလ်များ၏ အရင်းအမြစ်များကို မသိသာအောင်ထားသည်။ ဒီ directory ထဲရှိ notebook ကို အသုံးပြုကာ လိုက်လျောပါ။
Exploratory Data Analysis
အသက်တာစဉ်၏ capture အဆင့်မှာ ဒေတာကို ရယူခြင်းနှင့် ပြဿနာများ၊ မေးခွန်းများကို သတ်မှတ်ခြင်းတို့ကို လုပ်ဆောင်သည်။ ဒေတာသည် အဆုံးသတ်ရလဒ်ကို ပံ့ပိုးနိုင်မည်ဖြစ်ကြောင်းကို ဘယ်လိုသိနိုင်မလဲ?
ဒေတာသိပ္ပံပညာရှင်တစ်ဦးသည် ဒေတာရရှိသောအခါ အောက်ပါမေးခွန်းများကို မေးနိုင်သည်-
- ဒီပြဿနာကို ဖြေရှင်းရန် ဒေတာလုံလောက်ပါသလား?
- ဒီပြဿနာအတွက် ဒေတာ၏ အရည်အသွေးလုံလောက်ပါသလား?
- ဒီဒေတာမှ ထပ်မံသောအချက်အလက်များကို ရှာဖွေတွေ့ရှိပါက ရည်မှန်းချက်များကို ပြောင်းလဲသတ်မှတ်သင့်ပါသလား?
Exploratory Data Analysis သည် ဒေတာကို နားလည်ရန် လုပ်ဆောင်မှုဖြစ်ပြီး အထက်ပါမေးခွန်းများကို ဖြေရှင်းနိုင်သည်။ ဒေတာစဉ်နှင့် အလုပ်လုပ်ရာတွင် ရှိနိုင်သော စိန်ခေါ်မှုများကိုလည်း သတ်မှတ်နိုင်သည်။ ဒီနည်းလမ်းများကို အာရုံစိုက်ပြီး လေ့လာကြမည်။
ဒေတာကို ပရိုဖိုင်းလုပ်ခြင်း၊ ဖော်ပြချက်ဆိုင်ရာ စာရင်းအင်းများနှင့် Pandas
ဒီပြဿနာကို ဖြေရှင်းရန် ဒေတာလုံလောက်ပါသလားဆိုတာကို ဘယ်လိုအကဲဖြတ်မလဲ? ဒေတာကို ပရိုဖိုင်းလုပ်ခြင်းသည် ဒေတာစဉ်အကြောင်းအရာကို အကျဉ်းချုပ်ပြီး အထွေထွေသတင်းအချက်အလက်များကို စုစည်းပေးနိုင်သည်။ ဖော်ပြချက်ဆိုင်ရာ စာရင်းအင်းများသည် ဒေတာစဉ်တွင် ရှိသောအရာများကို နားလည်ရန် ကူညီပေးသည်။
ယခင်သင်ခန်းစာများအနည်းငယ်တွင် Pandas ကို အသုံးပြုကာ describe() function ဖြင့် ဖော်ပြချက်ဆိုင်ရာ စာရင်းအင်းများကို ရယူခဲ့သည်။ ဒါဟာ အရေအတွက်၊ အများဆုံးနှင့် အနည်းဆုံးတန်ဖိုးများ၊ ပျမ်းမျှတန်ဖိုး၊ စံချိန်လမ်းညွှန်နှင့် quantiles တို့ကို ရှင်းလင်းပေးသည်။ describe() function ကဲ့သို့သော ဖော်ပြချက်ဆိုင်ရာ စာရင်းအင်းများကို အသုံးပြုခြင်းသည် သင့်တွင် လုံလောက်သောဒေတာရှိမရှိကို အကဲဖြတ်ရန် ကူညီပေးနိုင်သည်။
Sampling နှင့် Querying
ဒေတာစဉ်ကြီးတစ်ခုလုံးကို လေ့လာခြင်းသည် အချိန်အလွန်ကြာမြင့်ပြီး ကွန်ပျူတာကို အလုပ်လုပ်စေသင့်သော တာဝန်တစ်ခုဖြစ်သည်။ သို့သော် sampling သည် ဒေတာကို နားလည်ရန် အထောက်အကူဖြစ်ပြီး ဒေတာစဉ်တွင် ရှိသောအရာများနှင့် ၎င်းတို့၏ အဓိပ္ပာယ်ကို ပိုမိုနားလည်စေသည်။ Sample တစ်ခုကို အသုံးပြုကာ သင်၏ဒေတာအကြောင်း အထွေထွေသုံးသပ်ချက်များကို ရယူနိုင်သည်။ ဒေတာကို ဘယ်လောက် sampling လုပ်သင့်သည်ဆိုတာ အတိအကျသော စည်းမျဉ်းမရှိသော်လည်း ဒေတာကို ပိုမို sampling လုပ်လေ၊ ဒေတာအကြောင်း အထွေထွေသုံးသပ်ချက်များ ပိုမိုတိကျလာမည်ဖြစ်သည်။
Pandas တွင် sample() function ရှိပြီး သင်လိုချင်သော random samples အရေအတွက်ကို argument အဖြစ် ပေးနိုင်သည်။
ဒေတာကို query လုပ်ခြင်းသည် သင်၏မေးခွန်းများနှင့် သီအိုရီများကို ဖြေရှင်းရန် ကူညီပေးနိုင်သည်။ Sampling နှင့် ဆန့်ကျင်ဘက်ဖြစ်ပြီး query လုပ်ခြင်းသည် သင့်တွင် မေးခွန်းရှိသော ဒေတာ၏ အထူးအစိတ်အပိုင်းများကို အာရုံစိုက်ရန် ခွင့်ပြုသည်။ Pandas library တွင် query() function ရှိပြီး သင်လိုချင်သော column များကို ရွေးချယ်ကာ row များမှ တစ်ဆင့် ဒေတာအကြောင်း ရိုးရှင်းသောအဖြေများကို ရယူနိုင်သည်။
Visualizations ဖြင့် လေ့လာခြင်း
ဒေတာကို အပြည့်အဝ သန့်စင်ပြီး အနက်ဖွင့်ပြီးမှ visualization ဖန်တီးရန် စောင့်ဆိုင်းရန် မလိုအပ်ပါ။ အမှန်တကယ်မှာ ဒေတာကို လေ့လာစဉ် visual representation ရှိခြင်းသည် pattern များ၊ ဆက်နွယ်မှုများနှင့် ဒေတာအတွင်းရှိ ပြဿနာများကို သတ်မှတ်ရန် ကူညီပေးနိုင်သည်။ ထို့အပြင် visualizations သည် ဒေတာကို စီမံခန့်ခွဲခြင်းနှင့် မပတ်သက်သောသူများနှင့် ဆက်သွယ်ရန် နည်းလမ်းတစ်ခုဖြစ်ပြီး capture အဆင့်တွင် မဖြေရှင်းနိုင်သော မေးခွန်းများကို မေးရန် အခွင့်အလမ်းဖြစ်စေသည်။ Visualizations အပိုင်း ကို ရည်ညွှန်းကာ visual exploration နည်းလမ်းများကို လေ့လာပါ။
မညီညွတ်မှုများကို ရှာဖွေခြင်း
ဒီသင်ခန်းစာတွင် ပါဝင်သော အကြောင်းအရာများအားလုံးသည် ပျောက်ဆုံးနေသော ဒေတာများ သို့မဟုတ် မညီညွတ်သောတန်ဖိုးများကို ရှာဖွေရန် ကူညီပေးနိုင်သည်။ Pandas တွင် isna() သို့မဟုတ် isnull() function ရှိပြီး ပျောက်ဆုံးနေသောတန်ဖိုးများကို စစ်ဆေးနိုင်သည်။ ဒေတာတွင် ပျောက်ဆုံးနေသောတန်ဖိုးများကို ရှာဖွေခြင်း၏ အရေးပါသောအချက်တစ်ခုမှာ ၎င်းတို့ ဘာကြောင့် အဲဒီအတိုင်းဖြစ်သွားရသလဲဆိုတာကို ရှာဖွေခြင်းဖြစ်သည်။ ၎င်းသည် ပြဿနာများကို ဖြေရှင်းရန် လုပ်ဆောင်မှုများ ကို ဆုံးဖြတ်ရန် ကူညီပေးနိုင်သည်။
မိန့်ခွန်းပြီးနောက် စမ်းမေးခွန်း
လုပ်ငန်းစဉ်
ဝက်ဘ်ဆိုက်မှတ်ချက်:
ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု Co-op Translator ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
