Data-Science-For-Beginners/translations/ml/1-Introduction/04-stats-and-probability/README.md

# സാംഖ്യശാസ്ത്രത്തെയും സാദ്ധ്യതയെയും കുറിച്ചുള്ള ഒരു സംക്ഷിപ്ത പരിചയം

|![ Sketchnote by [(@sketchthedocs)](https://sketchthedocs.dev) ](../../sketchnotes/04-Statistics-Probability.png)|
|:---:|
| സാംഖ്യശാസ്ത്രവും സാദ്ധ്യതയും - _Sketchnote by [@nitya](https://twitter.com/nitya)_ |

സാംഖ്യശാസ്ത്രവും സാദ്ധ്യത സിദ്ധാന്തവും ഗണിതശാസ്ത്രത്തിന്റെ രണ്ട് വളരെ ബന്ധപ്പെട്ട മേഖലകളാണ്, ഇവ ഡാറ്റാ സയൻസിനോട് വളരെ ബന്ധപ്പെട്ടവയാണ്. ഗണിതശാസ്ത്രത്തിന്റെ ആഴത്തിലുള്ള അറിവില്ലാതെ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നത് സാധ്യമാണ്, പക്ഷേ കുറഞ്ഞത് ചില അടിസ്ഥാന ആശയങ്ങൾ അറിയുന്നത് മെച്ചമാണ്. ഇവിടെ നിങ്ങൾക്ക് ആരംഭിക്കാൻ സഹായിക്കുന്ന ഒരു ചെറിയ പരിചയം നൽകുന്നു.

[![Intro Video](../../../../translated_images/ml/video-prob-and-stats.e4282e5efa2f2543.webp)](https://youtu.be/Z5Zy85g4Yjw)


## [പ്രീ-ലെക്ചർ ക്വിസ്](https://ff-quizzes.netlify.app/en/ds/quiz/6)

## സാദ്ധ്യതയും യാദൃച്ഛിക ചാരത്രങ്ങളും

**സാദ്ധ്യത** എന്നത് 0നും 1നും ഇടയിൽ ഉള്ള ഒരു സംഖ്യയാണ്, അത് ഒരു **സംഭവം** എത്രത്തോളം സംഭവിക്കാനിടയുള്ളതാണെന്ന് പ്രകടിപ്പിക്കുന്നു. എല്ലാ ഫലങ്ങളും സമാനമായ സാദ്ധ്യതയുള്ളതായി കരുതുമ്പോൾ, ഒരു സംഭവത്തിലേക്ക് നയിക്കുന്ന പോസിറ്റീവ് ഫലങ്ങളുടെ എണ്ണം മൊത്തം ഫലങ്ങളുടെ എണ്ണത്തിൽ വിഭജിച്ച സംഖ്യയായി ഇത് നിർവചിക്കപ്പെടുന്നു. ഉദാഹരണത്തിന്, ഒരു ഡൈസ് എറിയുമ്പോൾ, സമസംഖ്യ ലഭിക്കാനുള്ള സാദ്ധ്യത 3/6 = 0.5 ആണ്.

സംഭവങ്ങളെ കുറിച്ച് സംസാരിക്കുമ്പോൾ, **യാദൃച്ഛിക ചാരത്രങ്ങൾ** ഉപയോഗിക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു ഡൈസ് എറിയുമ്പോൾ ലഭിക്കുന്ന സംഖ്യയെ പ്രതിനിധീകരിക്കുന്ന യാദൃച്ഛിക ചാരത്രം 1 മുതൽ 6 വരെ മൂല്യങ്ങൾ സ്വീകരിക്കും. 1 മുതൽ 6 വരെ സംഖ്യകളുടെ സമുച്ചയം **സാമ്പിൾ സ്പേസ്** എന്ന് വിളിക്കുന്നു. ഒരു യാദൃച്ഛിക ചാരത്രം ഒരു പ്രത്യേക മൂല്യം സ്വീകരിക്കുന്ന സാദ്ധ്യതയെക്കുറിച്ച് സംസാരിക്കാം, ഉദാഹരണത്തിന് P(X=3)=1/6.

മുൻ ഉദാഹരണത്തിലെ യാദൃച്ഛിക ചാരത്രം **ഡിസ്ക്രീറ്റ്** ആണ്, കാരണം അതിന് എണ്ണാവുന്ന സാമ്പിൾ സ്പേസ് ഉണ്ട്, അഥവാ വേർതിരിച്ചുള്ള മൂല്യങ്ങൾ എണ്ണാം. ചിലപ്പോൾ സാമ്പിൾ സ്പേസ് യഥാർത്ഥ സംഖ്യകളുടെ ഒരു പരിധിയാകാം, അല്ലെങ്കിൽ മുഴുവൻ യഥാർത്ഥ സംഖ്യകളുടെ സമുച്ചയമായിരിക്കാം. ഇത്തരം ചാരത്രങ്ങളെ **കണ്ടിന്യൂവസ്** എന്ന് വിളിക്കുന്നു. ഒരു നല്ല ഉദാഹരണം ബസ്സ് എത്തുന്ന സമയം ആണ്.

## സാദ്ധ്യത വിതരണങ്ങൾ

ഡിസ്ക്രീറ്റ് യാദൃച്ഛിക ചാരത്രങ്ങളുടെ കാര്യത്തിൽ, ഓരോ സംഭവത്തിന്റെയും സാദ്ധ്യത ഒരു ഫംഗ്ഷൻ P(X) ആയി എളുപ്പത്തിൽ വിവരിക്കാം. സാമ്പിൾ സ്പേസ് *S* യിൽ നിന്നുള്ള ഓരോ മൂല്യത്തിനും *s* 0 മുതൽ 1 വരെ ഒരു സംഖ്യ നൽകും, എല്ലാ സംഭവങ്ങൾക്കും P(X=s) മൂല്യങ്ങളുടെ മൊത്തം 1 ആകും.

ഏറ്റവും പ്രശസ്തമായ ഡിസ്ക്രീറ്റ് വിതരണമാണ് **യൂണിഫോം വിതരണം**, ഇതിൽ N ഘടകങ്ങളുള്ള സാമ്പിൾ സ്പേസ് ഉണ്ട്, ഓരോ ഘടകത്തിനും 1/N എന്ന സമാന സാദ്ധ്യതയുണ്ട്.

കണ്ടിന്യൂവസ് ചാരത്രത്തിന്റെ സാദ്ധ്യത വിതരണം വിവരിക്കുന്നത് കൂടുതൽ ബുദ്ധിമുട്ടാണ്, മൂല്യങ്ങൾ [a,b] എന്ന ഒരു ഇടവേളയിൽ നിന്നോ, മുഴുവൻ യഥാർത്ഥ സംഖ്യകളിൽ നിന്നോ വരാം. ബസ്സ് എത്തുന്ന സമയത്തിന്റെ ഉദാഹരണം പരിഗണിക്കൂ. യഥാർത്ഥത്തിൽ, ഓരോ കൃത്യമായ എത്തുന്ന സമയത്തിനും *t*, ബസ്സ് ആ സമയത്ത് എത്താനുള്ള സാദ്ധ്യത 0 ആണ്!

> ഇപ്പോൾ നിങ്ങൾക്ക് അറിയാം, 0 സാദ്ധ്യതയുള്ള സംഭവങ്ങൾ സംഭവിക്കുന്നു, അതും വളരെ പലപ്പോഴും! കുറഞ്ഞത് ബസ്സ് എത്തുന്ന ഓരോ തവണയും!

ഒരു ചാരത്രം ഒരു നൽകിയ മൂല്യ പരിധിയിൽപ്പെടുന്ന സാദ്ധ്യതയെക്കുറിച്ച് മാത്രമേ സംസാരിക്കാനാകൂ, ഉദാഹരണത്തിന് P(t<sub>1</sub>&le;X&lt;t<sub>2</sub>). ഈ സാഹചര്യത്തിൽ, സാദ്ധ്യത വിതരണം **സാദ്ധ്യത സാന്ദ്രത ഫംഗ്ഷൻ** p(x) ഉപയോഗിച്ച് വിവരിക്കപ്പെടുന്നു, അതായത്

![P(t_1\le X<t_2)=\int_{t_1}^{t_2}p(x)dx](../../../../translated_images/ml/probability-density.a8aad29f17a14afb.webp)
  
യൂണിഫോം വിതരണത്തിന്റെ കണ്ടിന്യൂവസ് അനലോഗ് **കണ്ടിന്യൂവസ് യൂണിഫോം** എന്നാണ് വിളിക്കുന്നത്, ഇത് ഒരു പരിധിയിലായി നിർവചിക്കപ്പെടുന്നു. മൂല്യം X ഒരു l നീളമുള്ള ഇടവേളയിൽപ്പെടാനുള്ള സാദ്ധ്യത l-നോട് അനുപാതികമാണ്, കൂടാതെ 1 വരെ ഉയരും.

മറ്റൊരു പ്രധാന വിതരണമാണ് **നോർമൽ വിതരണം**, അതിനെ കുറിച്ച് താഴെ കൂടുതൽ വിശദമായി സംസാരിക്കും.

## ശരാശരി, വ്യതിയാനം, സ്റ്റാൻഡേർഡ് ഡിവിയേഷൻ

ഒരു യാദൃച്ഛിക ചാരത്രം X ന്റെ n സാമ്പിളുകളുടെ ഒരു ശ്രേണി വരച്ചെടുക്കുക: x<sub>1</sub>, x<sub>2</sub>, ..., x<sub>n</sub>. പരമ്പരയുടെ **ശരാശരി** (അഥവാ **അരിത്മെറ്റിക് ശരാശരി**) മൂല്യം പരമ്പരയുടെ മൂല്യങ്ങളുടെ കൂട്ടം n-ൽ വിഭജിച്ചാണ് നിർവചിക്കുന്നത് (x<sub>1</sub>+x<sub>2</sub>+...+x<sub>n</sub>)/n. സാമ്പിൾ വലുപ്പം (n&rarr;&infin;) വർദ്ധിപ്പിക്കുമ്പോൾ, വിതരണത്തിന്റെ ശരാശരി (അഥവാ **പ്രതീക്ഷ**), ലഭിക്കും. പ്രതീക്ഷ **E**(x) ആയി സൂചിപ്പിക്കും.

> ഏതെങ്കിലും ഡിസ്ക്രീറ്റ് വിതരണത്തിനായി മൂല്യങ്ങൾ {x<sub>1</sub>, x<sub>2</sub>, ..., x<sub>N</sub>} ഉം അനുബന്ധ സാദ്ധ്യതകൾ p<sub>1</sub>, p<sub>2</sub>, ..., p<sub>N</sub> ഉം ഉള്ളപ്പോൾ, പ്രതീക്ഷ E(X)=x<sub>1</sub>p<sub>1</sub>+x<sub>2</sub>p<sub>2</sub>+...+x<sub>N</sub>p<sub>N</sub> ആകുമെന്ന് കാണിക്കാം.

മൂല്യങ്ങൾ എത്രത്തോളം വ്യാപിച്ചിരിക്കുന്നു എന്ന് തിരിച്ചറിയാൻ, വ്യതിയാനം &sigma;<sup>2</sup> = &sum;(x<sub>i</sub> - &mu;)<sup>2</sup>/n കണക്കാക്കാം, ഇവിടെ &mu; പരമ്പരയുടെ ശരാശരിയാണ്. &sigma; എന്നത് **സ്റ്റാൻഡേർഡ് ഡിവിയേഷൻ** എന്നും &sigma;<sup>2</sup> **വ്യതിയാനം** എന്നും വിളിക്കുന്നു.

## മോഡ്, മീഡിയൻ, ക്വാർട്ടൈൽസ്

എപ്പോൾ ചിലപ്പോൾ ശരാശരി ഡാറ്റയുടെ "സാധാരണ" മൂല്യം ശരിയായി പ്രതിനിധീകരിക്കാറില്ല. ഉദാഹരണത്തിന്, ചില അത്യന്തം വ്യത്യസ്ത മൂല്യങ്ങൾ ശരാശരിയെ ബാധിക്കാം. മറ്റൊരു നല്ല സൂചനയാണ് **മീഡിയൻ**, അതായത് ഡാറ്റയിലെ പകുതി പോയിന്റുകൾ അതിനേക്കാൾ താഴെയായിരിക്കും, മറ്റെ പകുതി അതിനേക്കാൾ ഉയർന്നിരിക്കും.

ഡാറ്റയുടെ വിതരണത്തെ മനസ്സിലാക്കാൻ സഹായിക്കുന്നതിന് **ക്വാർട്ടൈൽസ്** ഉപയോഗിക്കുന്നു:

* ആദ്യ ക്വാർട്ടൈൽ, അല്ലെങ്കിൽ Q1, 25% ഡാറ്റ അതിനേക്കാൾ താഴെയായിരിക്കും
* മൂന്നാം ക്വാർട്ടൈൽ, അല്ലെങ്കിൽ Q3, 75% ഡാറ്റ അതിനേക്കാൾ താഴെയായിരിക്കും

ഗ്രാഫിക് ആയി, മീഡിയനും ക്വാർട്ടൈൽസും തമ്മിലുള്ള ബന്ധം **ബോക്സ് പ്ലോട്ട്** എന്ന ചിത്രരൂപത്തിൽ പ്രതിനിധീകരിക്കാം:

<img src="../../../../translated_images/ml/boxplot_explanation.4039b7de08780fd4.webp" alt="Box Plot Explanation" width="50%">

ഇവിടെ **ഇന്റർ-ക്വാർട്ടൈൽ റേഞ്ച്** IQR=Q3-Q1 കണക്കാക്കുന്നു, കൂടാതെ **ഔട്ട്‌ലൈയേഴ്സ്** - [Q1-1.5*IQR, Q3+1.5*IQR] എന്ന പരിധിക്ക് പുറത്തുള്ള മൂല്യങ്ങൾ.

ചെറിയ സംഖ്യയിലുള്ള മൂല്യങ്ങൾ ഉള്ള ഫിനിറ്റ് വിതരണത്തിന്, ഏറ്റവും അധികം ആവർത്തിക്കുന്ന മൂല്യം നല്ല "സാധാരണ" മൂല്യമാണ്, ഇത് **മോഡ്** എന്ന് വിളിക്കുന്നു. ഇത് വർഗ്ഗീകരിച്ച ഡാറ്റയിൽ, ഉദാഹരണത്തിന് നിറങ്ങളിൽ, സാധാരണയായി ഉപയോഗിക്കുന്നു. രണ്ട് ഗ്രൂപ്പുകളുള്ള ഒരു സ്ഥിതിഗതിയെ പരിഗണിക്കൂ - ചിലർ ചുവപ്പ് നിറം ശക്തമായി ഇഷ്ടപ്പെടുന്നു, മറ്റുള്ളവർ നീല നിറം ഇഷ്ടപ്പെടുന്നു. നിറങ്ങളെ സംഖ്യകളായി കോഡ് ചെയ്താൽ, ഇഷ്ടപ്പെട്ട നിറത്തിന്റെ ശരാശരി മൂല്യം ഓറഞ്ച്-പച്ച സ്പെക്ട്രത്തിൽ വരും, ഇത് യാതൊരു ഗ്രൂപ്പിന്റെയും യഥാർത്ഥ ഇഷ്ടം സൂചിപ്പിക്കില്ല. എന്നാൽ മോഡ് ആ നിറങ്ങളിലൊന്നോ, അല്ലെങ്കിൽ രണ്ടും ആയിരിക്കും, അവയ്ക്ക് വോട്ടു ചെയ്ത ആളുകളുടെ എണ്ണം തുല്യമായാൽ (ഇപ്പോൾ സാമ്പിൾ **മൾട്ടിമോഡൽ** ആണെന്ന് വിളിക്കുന്നു).

## യഥാർത്ഥ ലോക ഡാറ്റ

യഥാർത്ഥ ജീവിതത്തിൽ നിന്നുള്ള ഡാറ്റ വിശകലനം ചെയ്യുമ്പോൾ, അവ യാദൃച്ഛിക ചാരത്രങ്ങളല്ല, അർത്ഥത്തിൽ നാം അജ്ഞാത ഫലമുള്ള പരീക്ഷണങ്ങൾ നടത്താറില്ല. ഉദാഹരണത്തിന്, ഒരു ബേസ്ബോൾ കളിക്കാരുടെ സംഘം പരിഗണിക്കൂ, അവരുടെ ശരീര വിവരങ്ങൾ, ഉയരം, ഭാരം, പ്രായം എന്നിവ. ആ സംഖ്യകൾ യാദൃച്ഛികമല്ല, പക്ഷേ നാം അതേ ഗണിത ആശയങ്ങൾ പ്രയോഗിക്കാം. ഉദാഹരണത്തിന്, ആളുകളുടെ ഭാരങ്ങളുടെ ഒരു പരമ്പര ഒരു യാദൃച്ഛിക ചാരത്രത്തിൽ നിന്നുള്ള മൂല്യങ്ങളുടെ പരമ്പരയായി കണക്കാക്കാം. താഴെ [Major League Baseball](http://mlb.mlb.com/index.jsp) യിൽ നിന്നുള്ള യഥാർത്ഥ ബേസ്ബോൾ കളിക്കാരുടെ ഭാരങ്ങളുടെ പരമ്പരയാണ്, [ഈ ഡാറ്റാസെറ്റിൽ നിന്നെടുത്തത്](http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data_MLB_HeightsWeights) (സൗകര്യത്തിന്, ആദ്യ 20 മൂല്യങ്ങൾ മാത്രം കാണിക്കുന്നു):

```
[180.0, 215.0, 210.0, 210.0, 188.0, 176.0, 209.0, 200.0, 231.0, 180.0, 188.0, 180.0, 185.0, 160.0, 180.0, 185.0, 197.0, 189.0, 185.0, 219.0]
```

> **കുറിപ്പ്**: ഈ ഡാറ്റാസെറ്റുമായി പ്രവർത്തിക്കുന്ന ഉദാഹരണം കാണാൻ, [സഹായക നോട്ട്‌ബുക്ക്](notebook.ipynb) കാണുക. ഈ പാഠത്തിൽ നിരവധി ചലഞ്ചുകളും ഉണ്ട്, അവ പൂർത്തിയാക്കാൻ ആ നോട്ട്‌ബുക്കിൽ കുറച്ച് കോഡ് ചേർക്കാം. ഡാറ്റയിൽ എങ്ങനെ പ്രവർത്തിക്കാമെന്ന് അറിയില്ലെങ്കിൽ ആശങ്കപ്പെടേണ്ട, പിന്നീട് Python ഉപയോഗിച്ച് ഡാറ്റയിൽ പ്രവർത്തിക്കുന്നത് വീണ്ടും പഠിക്കും. Jupyter Notebook-ൽ കോഡ് എങ്ങനെ ഓടിക്കാമെന്ന് അറിയില്ലെങ്കിൽ, [ഈ ലേഖനം](https://soshnikov.com/education/how-to-execute-notebooks-from-github/) കാണുക.

ഇവിടെ നമ്മുടെ ഡാറ്റയുടെ ശരാശരി, മീഡിയൻ, ക്വാർട്ടൈൽസ് കാണിക്കുന്ന ബോക്സ് പ്ലോട്ട്:

![Weight Box Plot](../../../../translated_images/ml/weight-boxplot.1dbab1c03af26f8a.webp)

നമ്മുടെ ഡാറ്റയിൽ വിവിധ കളിക്കാരുടെ **പങ്കുകൾ** സംബന്ധിച്ച വിവരങ്ങൾ ഉള്ളതിനാൽ, പങ്ക് അനുസരിച്ച് ബോക്സ് പ്ലോട്ട് ചെയ്യാം - ഇത് പങ്കുകൾക്കിടയിലെ പാരാമീറ്റർ മൂല്യങ്ങൾ എങ്ങനെ വ്യത്യസ്തമാണെന്ന് മനസ്സിലാക്കാൻ സഹായിക്കും. ഈ തവണ ഉയരം പരിഗണിക്കാം:

![Box plot by role](../../../../translated_images/ml/boxplot_byrole.036b27a1c3f52d42.webp)

ഈ ചിത്രരൂപം സൂചിപ്പിക്കുന്നത്, ശരാശരിയിൽ, ഫസ്റ്റ് ബേസ്മാന്റെ ഉയരം സെക്കന്റ് ബേസ്മാന്റെ ഉയരത്തേക്കാൾ കൂടുതലാണെന്ന്. ഈ പാഠത്തിൽ പിന്നീട് നാം ഈ ഹിപോത്തസിസ് കൂടുതൽ ഔപചാരികമായി പരിശോധിക്കുന്നതും, നമ്മുടെ ഡാറ്റ സാംഖ്യശാസ്ത്രപരമായി പ്രാധാന്യമുള്ളതാണെന്ന് തെളിയിക്കുന്നതും പഠിക്കും.

> യഥാർത്ഥ ലോക ഡാറ്റയിൽ പ്രവർത്തിക്കുമ്പോൾ, എല്ലാ ഡാറ്റ പോയിന്റുകളും ഒരു സാദ്ധ്യത വിതരണത്തിൽ നിന്നുള്ള സാമ്പിളുകൾ ആണെന്ന് നാം കരുതുന്നു. ഈ കരുതൽ മെഷീൻ ലേണിംഗ് സാങ്കേതികവിദ്യകൾ പ്രയോഗിക്കാൻ, പ്രവചന മോഡലുകൾ നിർമ്മിക്കാൻ സഹായിക്കുന്നു.

നമ്മുടെ ഡാറ്റയുടെ വിതരണമോ എന്താണെന്ന് കാണാൻ, **ഹിസ്റ്റോഗ്രാം** എന്ന ഗ്രാഫ് വരച്ചിടാം. X-അക്ഷത്തിൽ വ്യത്യസ്ത ഭാര ഇടവേളകൾ (അഥവാ **ബിൻസ്**) കാണിക്കും, ലംബ അക്ഷത്തിൽ ആ ഇടവേളയിൽ നമ്മുടെ യാദൃച്ഛിക ചാരത്രം എത്ര തവണപ്പെട്ടുവെന്ന് കാണിക്കും.

![Histogram of real world data](../../../../translated_images/ml/weight-histogram.bfd00caf7fc30b14.webp)

ഈ ഹിസ്റ്റോഗ്രാമിൽ നിന്ന് കാണാം എല്ലാ മൂല്യങ്ങളും ഒരു ശരാശരി ഭാരം ചുറ്റും കേന്ദ്രീകരിച്ചിരിക്കുന്നു, ആ ഭാരം വിട്ട് ദൂരെ പോകുമ്പോൾ ആ മൂല്യത്തിന്റെ ഭാരങ്ങൾ കുറവാണ്. അഥവാ, ഒരു ബേസ്ബോൾ കളിക്കാരന്റെ ഭാരം ശരാശരി ഭാരത്തിൽ നിന്ന് വളരെ വ്യത്യസ്തമായിരിക്കാനുള്ള സാധ്യത വളരെ കുറവാണ്. ഭാരങ്ങളുടെ വ്യതിയാനം ശരാശരി മുതൽ വ്യത്യാസം എത്രത്തോളം ഉണ്ടാകാമെന്ന് കാണിക്കുന്നു.

> ബേസ്ബോൾ ലീഗിൽ നിന്നല്ലാത്ത മറ്റുള്ളവരുടെ ഭാരങ്ങൾ എടുത്താൽ, വിതരണം വ്യത്യസ്തമായിരിക്കാം. എന്നാൽ വിതരണത്തിന്റെ രൂപം ഒരുപോലെയാണ്, ശരാശരിയും വ്യതിയാനവും മാറും. അതിനാൽ, ബേസ്ബോൾ കളിക്കാരിൽ പരിശീലിപ്പിച്ച മോഡൽ ഒരു സർവകലാശാലയിലെ വിദ്യാർത്ഥികളിൽ പ്രയോഗിച്ചാൽ തെറ്റായ ഫലങ്ങൾ നൽകാൻ സാധ്യതയുണ്ട്, കാരണം അടിസ്ഥാന വിതരണം വ്യത്യസ്തമാണ്.

## നോർമൽ വിതരണം

മുകളിൽ കാണിച്ച ഭാരങ്ങളുടെ വിതരണം വളരെ സാധാരണമാണ്, യഥാർത്ഥ ലോകത്തിലെ പല അളവുകളും ഇതേ തരത്തിലുള്ള വിതരണമാണ് പിന്തുടരുന്നത്, പക്ഷേ വ്യത്യസ്ത ശരാശരി, വ്യതിയാനങ്ങളോടെ. ഈ വിതരണത്തെ **നോർമൽ വിതരണം** എന്ന് വിളിക്കുന്നു, ഇത് സാംഖ്യശാസ്ത്രത്തിൽ വളരെ പ്രധാനപ്പെട്ടതാണ്.

നോർമൽ വിതരണം ഉപയോഗിച്ച് സാധ്യതയുള്ള ബേസ്ബോൾ കളിക്കാരുടെ യാദൃച്ഛിക ഭാരങ്ങൾ സൃഷ്ടിക്കുന്നത് ശരിയായ മാർഗമാണ്. ശരാശരി ഭാരം `mean` ഉം സ്റ്റാൻഡേർഡ് ഡിവിയേഷൻ `std` ഉം അറിയുമ്പോൾ, 1000 ഭാര സാമ്പിളുകൾ താഴെപ്പറയുന്ന രീതിയിൽ സൃഷ്ടിക്കാം:
```python
samples = np.random.normal(mean,std,1000)
``` 

സൃഷ്ടിച്ച സാമ്പിളുകളുടെ ഹിസ്റ്റോഗ്രാം വരച്ചാൽ മുകളിൽ കാണിച്ച ചിത്രത്തിന് സമാനമായ ചിത്രം കാണാം. സാമ്പിളുകളുടെ എണ്ണം കൂടുകയും ബിൻസിന്റെ എണ്ണം കൂടുകയും ചെയ്താൽ, നോർമൽ വിതരണത്തിന്റെ ഒരു കൂടുതൽ ഐഡിയൽ ചിത്രം സൃഷ്ടിക്കാം:

![Normal Distribution with mean=0 and std.dev=1](../../../../translated_images/ml/normal-histogram.dfae0d67c202137d.webp)

*ശരാശരി=0, സ്റ്റാൻഡേർഡ് ഡിവിയേഷൻ=1 ഉള്ള നോർമൽ വിതരണം*

## വിശ്വാസ അന്തരീക്ഷങ്ങൾ

ബേസ്ബോൾ കളിക്കാരുടെ ഭാരങ്ങളെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ, എല്ലാ ബേസ്ബോൾ കളിക്കാരുടെയും ഭാരങ്ങളുടെ ഐഡിയൽ സാദ്ധ്യത വിതരണമായ ഒരു **യാദൃച്ഛിക ചാരത്രം W** ഉണ്ട് എന്ന് നാം കരുതുന്നു (അത് **പൊപ്പുലേഷൻ** എന്ന് വിളിക്കുന്നു). നമ്മുടെ ഭാരങ്ങളുടെ പരമ്പര **സാമ്പിൾ** എന്ന ഒരു ഉപസമൂഹമാണ്. W-യുടെ വിതരണത്തിന്റെ പാരാമീറ്ററുകൾ, അഥവാ പൊപ്പുലേഷന്റെ ശരാശരി, വ്യതിയാനം നാം അറിയാമോ എന്നത് ഒരു രസകരമായ ചോദ്യം ആണ്.

ഏറ്റവും എളുപ്പം നൽകാവുന്ന ഉത്തരം നമ്മുടെ സാമ്പിളിന്റെ ശരാശരി, വ്യതിയാനം കണക്കാക്കുക എന്നതാണ്. എന്നാൽ, നമ്മുടെ യാദൃച്ഛിക സാമ്പിൾ മുഴുവൻ പൊപ്പുലേഷനെ ശരിയായി പ്രതിനിധീകരിക്കാതെ പോകാം. അതിനാൽ **വിശ്വാസ അന്തരീക്ഷം** എന്ന ആശയം പ്രസക്തമാണ്.

> **വിശ്വാസ അന്തരീക്ഷം** എന്നത് നമ്മുടെ സാമ്പിള്‍ നൽകിയ പൊപ്പുലേഷന്റെ യഥാർത്ഥ ശരാശരിയുടെ ഒരു കണക്കുകൂട്ടലാണ്, അത് ഒരു നിശ്ചിത സാദ്ധ്യതയോടെ (അഥവാ **വിശ്വാസ നില**) ശരിയാണെന്ന് കരുതപ്പെടുന്നു.

നമ്മുടെ വിതരണത്തിൽ നിന്നുള്ള X<sub>1</sub>, ..., X<sub>n</sub> എന്ന സാമ്പിൾ ഉണ്ടെന്ന് കരുതുക. ഓരോ തവണയും സാമ്പിൾ എടുക്കുമ്പോൾ വ്യത്യസ്തമായ ശരാശരി മൂല്യം &mu; ലഭിക്കും. അതിനാൽ &mu; യാദൃച്ഛിക ചാരത്രമായി കണക്കാക്കാം. വിശ്വാസ p ഉള്ള **വിശ്വാസ അന്തരീക്ഷം** (L<sub>p</sub>,R<sub>p</sub>) എന്ന മൂല്യജോഡിയാണ്, അതായത് **P**(L<sub>p</sub>&leq;&mu;&leq;R<sub>p</sub>) = p, അഥവാ ശരാശരി മൂല്യം ആ അന്തരീക്ഷത്തിനുള്ളിൽപ്പെടാനുള്ള സാദ്ധ്യത p ആണ്.

ഈ വിശ്വാസ അന്തരീക്ഷങ്ങൾ എങ്ങനെ കണക്കാക്കുന്നുവെന്ന് വിശദമായി ചർച്ച ചെയ്യുന്നത് നമ്മുടെ ചെറിയ പരിചയത്തിന് പുറത്താണ്. കൂടുതൽ വിവരങ്ങൾ [വിക്കിപീഡിയയിൽ](https://en.wikipedia.org/wiki/Confidence_interval) ലഭ്യമാണ്. ചുരുക്കത്തിൽ, നാം കണക്കാക്കിയ സാമ്പിൾ ശരാശരിയുടെ വിതരണത്തെ പൊപ്പുലേഷന്റെ യഥാർത്ഥ ശരാശരിയോട് താരതമ്യം ചെയ്ത് നിർവചിക്കുന്നു, ഇത് **സ്റ്റുഡന്റ് വിതരണം** എന്ന് വിളിക്കുന്നു.
> **രസകരമായ വസ്തുത**: സ്റ്റുഡന്റ് വിതരണത്തിന് പേര് നൽകിയത് ഗണിതശാസ്ത്രജ്ഞൻ വില്ല്യം സീലി ഗോസെറ്റ് എന്നയാളുടെ പേരിലാണ്, അദ്ദേഹം "Student" എന്ന ഉപനാമത്തിൽ തന്റെ പേപ്പർ പ്രസിദ്ധീകരിച്ചിരുന്നു. അദ്ദേഹം ഗിന്നസ് ബ്രൂവറിയിൽ ജോലി ചെയ്തിരുന്നു, ഒരു പതിപ്പിന്റെ പ്രകാരം, അവന്റെ തൊഴിലുടമ പൊതുജനങ്ങൾക്ക് അവർ കച്ചവട വസ്തുക്കളുടെ ഗുണനിലവാരം നിർണയിക്കാൻ സാങ്കേതിക പരിശോധനകൾ ഉപയോഗിക്കുന്നുവെന്ന് അറിയിക്കാനാഗ്രഹിച്ചില്ല.

നാം നമ്മുടെ ജനസംഖ്യയുടെ ശരാശരി &mu; വിശ്വാസ്യത p ഉപയോഗിച്ച് കണക്കാക്കാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, നമുക്ക് സ്റ്റുഡന്റ് വിതരണ A യുടെ *(1-p)/2-ആം ശതമാനം* എടുക്കേണ്ടതുണ്ട്, ഇത് പട്ടികകളിൽ നിന്നോ, അല്ലെങ്കിൽ ചില സാങ്കേതിക സോഫ്റ്റ്‌വെയർ (ഉദാ. Python, R, തുടങ്ങിയവ) ന്റെ നിർമിത ഫംഗ്ഷനുകൾ ഉപയോഗിച്ച് കണക്കാക്കാവുന്നതാണ്. പിന്നീട് &mu; നുള്ള ഇടവേള X&pm;A*D/&radic;n ആയി നൽകപ്പെടും, ഇവിടെ X സാമ്പിളിന്റെ ലഭിച്ച ശരാശരിയാണ്, D സ്റ്റാൻഡേർഡ് ഡിവിയേഷൻ ആണ്.

> **കുറിപ്പ്**: സ്റ്റുഡന്റ് വിതരണവുമായി ബന്ധപ്പെട്ട് പ്രധാനമായ [സ്വാതന്ത്ര്യ ഡിഗ്രികൾ](https://en.wikipedia.org/wiki/Degrees_of_freedom_(statistics)) എന്ന ആശയം ഇവിടെ ചർച്ച ചെയ്യുന്നത് ഒഴിവാക്കുന്നു. ഈ ആശയം കൂടുതൽ ആഴത്തിൽ മനസ്സിലാക്കാൻ നിങ്ങൾക്ക് കൂടുതൽ സമഗ്രമായ സാങ്കേതിക പുസ്തകങ്ങൾ കാണാവുന്നതാണ്.

ഭാരം, ഉയരം എന്നിവയ്ക്ക് വിശ്വാസ്യത ഇടവേള കണക്കാക്കാനുള്ള ഉദാഹരണം [സഹായക നോട്ട്‌ബുക്കുകളിൽ](notebook.ipynb) നൽകിയിട്ടുണ്ട്.

| p | ഭാരത്തിന്റെ ശരാശരി |
|-----|-----------|
| 0.85 | 201.73±0.94 |
| 0.90 | 201.73±1.08 |
| 0.95 | 201.73±1.28 |

വിശ്വാസ്യത സാധ്യത ഉയർന്നതുകൊണ്ട്, വിശ്വാസ്യത ഇടവേള കൂടുതൽ വ്യാപകമാണ് എന്ന് ശ്രദ്ധിക്കുക.

## ഹിപോത്തസിസ് ടെസ്റ്റിംഗ്

നമ്മുടെ ബേസ്ബോൾ കളിക്കാരുടെ ഡാറ്റാസെറ്റിൽ, വിവിധ കളിക്കാരുടെ പദവികൾ ഉണ്ട്, അവ താഴെ ചുരുക്കി കൊടുത്തിരിക്കുന്നു ([സഹായക നോട്ട്‌ബുക്ക്](notebook.ipynb) കാണുക ഈ പട്ടിക എങ്ങനെ കണക്കാക്കാമെന്ന്):

| പദവി | ഉയരം | ഭാരം | എണ്ണം |
|------|--------|--------|-------|
| ക്യാച്ചർ | 72.723684 | 204.328947 | 76 |
| ഡിസിഗ്നേറ്റഡ്_ഹിറ്റർ | 74.222222 | 220.888889 | 18 |
| ഫസ്റ്റ്_ബേസ്മാൻ | 74.000000 | 213.109091 | 55 |
| ഔട്ട്‌ഫീൽഡർ | 73.010309 | 199.113402 | 194 |
| റിലീഫ്_പിച്ചർ | 74.374603 | 203.517460 | 315 |
| സെക്കൻഡ്_ബേസ്മാൻ | 71.362069 | 184.344828 | 58 |
| ഷോർട്ട്സ്ടോപ്പ് | 71.903846 | 182.923077 | 52 |
| സ്റ്റാർട്ടിംഗ്_പിച്ചർ | 74.719457 | 205.163636 | 221 |
| തേർഡ്_ബേസ്മാൻ | 73.044444 | 200.955556 | 45 |

ഫസ്റ്റ് ബേസ്മാന്റെ ശരാശരി ഉയരം സെക്കൻഡ് ബേസ്മാന്റെ ഉയരത്തേക്കാൾ കൂടുതലാണെന്ന് നാം കാണാം. അതിനാൽ, നാം **ഫസ്റ്റ് ബേസ്മാൻ സെക്കൻഡ് ബേസ്മാനേക്കാൾ ഉയരം കൂടിയവരാണ്** എന്ന് നിഗമനം വരുത്താൻ ആഗ്രഹിക്കാം.

> ഈ പ്രസ്താവന **ഹിപോത്തസിസ്** എന്നാണ് വിളിക്കുന്നത്, കാരണം ഈ വസ്തുത യഥാർത്ഥത്തിൽ ശരിയാണോ അല്ലയോ എന്ന് നമുക്ക് അറിയില്ല.

എങ്കിലും, ഈ നിഗമനം എപ്പോഴും വ്യക്തമായിരിക്കില്ല. മുകളിൽ ചർച്ച ചെയ്തതുപോലെ ഓരോ ശരാശരിക്കും അനുബന്ധിച്ച വിശ്വാസ്യത ഇടവേള ഉണ്ട്, അതിനാൽ ഈ വ്യത്യാസം ഒരു സാങ്കേതിക പിശകായിരിക്കാം. നമുക്ക് നമ്മുടെ ഹിപോത്തസിസ് പരിശോധിക്കാൻ കൂടുതൽ ഔപചാരിക മാർഗ്ഗം വേണം.

ഫസ്റ്റ് ബേസ്മാനും സെക്കൻഡ് ബേസ്മാനും ഉള്ള ഉയരങ്ങൾക്ക് വിശ്വാസ്യത ഇടവേളകൾ പ്രത്യേകം കണക്കാക്കാം:

| വിശ്വാസ്യത | ഫസ്റ്റ് ബേസ്മാൻ | സെക്കൻഡ് ബേസ്മാൻ |
|------------|---------------|----------------|
| 0.85 | 73.62..74.38 | 71.04..71.69 |
| 0.90 | 73.56..74.44 | 70.99..71.73 |
| 0.95 | 73.47..74.53 | 70.92..71.81 |

വിശ്വാസ്യത ഇല്ലാത്തപ്പോൾ പോലും ഇടവേളകൾ ഒത്തുചേരുന്നില്ല. ഇത് ഫസ്റ്റ് ബേസ്മാൻ സെക്കൻഡ് ബേസ്മാനേക്കാൾ ഉയരം കൂടിയവരാണ് എന്ന ഹിപോത്തസിസ് തെളിയിക്കുന്നു.

കൂടുതൽ ഔപചാരികമായി, നാം പരിഹരിക്കുന്നത് **രണ്ട് പ്രൊബബിലിറ്റി വിതരണങ്ങൾ ഒരുപോലെയാണോ എന്ന് പരിശോധിക്കുകയാണ്**, അല്ലെങ്കിൽ കുറഞ്ഞത് അവയ്ക്ക് സമാനമായ പാരാമീറ്ററുകൾ ഉണ്ടോ എന്ന്. വിതരണത്തിന്റെ അടിസ്ഥാനത്തിൽ, നമുക്ക് വ്യത്യസ്ത പരീക്ഷണങ്ങൾ ഉപയോഗിക്കേണ്ടിവരും. നമുക്ക് നമ്മുടെ വിതരണങ്ങൾ സാധാരണമാണ് എന്ന് അറിയാമെങ്കിൽ, നാം **[സ്റ്റുഡന്റ് t-ടെസ്റ്റ്](https://en.wikipedia.org/wiki/Student%27s_t-test)** പ്രയോഗിക്കാം.

സ്റ്റുഡന്റ് t-ടെസ്റ്റിൽ, നാം **t-മൂല്യം** എന്നത് കണക്കാക്കുന്നു, ഇത് ശരാശരികൾ തമ്മിലുള്ള വ്യത്യാസം സൂചിപ്പിക്കുന്നു, വ്യത്യാസം പരിഗണിച്ച്. t-മൂല്യം **സ്റ്റുഡന്റ് വിതരണത്തെ** പിന്തുടരുന്നു എന്ന് തെളിയിച്ചിട്ടുണ്ട്, ഇത് നമുക്ക് ഒരു നൽകിയ വിശ്വാസ്യത നിലയ്ക്ക് **p** (ഇത് കണക്കാക്കാവുന്നതും, സംഖ്യാത്മക പട്ടികകളിൽ നോക്കാവുന്നതും) പരിധി മൂല്യം ലഭ്യമാക്കുന്നു. നാം പിന്നീട് t-മൂല്യം ഈ പരിധി മൂല്യവുമായി താരതമ്യം ചെയ്ത് ഹിപോത്തസിസ് അംഗീകരിക്കാമോ അല്ലയോ എന്ന് തീരുമാനിക്കുന്നു.

Python-ൽ, നാം **SciPy** പാക്കേജ് ഉപയോഗിക്കാം, അതിൽ `ttest_ind` ഫംഗ്ഷൻ ഉൾപ്പെടുന്നു (മറ്റു പല ഉപകാരപ്രദമായ സാങ്കേതിക ഫംഗ്ഷനുകളോടൊപ്പം!). ഇത് നമുക്ക് t-മൂല്യം കണക്കാക്കുകയും, വിശ്വാസ്യത p-മൂല്യത്തിന്റെ റിവേഴ്സ് ലുക്കപ്പ് നടത്തുകയും ചെയ്യുന്നു, അതിനാൽ നാം വിശ്വാസ്യത നോക്കി നിഗമനം എടുക്കാം.

ഉദാഹരണത്തിന്, ഫസ്റ്റ് ബേസ്മാനും സെക്കൻഡ് ബേസ്മാനും ഉള്ള ഉയരങ്ങൾ തമ്മിലുള്ള താരതമ്യം നമുക്ക് താഴെ കാണുന്ന ഫലങ്ങൾ നൽകുന്നു: 
```python
from scipy.stats import ttest_ind

tval, pval = ttest_ind(df.loc[df['Role']=='First_Baseman',['Height']], df.loc[df['Role']=='Designated_Hitter',['Height']],equal_var=False)
print(f"T-value = {tval[0]:.2f}\nP-value: {pval[0]}")
```
```
T-value = 7.65
P-value: 9.137321189738925e-12
```
നമ്മുടെ കേസിൽ, p-മൂല്യം വളരെ കുറവാണ്, അതായത് ഫസ്റ്റ് ബേസ്മാൻ ഉയരം കൂടിയവരാണ് എന്നതിന് ശക്തമായ തെളിവുകളുണ്ട്.

മറ്റു പല തരത്തിലുള്ള ഹിപോത്തസിസുകളും നാം പരിശോധിക്കാനാഗ്രഹിക്കാം, ഉദാഹരണത്തിന്:
* ഒരു സാമ്പിൾ ഏതെങ്കിലും വിതരണത്തെ പിന്തുടരുന്നുവെന്ന് തെളിയിക്കാൻ. നമ്മുടെ കേസിൽ, ഉയരങ്ങൾ സാധാരണ വിതരണമാണ് എന്ന് നാം കരുതിയിട്ടുണ്ട്, പക്ഷേ അതിന് ഔപചാരിക സാങ്കേതിക പരിശോധന വേണം.
* ഒരു സാമ്പിളിന്റെ ശരാശരി മൂല്യം മുൻകൂട്ടി നിശ്ചയിച്ച മൂല്യത്തോട് പൊരുത്തപ്പെടുന്നുവെന്ന് തെളിയിക്കാൻ
* പല സാമ്പിളുകളുടെ ശരാശരികൾ തമ്മിൽ താരതമ്യം ചെയ്യാൻ (ഉദാ. വ്യത്യസ്ത പ്രായസംഘങ്ങളിലെ സന്തോഷനിലവാര വ്യത്യാസം)

## വലിയ സംഖ്യകളുടെ നിയമവും സെൻട്രൽ ലിമിറ്റ് തിയറവും

സാധാരണ വിതരണത്തിന് അത്ര പ്രധാന്യമുള്ളതിൽ ഒന്നാണ് **സെൻട്രൽ ലിമിറ്റ് തിയറി**. നമുക്ക് സ്വതന്ത്രമായ N മൂല്യങ്ങളുടെ വലിയ സാമ്പിൾ X<sub>1</sub>, ..., X<sub>N</sub> ഉണ്ടെന്ന് കരുതുക, ഏതെങ്കിലും വിതരണത്തിൽ നിന്നുള്ളവ, ശരാശരി &mu; ഉം വ്യത്യാസം &sigma;<sup>2</sup> ഉം ഉള്ളവ. N വളരെ വലിയപ്പോൾ (അഥവാ N&rarr;&infin;), ശരാശരി &Sigma;<sub>i</sub>X<sub>i</sub> സാധാരണ വിതരണമായിരിക്കും, ശരാശരി &mu; ഉം വ്യത്യാസം &sigma;<sup>2</sup>/N ഉം ഉള്ളത്.

> സെൻട്രൽ ലിമിറ്റ് തിയറിയുടെ മറ്റൊരു വ്യാഖ്യാനം, ഏതെങ്കിലും വിതരണമായാലും, ഏതെങ്കിലും യാദൃച്ഛിക മൂല്യങ്ങളുടെ കൂട്ടത്തിന്റെ ശരാശരി കണക്കാക്കുമ്പോൾ നിങ്ങൾക്ക് സാധാരണ വിതരണമാണ് ലഭിക്കുന്നത് എന്നതാണ്.

സെൻട്രൽ ലിമിറ്റ് തിയറിയിൽ നിന്നു കൂടി, N&rarr;&infin; ആയപ്പോൾ, സാമ്പിൾ ശരാശരി &mu; യുമായി തുല്യമായിരിക്കാനുള്ള സാധ്യത 1 ആകുന്നു. ഇതാണ് **വലിയ സംഖ്യകളുടെ നിയമം** എന്നറിയപ്പെടുന്നത്.

## കോവേറിയൻസ്, കോറിലേഷൻ

ഡാറ്റാ സയൻസ് ചെയ്യുന്ന ഒന്നിൽ ഒന്നാണ് ഡാറ്റകളുടെ ബന്ധങ്ങൾ കണ്ടെത്തുക. രണ്ട് സീക്വൻസുകൾ ഒരേ സമയം സമാന പെരുമാറ്റം കാണിക്കുമ്പോൾ നാം അവ **കോറിലേറ്റ്** ചെയ്യുന്നു എന്ന് പറയുന്നു, അഥവാ അവ ഒരേ സമയം ഉയരുകയോ താഴുകയോ ചെയ്യുന്നു, അല്ലെങ്കിൽ ഒരു സീക്വൻസ് ഉയരുമ്പോൾ മറ്റൊന്ന് താഴുന്നു, അതുപോലെ മറുവശവും. മറ്റൊരു വാക്കിൽ, രണ്ട് സീക്വൻസുകൾ തമ്മിൽ ബന്ധമുണ്ടെന്ന് തോന്നുന്നു.

> കോറിലേഷൻ എപ്പോഴും രണ്ട് സീക്വൻസുകൾ തമ്മിലുള്ള കാരണബന്ധം സൂചിപ്പിക്കുന്നില്ല; ചിലപ്പോൾ രണ്ട് വ്യത്യസ്ത വേരിയബിളുകളും ചില ബാഹ്യ കാരണങ്ങളിൽ ആശ്രയിച്ചിരിക്കാം, അല്ലെങ്കിൽ ഇത് വെറും യാദൃച്ഛികമായിരിക്കാം. എങ്കിലും, ശക്തമായ ഗണിത കോറിലേഷൻ രണ്ട് വേരിയബിളുകൾ തമ്മിൽ ബന്ധമുണ്ടെന്ന് സൂചിപ്പിക്കുന്നു.

ഗണിതശാസ്ത്രത്തിൽ, രണ്ട് യാദൃച്ഛിക വേരിയബിളുകൾ തമ്മിലുള്ള ബന്ധം കാണിക്കുന്ന പ്രധാന ആശയം **കോവേറിയൻസ്** ആണ്, ഇത് ഇങ്ങനെ കണക്കാക്കുന്നു: Cov(X,Y) = **E**\[(X-**E**(X))(Y-**E**(Y))\]. നാം രണ്ട് വേരിയബിളുകളും അവരുടെ ശരാശരികളിൽ നിന്നുള്ള വ്യത്യാസം കണക്കാക്കി, ആ വ്യത്യാസങ്ങളുടെ ഗുണനം കണക്കാക്കുന്നു. രണ്ട് വേരിയബിളുകളും ഒരുമിച്ച് വ്യത്യാസപ്പെടുകയാണെങ്കിൽ, ഗുണനം എല്ലായ്പ്പോഴും പോസിറ്റീവ് മൂല്യം ആയിരിക്കും, ഇത് പോസിറ്റീവ് കോവേറിയൻസിലേക്ക് കൂട്ടിച്ചേർക്കും. രണ്ട് വേരിയബിളുകൾ ഒത്തിരിയാതെ വ്യത്യാസപ്പെടുകയാണെങ്കിൽ (ഉദാ. ഒരാൾ ശരാശരിക്ക് താഴെ പോയപ്പോൾ മറ്റൊന്ന് ശരാശരിക്ക് മുകളിൽ പോകുന്നു), നാം എല്ലായ്പ്പോഴും നെഗറ്റീവ് സംഖ്യകൾ ലഭിക്കും, ഇത് നെഗറ്റീവ് കോവേറിയൻസിലേക്ക് കൂട്ടിച്ചേർക്കും. വ്യത്യാസങ്ങൾ സ്വതന്ത്രമാണെങ്കിൽ, ഏകദേശം പൂജ്യം ആയിരിക്കും.

കോവേറിയൻസിന്റെ ആബ്സല്യൂട്ട് മൂല്യം കോറിലേഷൻ എത്ര വലിയതാണെന്ന് വ്യക്തമാക്കുന്നില്ല, കാരണം അത് യഥാർത്ഥ മൂല്യങ്ങളുടെ വലിപ്പത്തെ ആശ്രയിച്ചിരിക്കുന്നു. അതിനാൽ നാം കോവേറിയൻസിനെ രണ്ട് വേരിയബിളുകളുടെ സ്റ്റാൻഡേർഡ് ഡിവിയേഷനിൽ വിഭജിച്ച് **കോറിലേഷൻ** നേടുന്നു. നല്ല കാര്യം, കോറിലേഷൻ എപ്പോഴും [-1,1] പരിധിയിലാണ്, 1 ശക്തമായ പോസിറ്റീവ് കോറിലേഷൻ സൂചിപ്പിക്കുന്നു, -1 ശക്തമായ നെഗറ്റീവ് കോറിലേഷൻ, 0 - കോറിലേഷൻ ഇല്ല (വേരിയബിളുകൾ സ്വതന്ത്രം).

**ഉദാഹരണം**: മുകളിൽ പറഞ്ഞ ബേസ്ബോൾ കളിക്കാരുടെ ഡാറ്റാസെറ്റിൽ നിന്നുള്ള ഭാരവും ഉയരവും തമ്മിലുള്ള കോറിലേഷൻ കണക്കാക്കാം:
```python
print(np.corrcoef(weights,heights))
```
ഫലമായി, നമുക്ക് ഇങ്ങനെ ഒരു **കോറിലേഷൻ മാട്രിക്സ്** ലഭിക്കുന്നു:
```
array([[1.        , 0.52959196],
       [0.52959196, 1.        ]])
```

> കോറിലേഷൻ മാട്രിക്സ് C ഏതെങ്കിലും എണ്ണം ഇൻപുട്ട് സീക്വൻസുകൾ S<sub>1</sub>, ..., S<sub>n</sub> നായി കണക്കാക്കാം. C<sub>ij</sub> എന്നത് S<sub>i</sub> ഉം S<sub>j</sub> ഉം തമ്മിലുള്ള കോറിലേഷൻ ആണ്, ഡയഗണൽ ഘടകങ്ങൾ എല്ലായ്പ്പോഴും 1 ആണ് (അതും S<sub>i</sub> യുടെ സ്വയം-കോറിലേഷൻ).

നമ്മുടെ കേസിൽ, 0.53 എന്ന മൂല്യം ഒരു വ്യക്തിയുടെ ഭാരം, ഉയരം എന്നിവ തമ്മിൽ ചില കോറിലേഷൻ ഉണ്ടെന്ന് സൂചിപ്പിക്കുന്നു. നാം ഒരു മൂല്യം മറ്റൊന്നിനെതിരെ സ്കാറ്റർ പ്ലോട്ട് ഉണ്ടാക്കുകയും ബന്ധം ദൃശ്യമായി കാണുകയും ചെയ്യാം:

![ഭാരം, ഉയരം തമ്മിലുള്ള ബന്ധം](../../../../translated_images/ml/weight-height-relationship.3f06bde4ca2aba99.webp)

> കോറിലേഷൻ, കോവേറിയൻസ് എന്നിവയുടെ കൂടുതൽ ഉദാഹരണങ്ങൾ [സഹായക നോട്ട്‌ബുക്കിൽ](notebook.ipynb) കാണാം.

## നിഗമനം

ഈ ഭാഗത്തിൽ നാം പഠിച്ചത്:

* ഡാറ്റയുടെ അടിസ്ഥാന സാങ്കേതിക ഗുണങ്ങൾ, ഉദാ. ശരാശരി, വ്യത്യാസം, മോഡ്, ക്വാർട്ടൈൽസ്
* യാദൃച്ഛിക വേരിയബിളുകളുടെ വ്യത്യസ്ത വിതരണങ്ങൾ, സാധാരണ വിതരണവും ഉൾപ്പെടെ
* വ്യത്യസ്ത ഗുണങ്ങൾ തമ്മിലുള്ള കോറിലേഷൻ കണ്ടെത്തുന്നത് എങ്ങനെ
* ചില ഹിപോത്തസിസുകൾ തെളിയിക്കാൻ ഗണിതവും സാങ്കേതിക വിദ്യയും എങ്ങനെ ഉപയോഗിക്കാമെന്ന്
* ഡാറ്റാ സാമ്പിള്‍ നൽകിയപ്പോൾ യാദൃച്ഛിക വേരിയബിളിന് വിശ്വാസ്യത ഇടവേള എങ്ങനെ കണക്കാക്കാമെന്ന്

ഇത് പ്രൊബബിലിറ്റി, സാങ്കേതിക ശാസ്ത്രം എന്നിവയിലുള്ള വിഷയങ്ങളുടെ പൂർണ്ണമായ പട്ടിക അല്ലെങ്കിലും, ഈ കോഴ്സിൽ നല്ല തുടക്കം നൽകാൻ ഇത് മതിയാകും.

## 🚀 ചലഞ്ച്

നോട്ട്‌ബുക്കിലെ സാമ്പിൾ കോഡ് ഉപയോഗിച്ച് താഴെ പറയുന്ന മറ്റ് ഹിപോത്തസിസുകൾ പരിശോധിക്കുക: 
1. ഫസ്റ്റ് ബേസ്മാൻ സെക്കൻഡ് ബേസ്മാനേക്കാൾ പ്രായം കൂടുതലുള്ളവരാണ്
2. ഫസ്റ്റ് ബേസ്മാൻ തേർഡ് ബേസ്മാനേക്കാൾ ഉയരം കൂടിയവരാണ്
3. ഷോർട്ട്സ്ടോപ്പുകൾ സെക്കൻഡ് ബേസ്മാനേക്കാൾ ഉയരം കൂടിയവരാണ്

## [പോസ്റ്റ്-ലെക്ചർ ക്വിസ്](https://ff-quizzes.netlify.app/en/ds/quiz/7)

## അവലോകനം & സ്വയം പഠനം

പ്രൊബബിലിറ്റി, സാങ്കേതിക ശാസ്ത്രം വളരെ വ്യാപകമായ വിഷയമാണ്, അതിനാൽ അതിന് സ്വന്തം കോഴ്സ് വേണം. തിയറിയിൽ കൂടുതൽ ആഴത്തിൽ പോകാൻ താൽപര്യമുണ്ടെങ്കിൽ, താഴെ പറയുന്ന ചില പുസ്തകങ്ങൾ വായിക്കാൻ നിങ്ങൾക്ക് ആഗ്രഹമുണ്ടാകാം:

1. ന്യൂയോർക്ക് യൂണിവേഴ്സിറ്റിയിലെ [Carlos Fernandez-Granda](https://cims.nyu.edu/~cfgranda/) യുടെ മികച്ച ലെക്ചർ നോട്ടുകൾ [Probability and Statistics for Data Science](https://cims.nyu.edu/~cfgranda/pages/stuff/probability_stats_for_DS.pdf) (ഓൺലൈനിൽ ലഭ്യമാണ്)
1. [Peter and Andrew Bruce. Practical Statistics for Data Scientists.](https://www.oreilly.com/library/view/practical-statistics-for/9781491952955/) [[R-ൽ സാമ്പിൾ കോഡ്](https://github.com/andrewgbruce/statistics-for-data-scientists)].
1. [James D. Miller. Statistics for Data Science](https://www.packtpub.com/product/statistics-for-data-science/9781788290678) [[R-ൽ സാമ്പിൾ കോഡ്](https://github.com/PacktPublishing/Statistics-for-Data-Science)]

## അസൈൻമെന്റ്

[ചെറിയ ഡയബറ്റീസ് പഠനം](assignment.md)

## ക്രെഡിറ്റുകൾ

ഈ പാഠം ♥️ കൊണ്ട് രചിച്ചത് [Dmitry Soshnikov](http://soshnikov.com) ആണ്.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**അസൂയാ**:  
ഈ രേഖ AI വിവർത്തന സേവനം [Co-op Translator](https://github.com/Azure/co-op-translator) ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്. നാം കൃത്യതയ്ക്ക് ശ്രമിച്ചിട്ടുണ്ടെങ്കിലും, സ്വയം പ്രവർത്തിക്കുന്ന വിവർത്തനങ്ങളിൽ പിശകുകൾ അല്ലെങ്കിൽ തെറ്റുകൾ ഉണ്ടാകാമെന്ന് ദയവായി ശ്രദ്ധിക്കുക. അതിന്റെ മാതൃഭാഷയിലുള്ള യഥാർത്ഥ രേഖ പ്രാമാണികമായ ഉറവിടമായി കണക്കാക്കണം. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ വിവർത്തനം ശുപാർശ ചെയ്യപ്പെടുന്നു. ഈ വിവർത്തനം ഉപയോഗിക്കുന്നതിൽ നിന്നുണ്ടാകുന്ന ഏതെങ്കിലും തെറ്റിദ്ധാരണകൾക്കോ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കോ ഞങ്ങൾ ഉത്തരവാദികളല്ല.
<!-- CO-OP TRANSLATOR DISCLAIMER END -->