AiLearning-Theory-Applying/notebook_必备数学基础/假设检验章节/.ipynb_checkpoints/假设检验-checkpoint.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 假设检验的基本思想"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 假设检验\n",
    "<ul>\n",
    "    <li>什么是假设：对总体参数(均值,比例等)的具体数值所作的陈述。比如,我认为新的配方的药效要比原来的更好。\n",
    "    <li>什么是假设检验:先难总体的参数提出某种假设,然后利用样本的信息判断假设是否成立的过程。比如,上面的假设我是要接受还是拒绝呢\n",
    "</ul>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 假设校验的应用\n",
    "<ul>\n",
    "    <li>推广新的教育方案后,教学效果是否有所\n",
    "    <li>提高醉驾判定为刑事犯罪后是否会使得交通事故减少\n",
    "    <li>男生和女生在选文理科时是否存在性别因素影响"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 假设校验的基本思想\n",
    "<img src=\"assets/20201114091803.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "如上图，我们假设总体均值是50，结果计算得到的是20，所以假设μ=50不正确"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 显著性水平\n",
    "<ul>\n",
    "<li>一个概率值，原假设为真时，拒绝原假设的概率，\n",
    "表示为 alpha常用取值为0.01,0.05,0.10。\n",
    "<li>一个公司要来招聘了，实际有200个人准备混一混，\n",
    "但是公司希望只有5%的人是浑水摸鱼进来的，\n",
    "所以可能会有200*0.05=4个人混进来，\n",
    "所谓显著性水a，就是你允许最多有多大比例混水摸鱼的通过你的测试。\n",
    "<li>如上，真实为1，alpha值为0.05的时候，即1-0.05=0.95，也就是得有0.95的可能性才能判定为真，也就是alpha值越小，要求越严格"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 假设检验的步骤\n",
    "<ul>\n",
    "    <li>提出假设\n",
    "    <li>确定适当的检验统计量。如方差验证、卡方验证等\n",
    "    <li>规定显著性水平\n",
    "    <li>计算检验统计量的值\n",
    "    <li>做出统计决策"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 左右侧检验与双侧检验"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 原假设与备择建设\n",
    "<ul>\n",
    "    <li>待检验的假设又叫原假设，也可以叫零假设，表示为HO。(零假设其实就是表示原假设一般都是说没有差异,没有改变。。。)\n",
    "    <li>与原假设对比的假设叫做备择假设，表示为H1\n",
    "    <li>一般在比较的时候，主要有等于，大于，小于"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 检验统计量计算检验的统计量\n",
    "<ul>\n",
    "    <li>计算检验的统计量\n",
    "    <li>根据给定的显著性水平，查表得出相应的临界值\n",
    "    <li>将检验统计量的值与显著性水平的临界值进行比较\n",
    "    <li>得出拒绝或不拒绝原假设的结论"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 检验中常说的小概率\n",
    "<ul>\n",
    "<li>在一次试验中，一个几乎不可能发生的事件发生的概率\n",
    "    <li>在一次试验中，小概率事件一旦发生，我们就有理由拒绝原假设\n",
    "    <li>小概率由我们事先确定，也就是多少的概率我们就拒绝原假设"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### P值\n",
    "<ul>\n",
    "    <li>是一个概率值\n",
    "    <li>如果原假设为真,P-值是抽样分布中大于或小于样本统计量的概率\n",
    "    <li>左侧检验时,P-值为曲线上方小于等于检验统计量部分的面积\n",
    "    <li>右侧检验时,P-值为曲线上方大于等于检验统计量部分的面积"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 左侧检验与右侧检验\n",
    "<img src=\"assets/20201114095426.png\" width=\"70%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 什么时候用左侧检验什么时候用右侧检验\n",
    "<ul>\n",
    "<li>当关键词有不得少于/低于的时候用左侧，比如灯泡的使用寿命不得少于/低于700小时\n",
    "<li>当关键词有不得多于/高于的时候用右侧，比如次品率不得多于/高于5%"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"assets/20201114100216.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<ul>\n",
    "    <li>单侧检验指按分布的一侧计算显著性水平概率的检验。用于检验大于、小于、高于、低于、优于、劣于等有确定性大小关系的假设检验问题。这类问题的确定是有一定的理论依据的。假设检验写作:μ1<μ2或μ1>μ2。\n",
    "    <li>双侧检验指按分布两端计算显著性水平概率的检验，应用于理论上不能确定两个总体一个一定比另一个大或小的假设检验。般假设检验写作H1: μ1≠μ2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "一例如,某种零件的尺寸，要求其平均长度为10cm，大于或小于10cm均属于不合格我们想要证明(检验)大于或小于这两种可能性中的任何一种是否成立建立的原假设与备择假设应为：\n",
    "<br>\n",
    "H0:μ = 10; H1: μ≠10"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 检验结果\n",
    "单侧检验\n",
    "<ul>\n",
    "    <li>若p值 > α，不拒绝H0\n",
    "    <li>若p值 < α，拒绝H0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "双侧检验\n",
    "<ul>\n",
    "    <li>若p值 > α/2，不拒绝H0\n",
    "    <li>若p值 < α/2，拒绝H0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Z检验基本原理"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 总体均值检验\n",
    "什么时候用Z检验，什么时候用T检验\n",
    "<img src=\"assets/20201114101438.png\" width=\"50%\">\n",
    "一般是用T检验"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 统计量Z值的计算公式为\n",
    "如果检验一个样本平均数与一个已知的总体平均数的差异是否显著，其Z值计算公式为：\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "z = \\frac{\\overline{X} - μ}{σ_\\overline{x}} = \\frac{\\overline{X} - μ}{σ/\\sqrt{n}}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "如果检验来自两个的两组样本平均数的差异性，从而判断它们各自代表的总体的差异是否显著，其Z值计算公式为："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "z = \n",
    "\\frac{\\overline{X}_1 - \\overline{X}_2}\n",
    "{S_{\\overline{X}_1-\\overline{X}_2}}\n",
    "= \n",
    "\\frac{\\overline{X}_1 - \\overline{X}_2}\n",
    "{\\sqrt{S^2_1 / n_1 + S^2_2 / n_2}}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Z检验原理\n",
    "<ul>\n",
    "    <li>当总体标准差已知，样本量较大时用标准正态分布的理论来推断差异发生的概率，从而比较平均数的差异是否显著\n",
    "    <li>标准正态变换后Z的界值"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "双侧：\n",
    "$$\n",
    "z_{0.05/2} = 1.96,z_{0.01/2} = 2.58\n",
    "$$\n",
    "单侧：\n",
    "$$\n",
    "Z_{0.05} = 1.645,Z_{0.01} = 2.33\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Z检验实例\n",
    "### Z检验实例1："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "研究正常人与高血压患者胆固醇含量（mg%）的资料如下，试比较两组血清胆固醇含量有无差别。\n",
    "<br>\n",
    "正常人组 \n",
    "$$\n",
    "n_1 = 506,\\overline{X}_1 = 180.6,S_1 = 34.2\n",
    "$$\n",
    "样本数506，均值1800.6，标准差34.2\n",
    "<br>\n",
    "<br>\n",
    "高血压组\n",
    "$$\n",
    "n_2 = 142,\\overline{X}_2 = 223.6,S_2 = 45.8\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "建立检验假设，确定检验水平\n",
    "<ul>\n",
    "<li>H0: μ1 = μ2；认为没有差别\n",
    "<li>H1: μ1 ≠μ2；认为有区别\n",
    "<li>α = 0.05   ；有5%的置信空间，即误差在这个范围内是允许的\n",
    "</li>\n",
    "</ul>\n",
    "计算统计量Z\n",
    "<ul>\n",
    "    <li>将已知数据代入公式</li>\n",
    "$$\n",
    "Z = \\frac{|180.6-223.6|}{\\sqrt{34.2^2/506+45.8^2/142}} = 10.40\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "这里是双侧，即二分之一α，1-α/2=0.975，查表\n",
    "<br>网上搜索：统计分布临界值\n",
    "<img src=\"assets/20201115111943.png\" width=\"50%\">\n",
    "<br><br>\n",
    "1.9+0.6=1.96，统计量为10.4比1.96大，意味着面积肯定小于1.96临界值（α/2）的面积\n",
    "<img src=\"assets/20201115112520.png\" width=\"50%\">\n",
    "根据双侧检验，若p值 < α/2，拒绝H0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "确认P值，作为判断结论；本例Z=10.40>1.96（查表得0.975对应值），故P<0.05，按α=0.05水准拒绝H0，接受H1，可以认为正常人与高血压患者的血清胆固醇含量有差别，高血压患者高于正常人。\n",
    "<br>\n",
    "**注意：我们的第一反应可能是不应该越小表示差异也越小吗，其实是越小于α/2，表示两者值的越偏离，因为我们已经假定了对比值A在中间（H0值），那么对比A（H0）的B（H1）应该越趋向中间（越高），才表示相似**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Z检验实例2："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "某机床厂加工一种零件，根据经验知道，该厂加工零件的椭圆度近似服从正态分布，其总体均值为p=0.081mm，总体标准差为=0.025。今换一种新机床进行加抽取n=200个零件进行检验，得到的椭圆度为0.076mm。试问新机床加工零件的椭圆度的均值与以前有无显著差异?(a=0.05)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "H0: μ = 0.081；H1：μ ≠ 0.081； α = 0.05； n = 200\n",
    "<br>**检验统计量**\n",
    "$$\n",
    "z = \\frac{\\overline{x}-μ_0}{σ/\\sqrt{n}} \n",
    "= \n",
    "\\frac{0.076-0.081}{0.025/\\sqrt{200}} = -2.83\n",
    "$$\n",
    "<br>\n",
    "决策：\n",
    "<br>-2.83在-1.96左侧，也就是p值的面积小于α/2，在α = 0.05的水平上拒绝H0\n",
    "<br>结论：\n",
    "<br>有证据表明新机床加工的零件的椭圆度与以前有显著差异\n",
    "<img src=\"assets/20201115151902.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Z检验实例3：\n",
    "根据过去大量资料，某厂生产的灯泡的使用寿命服从正态分布N~(1020,100^2)。现从最近生产的一批产品中随机抽取16只,测得样本平均寿命为1080小时。试在005的显著性水平下判断这批产品的使用寿命是否有显著提高?(a=0.05)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "H0: μ ≤ 1020；H1：μ ＞ 1020； α = 0.05； n = 16\n",
    "<br>**检验统计量（单侧）**\n",
    "$$\n",
    "z = \\frac{\\overline{x}-μ_0}{σ/\\sqrt{n}} \n",
    "= \n",
    "\\frac{1080-1020}{100/\\sqrt{14}} = 2.4\n",
    "$$\n",
    "1-0.05=0.95，其临界值没有，相近的是0.9505和0.9495，那么把它们两相加除以2作为0.95的临界值，(1.6+1.6)/2+(0.04+0.05)/2=1.645\n",
    "<br>\n",
    "决策：\n",
    "<br>2.4在1.645右侧，也就是p值的面积小于α，在α = 0.05的水平上拒绝H0\n",
    "<br>结论：\n",
    "<br>有证据表明新生产的灯泡的使用寿命有显著提高\n",
    "<img src=\"assets/20201115152913.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## T检验"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 根据研究设计，t检验有三种形式\n",
    "<ul>\n",
    "    <li>单个样本的检验</li>\n",
    "    用来比较一组数据的平均值和一个数值有无差异。例如,你选取了5个人，测定了他们的身高，要看这五个人的身高平均值是否高于、低于还是等于1.70m，就需要用这个检验方法。\n",
    "    <li>配对样本均数t检验(非独立两样本均数t检验)</li>\n",
    "    用来看一组样本在处理前后的平均值有无差异。比如，你选取了5个人，分别在饭前和饭后测量了他们的体重，想检测吃饭对他们的体重有无影响，就需要用这个t检验。\n",
    "    <li>两个独立样本均数t检验</li>\n",
    "    用来看两组数据的平均值有无差异。比如,你选取了5男5女,想看男女之间身高有无差异，这样，男的一组，女的一组，这两个组之间的身高平均值的大小比较可用这种方法。\n",
    "</ul>\n",
    "<br><br>\n",
    "\n",
    "###  单个样本t检验\n",
    "\n",
    "<ul>\n",
    "    <li>又称单样本均数t检验(one sample t test)，适用于样本均数与己知总体均数μ0的比较,目的是检验样本均数所代表的总体均数μ是否与已知总体均数μ0有差别。\n",
    "    <li>已知总体均数μ0一般为标准值、理论值或经大量观察得到的较稳定的指标值。\n",
    "    <li>应用条件，总体标准α未知的小样本资料，且服从正态分布。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 实例\n",
    "以往通过大规模调査已知某地新生儿出生体重为3.30kg。从该地难产儿中随机抽取35名新生儿,平均出生体重为3.42kg,标准差为0.40kg,问该地难产儿出生体重是否与一般新生儿体重不同?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "建立检验假设，确定检验水准\n",
    "H0： μ=μ0；H1：μ≠μ0；α=0.05\n",
    "<br>\n",
    "计算检验统计量\n",
    "$$\n",
    "t = \\frac{\\overline{X} - μ_0}{S_{\\overline{x}}}\n",
    "= \\frac{\\overline{X}-μ_0}{S/\\sqrt{n}}\n",
    "= \\frac{3.42-3.30}{0.40/\\sqrt{35}}\n",
    "= 1.77\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "本例自由度v=n-1=35-1=34,查表得得t0.052/34=2.032。因为t<t0.052/34，故P>0.05，按α=0.05水准，不拒绝H0，差别无统计学意义，尚不能认为该地难产;\n",
    "<br>自由度：可以随意变换的个数是多少"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "网上搜索：t分布临界值表\n",
    "<img src=\"assets/20201116212408.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 配对样本均数t检验\n",
    "<ul>\n",
    "<li>简称配对t检验( paired t test)，又称非独立俩样木均数t检验，适用于配对设计计量资料均数的比较\n",
    "    <li>配对设计( paired design)是将受试对象按某些特征相近的原则配成对子，每对中的两个个体随机地给予两种处理"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 配对样本均数t检验原理\n",
    "<ul>\n",
    "<li>配对设计的资料具有对子内数据一一对应的特征，研究者应关心是对子的效应差值而不是各自的效应值。\n",
    "<li>进行配对t检验时，首选应计算各对数据间的差值d，将d作为变量计算均数。\n",
    "<li>配对样本t检验的基本原理是假设两种处理的效应相同，理论上差值d的总体均数μd为0，现有的不等于0差值样本均数可以来自μd=0的总体，也可以来ud≠0的总体。\n",
    "<li>可将该检验理解为差值样本均数与已知总体均数μd(pd=0)比较的单样本t检验,其检验统计量"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "t = \\frac{\\overline{d} - μ_d}{S_{\\overline{d}}}\n",
    "= \\frac{\\overline{d} - 0}{S_{\\overline{d}}}\n",
    "= \\frac{\\overline{d}}{S_d/\\sqrt{n}}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## T检验实例"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**实例1：**\n",
    "<br>\n",
    "有12名接种卡介苗的儿童，8周虐用两批不同的结核菌素，一批是标准结核菌素，一批是新制结核菌素，分别注射在儿童的前臂，两种结核菌素的皮肤浸润反应平均直径(mm)如表所示，问两种结核菌素的反应性有无差别。\n",
    "<img src=\"assets/20201116215635.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "建立检验假设，确定检验水准\n",
    "<br>H0:μd = 0\n",
    "<br>H1：μd ≠ 0\n",
    "<br>α = 0.05\n",
    "<br>计算检验统计量本例\n",
    "$$\n",
    "\\sum d = 39, \\sum d^2 = 195\n",
    "$$\n",
    "<br>先计算差数的标准差\n",
    "$$\n",
    "S_d = \\sqrt{\\frac{\\sum d^2 - \\frac{(\\sum d)^2}{n}}{n-1}}\n",
    "= \\sqrt{\\frac{195-\\frac{(39)^2}{12}}{12-1}}\n",
    "= 2.4909\n",
    "$$\n",
    "<br>计算差值的标准误\n",
    "$$\n",
    "S_{\\overline{d}} = \\frac{S_d}{\\sqrt{n}}\n",
    "= \\frac{2.4909}{3.464}\n",
    "= 0.7191\n",
    "$$\n",
    "<br> 按公式计算，得\n",
    "$$\n",
    "t = \\frac{\\overline{d}}{S_{\\overline{d}}}\n",
    "= \\frac{3.25}{0.7191}\n",
    "= 4.5195\n",
    "$$\n",
    "确定P值，作出推断结论\n",
    "<br>自由度计算为 v=n-1=12-1=11,\n",
    "<br>查附表，得t0.05/2.11 = 2.201,\n",
    "<br>本例t > t0.05/2.11，\n",
    "<br>P < 0.05，拒绝H0，接受H1，反应结果有差别。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 两独立样本t检验\n",
    "<ul>\n",
    "<li>两独立样本t检验(two independent sample t-test)，又称成组t检验。\n",
    "<li>适用于完全随机设计的两样本均数的比较，其目的是检验两样本所来自总体的均数是否相等。\n",
    "<li>完全随机设计是将受试对象随机地分配到两组中，每组患者分别接受不同的处理，分析比较处理的效应，\n",
    "<li>两独立样本t检验要求两样本所代表的总体服从正态分布N(μ1,σ42)和N(μ2,σ2)，且两总体方差σ1^2、σ2^2相等即方差齐性。若两总体方差不等需要先进行变换。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 两独立样木t检验原理\n",
    "两独立样本t检验的检验假设是两总体均数相等，即H0:u1=2，也可表述为u1-μ2=0，这里可将两样本均数的差值看成一个变量样本则在H0条件下两独立样本均数t检验可视为样本与已知总体均数μ1-μ2=0的单样本t检验，统计量计算公式为\n",
    "$$\n",
    "t = \\frac{|(\\overline{X}_1 - \\overline{X}_2|) - (μ_1 - μ_2)}{S_{\\overline{X}_1-\\overline{X}_2}}, v=n_1+n_2-2\n",
    "$$\n",
    "$$\n",
    "S_{\\overline{X}_1-\\overline{X}_2} = \\sqrt{S_c^2(\\frac{1}{n_1}+\\frac{1}{n_2})}\n",
    "$$\n",
    "$$\n",
    "S_c^2 = \\frac{\\sum X^2_1 - \\frac{(\\sum X_t)^2}{n_1}+\\sum X_2^2 - \\frac{(\\sum X_2)^2}{n_2}}{n_1+n_2-2}\n",
    "$$\n",
    "$$\n",
    "S_c^2称为合并方差(combined/pooled variance)\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**实例2：**\n",
    "<br>\n",
    "25例糖尿病患者随机分成两组，甲组单纯用药物治疗，乙组采用药物治疗合并饮食疗法，二个月后测空腹血糖(mmoL)如表所示，问两种疗法治疗后患者血糖值是否相同?\n",
    "<img src=\"assets/20201116221815.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "建立检验假设，确定检验水准\n",
    "<br>H0：μ1=μ2；H1：μ1≠μ2；α=0.05\n",
    "<br>计算检验统计量\n",
    "<br>由原数据算得:\n",
    "$$\n",
    "n_1=12, \\sum X_1=182.5,\\sum X_1^2=2953.43,n_2=13,\\sum X_2=141.0,\n",
    "\\sum X_2^2=1743.16, \\overline{X}_1=\\sum X_1/n_1=182.5/12=15.21, \n",
    "\\overline{X}_2/n_2=14.16/13=10.85\n",
    "$$\n",
    "$$\n",
    "代入公式，得\n",
    "S_c^2 = \\frac{2953.43 - \\frac{(182.5)^2}{12}+1743.16-\\frac{(141.0)^2}{13}}{12+13-2} = 17.03\n",
    "$$\n",
    "$$\n",
    "S_{\\overline{X}_1-\\overline{X}_2} = \\sqrt{17.03(\\frac{1}{12}+\\frac{1}{13})}\n",
    "=1.652\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## T检验应用条件\n",
    "<ul>\n",
    "    <li>两组计量资料小样本比较。\n",
    "    <li>样本对总体有较好代表性，对比组间有较好组间均衡性一一随机抽样和随机分组\n",
    "    <li>样本来自正态分布总体，配对t检验要求差值服从正态分布，大样本时，用z检验，且正态性要求可以放宽\n",
    "    <li>两独立样本均数t检验要求方差齐性一一两组总体方差相等或两样本方差间无显著性正态性"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 正态性检验和两总体方差的齐性检验\n",
    "正态性检验\n",
    "<ul>\n",
    "    <li>图示法:常用的图示法包括P-P图法和QQ图法。图中数据呈直线关系可认为呈正态分布，不呈直线关系可认为呈偏态分布\n",
    "    <li>偏度检验:主要计算偏度系数,H0O:G1=0,总体分布对称H1:G1#0,总体分布不对称\n",
    "\n",
    "<img src=\"assets/20201117073547.png\" width=\"30%\">\n",
    "    <li>峰值检验，主要计算峰度系数，H0: G2=0，总体分布为正态峰，H1：G2≠0，总体分布不是正态峰\n",
    "    <img src=\"assets/20201117075130.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 卡方检验（Chi-square test）\n",
    "用于检验两个(或多个)率或构成比之间差别是否有统计学意义，配对卡方检验检验配对计数资料的差异是否有统计学意义。\n",
    "\n",
    "### 基本思想\n",
    "检验实际频数(A)和理论频数(T的差别是否由抽样误差所引起的。也就是由样本率(或样本构成比)来推断总体率或构成比"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**实例1：**\n",
    "<br>\n",
    "两种药物治疗青溃疡有效率的比较\n",
    "<img src=\"assets/20201117223133.png\" width=\"30%\">\n",
    "理论频数与实际频数的差别：\n",
    "$$\n",
    "X^2 = \\sum \\frac{(A_{RC}-T_{RC})^2}{T_{RC}}\n",
    "$$\n",
    "ARC是位于R行C列交叉处的实际频数，TRC是位于R行C列交叉处的理论频数。(ARC-TRC)反映实际频数与理论频数的差距，除以TRC为的是考虑相对差距。所以，x^2值反映了实际频数与理论频数的吻合程度，X^2值大，说明实际频数与理论频数的差距大。Ⅹ^2值的大小除了与实际频数和理论频数的差的大小关外，还与它们的行、列数有关。即自由度的大小。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 理论频数根据假设来计算\n",
    "无效假设是A药组与B药组的总体有效率相等，均等于合计的阳性率(110/165)。那么理论上，A药组的85例中阳性人数应为85(110/165)=56.67，阴性人数为85(55/165)=28.33；同理，B药组的80例中阳性人数应为80(110/165)=53.33，阴性人数为80(55/165)=26.67。\n",
    "<img src=\"assets/20201117224924.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "基本公式: \n",
    "$$\n",
    "X^2 = \\sum \\frac{(A-T)^2}{T}\n",
    "$$\n",
    "$$\n",
    "= \\frac{[a-\\frac{(a+b)(a+c)}{a+b+c+d}]^2}{\\frac{(a+b)(a+c)}{a+b+c+d}}\n",
    "+ \\frac{[b-\\frac{(a+b)(b+d)}{a+b+c+d}]^2}{\\frac{(a+b)(b+d)}{a+b+c+d}}\n",
    "+...\n",
    "+ \\frac{[d-\\frac{(c+d)(b+d)}{a+b+c+d}]^2}{\\frac{(c+d)(b+d)}{a+b+c+d}}\n",
    "$$\n",
    "$$\n",
    "= \\frac{(ad-bc)^2 * n}{(a+b)(c+d)(a+c)(b+d)}\n",
    "$$\n",
    "$$\n",
    "v = 1\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "若检验假设H0:π1=π2成立，四个格子的实际频数A与理论频数T相差不应该很大，即统计量x2不应该很大。如果x2值很大，即相对应的P值很小，若P≤α，则反过来推断A与T相差太大，超出了抽样误差允许的范围，从而怀疑H0的正确性，继而拒绝Ho，接受其对立假设H1,即π1≠π2。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**实例2**\n",
    "<br>\n",
    "某药品检验所随机抽取574名成年人，研究抗生素的耐药性。问两种人群的耐药率是否一致?\n",
    "\n",
    "<img src=\"assets/20201117225550.png\" width=\"30%\">\n",
    "<img src=\"assets/20201117225642.png\" width=\"30%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "(1) 建立假设并确定检验水准\n",
    "<ul>\n",
    "    <li>H0:两种人群对该抗生素的耐药率相同,即π1=m2;(两总体率相等)\n",
    "    <li>H1:两种人群对该抗生素的耐药率不同,即π1≠m2:(两总体不相等)\n",
    "    <li>α=0.05\n",
    "</ul>\n",
    "(2) 计算检验统计量\n",
    "$$\n",
    "X^2 = \\frac{(180-17410)^2}{17410}+\\frac{(215-22090)^2}{22090}+...\n",
    "+\\frac{(106-10010)^2}{10010} = 23.12\n",
    "$$\n",
    "(3) 得出结果\n",
    "査表确定P值,P>0.05,得出结论。按0.05水准，不拒绝H0，可以认为两组人群对该抗生素的耐药率的差异无统计学意义。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 假设检验中的两类错误\n",
    "第一类错误（弃真错误）：\n",
    "<ul>\n",
    "    <li>原假设为真时拒绝原假设\n",
    "    <li>第一类错误的概率为α\n",
    "</ul>\n",
    "第二类错误（取伪错误）：\n",
    "<ul>\n",
    "    <li>原假设为假时接受原假设\n",
    "    <li>第二类错误的概率为β\n",
    "<img src=\"assets/20201118213423.png\" width=\"50%\">\n",
    "<img src=\"assets/20201118213541.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 实例：\n",
    "一个公司有员工3000人(研究的总体)，为了检验公司员工工资统计报表的真实性，研究者作了50人的大样本随机抽样调查，人均收入的调查结果是：X(样本均值)=87个元；S(标准差)=21元，问能否认为统计报表中人均收入μ0=880元的数据是真实的?(显著性水平a=005)\n",
    "<ul>\n",
    "    <li>原假设H0:调查数据871元与报表数据880元之间没有显著性差异，公司员工工资均值的真实情况为880。\n",
    "    <li>假设H1:调查数据和报表数据之间有显著性的差异，公司员工工资均值的真实情况不是880元，\n",
    "</ul>\n",
    "**α错误出现原因**\n",
    "<br>\n",
    "我们只抽了一个样本，而个别的样本可能是特殊的，不管你的抽样多么符合科学抽样的要求。理论上讲，在3000个员工中随机抽取50人作为调查样本，有种构成样本的可能性，相当于3000选50，这个数目是很大的。这样，在理论上就有存在很多个样本平均数。也就是说，由于小概率事件的出现，我们把本来真实的原假设拒绝了。这就是a错误出现的原因。\n",
    "**β错误出现原因**\n",
    "<br>\n",
    "第二个问题是检验的逻辑犯了从结论推断前提的错误。命题B是由命題A经演绎推论岀来的，或写作符号A→B，命題C是我们在检验中所依据操作法则。如果A是真的，且我们从A到B的演绎推论如果也是正确的，那么B可能是真实的。相反，如果结果B是真实的，那么就不能得出A必定是真实的结论。这就是β错误出现的原因\n",
    "**α错误概率计算**\n",
    "<br>\n",
    "由实际推断原理引起的，即“小概率事件不会发生”的假定所引起的，所以有理由将所有小概率事件发生的概率之和或者即显著性水平(α=0.05)看作α错误发生的概率，换言之，α错误发生的概率为检验所选择的显著性水平。如果是单侧检验，弃真错误的概率则为α/2。\n",
    "\n",
    "**β错误的概率计算**\n",
    "<br>\n",
    "犯β错误的概率的计算是比较复杂的，由于β错误的出现原因是属于逻辑上的，所以在总体参数不知道的情况下是无法计算它岀现概率的大小的。我们在以上例子的基础上进一步设计：这个公司职员的实际工资不是880元，而是是870元，原假设为伪，仍然假设实际工资是880元。这样我们就可以在总体均值为870元和880元两种情况下，分别作出两条正态分布曲线(A线和B线)\n",
    "<img src=\"assets/20201118214138.png\" width=\"50%\">\n",
    "\n",
    "犯β错误的概率大小就是相对正态曲线A而言，图1中阴影部分的面积：Z×1=1.41，Z×2=5.59\n",
    "<br>\n",
    "查标准正态分布表可知，β=ϕ(Z×2)-ϕ(Z×1)=0.0793结果表明，如果总体的真值为870元,而虚无假设为880元的话，那么，平均而言每100次抽样中，将约有8次把真实情况当作880元被接受，即犯β错误的概率大小是0.0793。\n",
    "<br><br>\n",
    "犯第一类错误的危害较大，由于报告了本来不存在的现象，则因此现象而衍生出的后续研究、应用的危害将是不可估量的。想对而言,第二类错误的危害则相对较小，因为研究者如果对自己的假设很有信心，可能会重新设计实验，再次来过，直到得到自己满意的结果（但是如果对本就错误的观点坚持的话，可能会演变成第一类错误）"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}