-
概率论
-
随机事件及其概率
-
随机事件
-
概念
- 随机试验
- 在相同条件下可重复进行且每次结果不可预言的实验
- 样本空间
- 随机试验E所有可能的结果组成的集合,记为Ω
- 基本事件 / 样本点
- 样本空间的元素,即随机实验 E 的直接结果
- 随机事件
- 在随机试验中可能发生也可能不发生的事件
- 样本空间的子集,常记为A,B…,是满足某些条件的样本点所组成的集合
- 随机事件发生当且仅当组成它的基本事件有一个发生
- 必然事件
- 所有样本点所组成的事件,每次试验必定发生的事件
- 不可能事件
- 每次试验必定不发生的事件,不包含任何样本点的事件, 记为Φ
-
关系
- 包含于——A⊂B
- 组成 A 的样本点也是组成 B 的样本点
- 事件 A 发生必导致事件 B 发生
- 等于——A=B
- A⊂B 且 B⊂A
- 互斥 / 互不相容
- AB = Ø
- A、B 不可能同时发生
- 互相对立 / 逆
- AB = Ø and A∪B = Ω
- 每次试验 A、B中必有一个也只有一个发生
- 独立
- 定义
- 若 P(AB) = P(A)P(B) 则称事件 A 与事件 B 相互独立
- 3个事件 A, B, C 相互独立是指以下关系式同时成立:
- (1)
- P(AB)=P(A)P(B)
- P(AC)=P(A)P(C)
- P(BC)=P(B)P(C)
- (2)
- P(ABC)=P(A)P(B)P(C)
- n个事件 A1, A2, ... An 相互独立是指以下关系式同时成立:
- P(Ai∩Aj) = P(Ai)P(Aj)
- P(Ai∩Aj∩Ak) = P(Ai)P(Aj)P(Ak)
- ...
- P(A1∩A2∩...∩An) = P(A1)P(A2)...P(An)
- 注意
- (1)与(2)互相不能推出
- 仅满足(1)时称两两独立
- 相互独立 => 两两独立
- 性质
- A、B相互独立,若 P(A)>0,则 P(B) = P(B|A)
- 以下四对事件任意一对相互独立,其它三对也相互独立:
- 若P(A)>0,P(B)>0,则A与B不可能既互斥又相互独立
- n个事件 A1, A2, ... An 相互独立,将这 n 个事件任意划分成 k 组,则对每组的事件进行求和、积、差、对立等运算所得到的 k 个事件也相互独立
- 题型:求独立事件的并事件
- Topic
-
运算
- 类型
- 积事件——A∩B 或 AB
- 由同时属于 A 与 B 的样本点所组成的事件
- A∩B 发生 <=> 事件 A 与事件 B 同时发生
- 差事件——A-B
- 由属于 A 但不属于 B 的样本点所组成的事件
- A-B 发生 <=> 事件 A 发生,但事件 B 不发生
- 和事件——A∪B 或 A+B
- 由组成 A 与组成 B 的所有的样本点所组成的事件
- A+B 发生 <=> 事件 A 与事件 B 至少有一个发生
- 运算率
- 与集合一样
-
随机事件的概率
-
定义
- 古典定义
- 设 E 是一随机试验,其基本事件的个数有限且每个基本事件发生的可能性大小相同,则称 E 为等可能概型
- 计算
- P(A) = k / n,其中:
- n = S中包含的基本事件的个数
- k = 组成A的基本事件个数
- 性质
- 非负性:∀A⊂S,P(A)≥0
- 规范性:P(S) = 1
- 有限可加性:
- (其中Ai两两互斥)
- 几何定义
- 设样本空间是一个有限区域 S,若样本点落入 S 内任何区域 A 中的概率与区域A 的测度成正比,则样本点落入A内的概率为
P(A) = A的测度 / S的测度 = L(A) / L(S)
- 等可能概型的推广
- 性质
- 非负性、规范性、有限可加性
- 可列可加性:
- 统计定义
- 设在 n 次试验中,事件 A 发生了n_A 次,事件 A 在这 n 次试验中发生的频率为
- 性质
- 非负性、规范性、可加性
- 稳定性:
- 公理化定义
- 设 Ω 是随机试验 E 的样本空间,若能找到一个法则,使得对于E 的每一事件 A 赋于一个实数,记为 P(A), 称之为事件 A 的概率,这种赋值满足非负性、规范性和可列可加性
- 性质
- P(Ø) = 0
- 有限可加性
- P(A) ≤ 1
- A⊂B => P(A)≤P(B)
- P(A∪B) = P(A) + P(B) - P(AB) ≤ P(A) + P(B)
-
条件概率
- 定义
- 设A、B为两事件,P(B)>0,则称
P(A|B) = P(AB) / P(B)
为事件 B 发生的条件下事件 A 发生的条件概率
- 若 A⊂B,则 P(A|B) = P(A)/P(B)
- 计算方法
- 等可能概型可用缩减样本空间法
- 其他概型用定义与有关公式
- 性质
- 与普通概率一样
-
乘法公式
- 形式
- P(AB) = P(A)P(B|A)
- P(AB) = P(B)P(A|B)
- 推广:P(A1∩A2∩...∩An) = P(A1)P(A2|A1)…P(An|A1∩A2∩A_{n-1})
- 应用
- 求积事件的概率
-
全概率公式
- 形式
- Topic
- 意义
- 事件组 Bi 一般是导致A发生的所有可能的原因
-
Bayes 公式
- 形式
- Topic
- 意义
- 事件 A 发生时,其原因是 Bk 的概率
-
使用条件
- Topic
- Topic
- P(Bi)>0
-
随机变量及其分布
-
一维随机变量
-
定义
- 样本空间Ω上的实值函数 X: Ω→R
- 若函数值只取0和1,则称为示性变量
-
特点
- 定义域:Ω
- 随机性:
随机变量 X 的可能取值不止一个,试验前只能预知它的可能的取值但不能预知取哪个值
- 概率特性:X 以一定的概率取某个值或某些值
-
分布函数
- 定义
- F(x) = P(X≤x)
- 性质
- 单调不减
- 0≤F(x)≤1,且
- Topic
- 右连续
- 利用分布函数计算概率
- P(a<X≤b) = F(b) - F(a)
- P(X>a) = 1 - F(a)
- P(X=a) = F(a) - F(a-0)
-
分类
- 离散型
- 概率分布 / 分布律
- 形式
- P(X=x_k) = p_k, k=1,2,...
- 或
- 性质
- 非负性
- 规范性:
- 分布函数
- Topic
- Topic
- 常见分布
(概率密度、期望、方差见常用分布表)
- 0-1 分布
- 二项分布
- 最可能出现次数 k
- (n+1)p - 1 ≤ k ≤ (n+1)p
- Possion 定理
- 当n较大p较小时,近似地有 X~P(np),即
- 其中 λ=np
- 设 X ~ B(n1,p), Y ~ B(n2,p),且X、Y相互独立,则 X + Y ~ B(n1+n2, p)
- Possion 分布
- 设 X ~ P (λ1), Y ~ P (λ2),且X、Y相互独立,则 X + Y ~ P(λ1+ λ2)
- 超几何分布
- 连续型
- 分布函数
- Topic
- 概率密度
- 在 f(x) 的连续点处 f(x) = F'(x)
- 性质
- 非负性
- 规范性:
- 题型
- 检验一个函数能否作为连续性随机变量的密度函数
- 求密度函数中的未知参数
- 概率性质
- 对连续型随机变量X,P(X=a) = 0
- 概率为 1 的事件未必发生
- 概率为 0 的事件未必不发生
- 常见分布
(概率密度、期望、方差见常用分布表)
- 均匀分布
- 指数分布
- 正态分布
- f(x) 的性质
- 图形关于直线 x = μ 对称
- f (μ + x) = f (μ - x)
- x = μ 时,f(x) 取得最大值
- 曲线 y = f(x) 以 x 轴为渐近线
- 标准正态分布 N(0,1)
- 密度函数
- 分布函数 Φ(x) 性质
- Φ(0) = 0.5
- Φ(x) + Φ(-x) = 1
- P(|X| < a) = 2Φ(a) - 1
- X ~ N(μ, σ^2) 则其分布函数
- 分位数 / 分位点
- 若 Φ(z_α) = α,则 z_α 称为正态分布的 α 分位点
- 即满足 Φ(x) = α 的 x 就是 α 分位点
- 性质
- Topic
- Topic
- Topic
- Topic
- 若 X1, X2,..., Xn 相互独立,Xi~N(μi, σi^2),则
-
常用分布表
- Topic
-
二维随机变量
-
定义
- 样本空间Ω上的实值函数 (X, Y): Ω→R^2
-
分布
- 联合分布函数
- 定义
- F(x, y) = P(X≤x, Y≤y)
- 几何意义
- Topic
- 性质
- 0≤F(x,y)≤1
- F(+∞,+∞)=1
- F(-∞,-∞)=0
- 对每个变量单调不减
- 对每个变量右连续
- 对任意a<b, c<d,F(b,d)-F(b,c)-F(a,d)+F(a,c) ≥ 0
- 边缘分布函数
- Topic
- Topic
- 边缘分布可由联合分布唯一确定,但反之不一定
- 条件分布函数
-
分类
- 离散型
- 联合分布
- 联合分布函数
- Topic
- 联合概率分布 / 分布律
- P(X = x_i, Y = y_j) = p_ij
- 求法:利用乘法公式
- 边缘分布
- 边缘分布律
- Topic
- Topic
- 条件分布
- 条件分布律
- 定义
- Topic
- Topic
- 要求分母为正
- 性质
- 类似乘法公式
- Topic
- Topic
- 类似全概率公式
- Topic
- Topic
- 连续型
- 联合分布
- 联合分布函数
- Topic
- 联合密度函数
- 在联合密度的连续点处
- P(x<X≤x+Δx, y<Y≤y+Δy) ≈ f(x, y)ΔxΔy
- 性质
- 非负性
- 规范性:
- 题型
- 求密度函数中的未知参数
- 检验一个函数能否作为连续性随机变量的密度函数
- 边缘分布
- 边缘分布函数
- Topic
- Topic
- 求解方法
- 利用联合分布函数,令其他变量为+∞
- 对边缘密度积分
- 边缘密度函数
- Topic
- Topic
- 求解方法
- 利用联合分布函数,求出边缘分布函数,再求导
- 对联合密度积分
- 条件分布
- 条件分布函数
- Topic
- 是 x 的函数, y 是常数
以下条件分布函数与密度函数同理
- Topic
- 要求分母为正
- 条件密度函数
- 定义
- Topic
- Topic
- 性质
- 类似乘法公式
- Topic
- 类似全概率公式
- Topic
- Topic
- 类似Bayes公式
- Topic
- Topic
- 概率性质
- P( X = a ,Y = b ) = 0
- P( X = a ,-∞ < Y < +∞) = 0
- P( -∞ < X < +∞, Y = a) = 0
- 若G 是平面上的区域,则
- 常见分布
- 均匀分布
- 区域G上的均匀分布,记作 U(G)
- 概率密度
- Topic
- A 为区域 G 的面积
- 边平行于坐标轴的矩形域上的均匀分布的边缘分布仍为均匀分布
- 正态分布
- 概率密度
- ( X ,Y ) ~ N(μ_1,σ_1^2; μ_2, σ_2^2;ρ)
- Topic
- 边缘分布仍是正态分布
- X ~ N(μ_1,σ_1^2)
- Y ~ N(μ_2,σ_2^2)
- ρ 是X、Y的相关系数
- X、Y 相互独立 idd. X、Y不相关,即 ρ=0
- 若 (X,Y)~N(μ1, σ1^2; μ2, σ2^2),则
-
两个随机变量的相互独立性
- 定义
- 设(X,Y)为二维随机变量,若对于任何实数 x, y 都有 P(X≤x, Y≤y) = P(X≤x)P(Y≤y) 则 X 和 Y 相互独立
- 可推广到 n 维
- X、Y 独立的充要条件
- Topic
- ∀a<b, c<d: P(a<X≤b, c<Y≤d) = P(a<X≤b)·P(c<Y≤d)
- ∀a, c∈R: P(X>a, Y>c) = P(X>a)·P(Y>c)
- (离散型)
- (连续型)
- (连续型)
- 判断连续型二维随机变量相互独立的两个重要结论
- r(x), g(y)为非负可积函数,且 f(x,y) = r(x)g(y),则
- X、Y 相互独立
- Topic
- 设 X ,Y 为相互独立的随机变量,u(x)、v(y)为连续函数, 则U = u(X),V = v (Y)也相互独立
-
函数的分布
-
一维随机变量函数的分布
- 离散型
- 若Y=g(X),有
- 连续型
- 定理
- 前提
- y=y(x) 在区间 (a,b) 上严格单调
- y(x) 的反函数 x=x(y) 有连续导数
- 结论
- Y=y(X)是一个连续型随机变量,概率密度为
- 推广
- 若y=g(x)并非严格单调,而是分段严格单调,则
- I*为使反函数导数连续的y的集合
- 求得函数的分布函数后求导
- Topic
- Topic
-
二维随机变量函数的分布
- 离散型
- Topic
- 连续型
- 方法
- 从求Z的分布函数出发,将Z的分布函数转化为( X ,Y )的事件
- Topic
- 建立一个新的二维随机变量(Z ,X)或(Z, Y),求其边缘分布得Z的密度函数
- 常用随机变量函数
- Z = X + Y
- 分布函数:
- 概率密度:
- Z = X - Y
- 概率密度:
- Z = aX +bY + c
- Topic
- 其中
- Topic
- 其中
- Z = X / Y
- 概率密度:
- Z = XY
- 概率密度:
- Z = X^2 + Y^2
- 分布函数:
- 概率密度:
- 极值分布
- Z = max(X, Y)
- Topic
- 特别地,特别地 X ,Y 相互独立时
- 推广:
- Z = min(X, Y)
- Topic
- 特别地,特别地 X ,Y 相互独立时
- 推广:
-
随机变量的数字特征
-
单个随机变量
-
数学期望
- 定义
- 离散型
- Topic
- 连续型
- Topic
- 随机变量函数的数学期望
- 一维 Y=g(x)
- 离散型
- Topic
- 连续型
- Topic
- 二维 Z = g(X ,Y )
- 离散型
- Topic
- 连续型
- Topic
- 不是所有的随机变量都有数学期望,以上无穷级数 / 广义积分均要求绝对收敛
- 数学期望的本质 —— 加权平均,它是一个数不再是随机变量
- 重要随机变量函数的数学期望
- 一维
- X 的 k 阶原点矩
- X 的 k 阶绝对原点矩
- X 的 k 阶中心矩
- X 的 方差
- 二维
- X ,Y 的 k + l 阶原点混合矩
- X ,Y 的 k + l 阶中心混合矩
- X ,Y 的 二阶原点矩 E(XY)
- X ,Y 的协方差(二阶中心混合矩) Cov(X,Y)=E[(X-EX)(Y-EY)]
- X ,Y 的相关系数
- 性质
- E(C) = C
- E(CX) = C·E(X)
- E(X+Y) = E(X) + E(Y)
- Topic
- 若 X,Y 为相互独立随机变量,E(XY) = EX · EY
- 逆命题不成立
-
方差
- 定义
- D(X) = E(X-EX)^2
- 均方差:sqrt(DX)
- 意义
- 随机变量X的取值偏离平均值的平均偏离程度(是一个数而不是一个随机变量)
- 常用计算公式
- Topic
- 有时也用于计算E(X^2)
- 性质
- D(C) = 0
- D(CX) = C^2·D(X)
- D(aX+b) = a^2·D(X)
- D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
- 特别地,若X ,Y 相互独立则
D(X±Y)=D(X)+D(Y)
- 逆命题不成立
- D(X)=0 <=> P(X = EX)=1
- 对任意常数C,D (X) ≤ E(X – C)^2
当且仅当 C=EX 时等号成立
-
标准化随机变量
- 定义
- 设随机变量 X 的期望E(X )、方差D(X )都存在,且D(X )≠0,则 X 的标准化随机变量为
- E(X*)=0
D(X*)=1
-
两个随机变量
-
协方差
- 定义
- X ,Y 的协方差:Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX·EY
- (X , Y)的协方差矩阵:
- 可以证明协方差矩阵为半正定矩阵
- 常用计算公式
- Cov(X,Y) = E(XY)-EX·EY
- 性质
- Cov(X,Y) = Cov(Y,X)
- Cov(aX,bY) = ab·Cov(X,Y)
- Cov(X+Y,Z) = Cov(X,Z) + Cov(Y,Z)
- Cov(X,X) = D(X)
- [Cov(X,Y)]^2 ≤ D(X)D(Y)
- 当且仅当|ρ|=1时等号成立
-
相关系数
- 定义
- 为X,Y的相关系数:
- 事实上,ρ_XY = Cov(X*, Y*)
- 若 ρ_XY=0,称 X、Y 不相关
- 意义
- ρ 刻画了随机变量X与Y之间线性关系的近似程度。
|ρ|越接近于1,X与Y越接近线性关系。
- |ρ|=1 <=> P( Y=aX+b ) = 1
- X、Y相互独立 => X、Y不相关(ρ=0)
- 反之不成立
- 但正态变量而言,相互独立与不相关是互为充要条件的
- 性质
- |ρ| ≤ 1
-
统计学
-
大数定律与中心极限定理
-
大数定律
-
重要不等式
- 马尔可夫(Markov)不等式
- 内容
- 设非负随机变量 X 的期望 E( X )存在,则对于任意实数 ε > 0,
- 切贝雪夫(Chebyshev)不等式
- 内容
- 设随机变量 X 的方差 D( X )存在,则对于任意实数 ε > 0
- Topic
- 或
- 题型
- 已知随机变量 X 分布的期望 E(X) 和方差 D(X),求 X 与 E(X) 偏差在一定范围内的概率
- 上述问题的逆问题,即给出 X 与它的期望 E(X) 偏差在某一范围内的概率,求某些参数
- 证明参数估计量的一致性
-
大数定律
- 贝努里(Bernoulli) 大数定理
- 内容
- 设 n_A 是 n 次独立重复试验中事件 A 发生的次数,p 是每次试验中 A 发生的概率,则对任意 ε > 0 有
- Topic
- 或
- 意义
- 事件发生的频率依概率收敛于事件发生的概率
- 切比雪夫(Chebyshev)定理
- 内容
- 设 X1,X2,...,Xn,... 是相互独立的随机变量序列,E(X_k)=μ_k, D(X_k)=(σ_k)^2≤σ^2,有
- Topic
- 推论:
独立同分布时的切比雪夫大数定律
- 上述条件改为 E(X_k)=μ,D(X_k)=σ^2,有
- Topic
- 或
- 意义
- 具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望
-
中心极限定理
-
独立同分布的中心极限定理
- 设随机变量序列 X1,X2,...,Xn,... 独立同分布,E(X_i)=μ,D(X_i)=σ^2,则
- Topic
- 即
- 题型:求独立同分布的随机变量的和 ∑Xi 在某范围内的概率
-
棣莫佛-拉普拉斯(de Movire - Laplace)定理
- 若 μ_n ~ B( n , p) , 0 < p < 1
- 则对任意实数 x,有
- 即对任意的 a < b,有
- 即 μ_n ~ N (np , np(1-p)) (近似)
- 题型
- 进行 n 重伯努利实验,求事件 A 发生的次数 X 与它的期望 E(X) 偏差在某一范围内的概率
- 上述问题的逆问题,即给出 X 与它的期望 E(X) 偏差在某一范围内的概率,求某些参数(如偏差范围、实验次数等)
- 此类问题切贝雪夫不等式也能解决,但精确度不如棣莫佛-拉普拉斯定理
-
意义
- 在实际问题中,若某随机变量可以看作是有相互独立的大量随机变量综合作用的结果,每一个因素在总的影响中的作用都很微小,则综合作用的结果服从正态分布
-
统计量及其分布
-
总体与样本
-
基本概念
- 总体 —— 研究对象全体元素组成的集合
- 个体 —— 组成总体的每一个元素
- 抽样 —— 做随机试验并记录其结果
- 样本 —— 从总体中抽取并进行观测的部分个体
- 用 (X1, X2, ... Xn)表示样本, n 为样本容量
- 简单随机样本 —— 具有独立性,且与总体X分布相同
- 样本空间 —— 样本所有可能取值的集合
-
简单随机样本的联合分布函数和联合概率密度
- 总体X的分布函数为F(x),则
- 总体X的概率密度函数为f(x),则
-
统计量
-
定义 ——
设(X1,X2,...Xn)是取自总体X 的一个样本,g(x1,x2,...,xn)为一个实值连续函数,且不含有未知参数,则称g(X1,X2,...,Xn)为一个统计量
- 顺序统计量 ——
设(X1,X2,...,Xn)为来自总体X的一个样本,(x1,x2,...,xn)为样本值,且x1*≤x2*≤...≤xn*。当(X1,X2,...,Xn)取值为(x1,x2,...,xn)时,定义随机变量X(k)=xk*,k=1,2,...,n,则称统计量X(1),X(2),...,X(k)为顺序统计量
-
常用统计量
- 形式
- 样本均值
- 样本方差
- 样本标准差
- 样本的k阶原点矩
- 样本的k阶中心矩
- 性质
- 关系
- Topic
- Topic
- 期望与方差
- Topic
- 但样本的平均值并不是样本的期望,只是它的期望与样本的期望相等
- Topic
- Topic
- Topic
-
统计量的常用分布
-
正态分布
- 若X1, X2,..., Xn相互独立,分别满足
- 则
- 特别地,若X1,X2,...,Xn独立同分布且
- 则
- X~N(μ,σ^2),对样本均值在某区间内的概率提出要求(如要求样本均值大于70的概率超过90%),可求样本容量n
- 重要结论
- 一个正态总体
- X~N(μ,σ^2),总体样本(X1,X2,...,Xn),则
- Topic
- Topic
- n已知,所求概率为类似以下形式的,可利用χ^2分布:
- 正态总体N(μ,σ^2)的样本方差S^2的方差用μ和σ^2表示:
- Topic
- 注意对比:
- 两个正态总体
- Topic
- 若σ1=σ2,则
- Topic
- Topic
- 证明:
- Topic
- Topic
- 上述二者相互独立
-
χ^2 分布
- 定义——
X1, X2,...,Xn独立同分布,Xi~N(0,1),则
- n 为自由度
- 注意n=1或2时的情况也满足
- 当题目中Xi服从正态分布但不是N(0,1),并且出现所有Xi的平方和形式时,若μ和σ^2已知,可以对其标准化,然后就可利用χ^2分布
- 图像
- Topic
- 性质
- 期望 EX = n
方差 DX = 2n
- 若相互独立的变量X1、X2满足X1~χ^2(n1),X2~χ^2(n2),则
- n→∞时,χ^2 (n)→正态分布
- n=2时为参数为1/2的指数分布
- χ^2 (n) 分布的α分位数有表可查
- 当n>45时可利用公式:
-
t 分布(Student分布)
- 定义——
X~N(0,1),Y~χ^2(n),X、Y相互独立。若T满足以下条件则T~t(n):
- 分子为服从正态分布的随机变量的和,分母为服从正态分布的随机变量的平方和开平方,可知统计量服从t分布
- 图像
- (红色的是标准正态分布)
- 性质
- 概率密度f(t)是偶函数
- n→∞时,t分布近似于N(0,1)
- t分布的α分位数与双侧α分位数有表可查
- Topic
- n>45时,
-
F 分布
- 定义——
X~χ^2(n),Y~χ^2(m),X、Y相互独立。若F满足以下条件则F~F(n,m):
- 图像
- Topic
- Topic
- 性质:若F~F(n,m),则 1/F~F(m,n)
- F(n,m)的α分位数有表可查
- Topic
-
几种和的形式和联想
-
Topic
- X1,X2,...,Xn,... 独立同分布,E(X_i)=μ,D(X_i)=σ^2,则
- 根据独立同分布的中心极限定理
- 若已有
- 上述关系严格(而非近似)成立
- Topic
-
Topic
- 样本的 2 阶原点矩
- X1, X2,...,Xn独立同分布,Xi~N(0,1),则
- 当μ=0时等价于
- 当样本均值=0时等价于
-
Topic
- 样本方差
- 样本标准差 S
- 若X~N(μ,σ^2),总体样本(X1,X2,...,Xn),则
- 样本的 2 阶中心矩
- 若X~N(μ,σ^2),总体样本(X1,X2,...,Xn),则
-
Topic
- 若X~N(μ,σ^2),总体样本(X1,X2,...,Xn),则
-
参数估计
-
点估计
- 概念——估计未知参数的值
-
方法
- 矩估计
- 方法
- 用样本的 k 阶矩作为总体的 k 阶矩的估计量, 建立含待估计参数的方程,从而解出待估计参数
- 矩估计不唯一
- 一般使用“总体期望=样本均值”、“总体方差=样本方差”建立参数方程
- 当总体期望无法使用时(如算出总体期望为不含参数的常数,无法用于参数求解),可转而使用“E(X^2)=B_2”、“E(|X|)=样本绝对值的均值”等
- 极大似然估计
- 概念
- 似然函数 L(θ) =
- (连续)
- (离散)
- 极大似然估计:使似然函数L(θ)达到最大值的参数估计值
- 方法
- 单参数 θ
- dL/dθ=0,但因为L与lnL在同一θ值处达到最大,为方便起见可计算dlnL/dθ=0
- 多参数 θ1,θ2,...θk
- 求解方程组
- 除求导外,任何能求得L极大值的方法也都可以
-
优良性
- 概念
- 无偏性
- 定义
- 若估计量的期望等于真值,则为无偏估计
- 有效性(最小方差无偏估计)
- 定义
- 方差最小的无偏估计即称最小方差无偏估计
- 方差更小则称估计量更有效/更佳/更优
- 一致性
- 定义
- 估计量依概率收敛于真值则称为一致性估计,即要求对任意ε>0有
- 知识联系
- 常用统计量的期望与方差
- 知识联系
- 切比雪夫不等式
- 结论
- 样本均值是总体均值的最小方差无偏估计和一致性估计
- 样本方差是总体方差的无偏估计和一致性估计
- 样本的k阶原点矩是总体k阶原点矩的无偏估计,即E(A_k)=E(X^k)
-
区间估计
-
概念
- 置信区间
- 设总体分布含有一未知参数θ,又 x1,x2,...,xn 为来自于总体的样本,若对于给定α(0<α<1),统计量 θ1(x1,x2,...,xn)和θ2(x1,x2,...,xn)满足:
- 区间[θ1,θ2]为α相应于置信度是1-α的置信区间,简称置信区间
- 置信区间是随机区间
- θ1,θ2分别称为置信下限和置信上限
- (1-α)称为置信度
- 单侧置信限
- 若对于给定的α(0<α<1),统计量θ1(x1,x2,...,xn)满足
- Topic
- 称区间[θ1,+∞)为θ相应于置信度是1-α的单侧置信区间
- 称θ1为置信度是1-α的单侧置信下限
- Topic
- 称区间(-∞,θ2]为θ相应于置信度是1-α的单侧置信区间
- 称θ2为置信度是1-α的单侧置信上限
-
正态分布均值和方差的区间估计
- 一个正态总体
- 均值μ的区间估计
- 方差σ^2已知
- μ的置信区间为:
- 推导:利用
- 方差σ^2未知
- μ的置信区间为:
- 推导:利用
- 方差σ^2的区间估计
- σ^2的置信区间为:
- 推导:利用
- 标准差σ的区间估计
- 直接对方差的相应估计开方
- 两个正态总体
- 二正态总体均值差μ1-μ2的区间估计
- 方差σ1^2与σ2^2均已知
- μ1-μ2的置信区间为:
- 推导:
- 方差σ1^2与σ2^2均未知
- 一般情况
- 只要样本数m和n足够大,可以用Sm^2和Sn^2代替方差,当做方差均已知进行计算
- σ1^2 = σ2^2 = σ^2
- μ1-μ2的置信区间为:
- 推导:利用
- 正态总体方差比σ1^2/σ2^2的区间估计
- σ1^2/σ2^2 的置信区间:
- 推导:利用
-
假设检验
-
概述
-
基本思想
- 实际推断原理:小概率事件在一次试验中实际上不可能发生
-
基本概念
- 假设检验
- 先对总体的参数或总体的分布函数的形式作某种假设H0,然后由抽样结果对假设H0是否成立进行推断
- 分类
- 参数检验
- 总体均值、均值差的检验
- 总体方差、方差比的检验
- 非参数检验
- 分布拟合检验
- 符号检验
- 原假设/零假设
- 上述的H0
- 备择假设
- 原假设的对立面,可以是单侧的或双侧的
- 接受域;拒绝域
- 两类错误
- 第一类错误——弃真错误
- 犯此类错误概率记为α,又称为显著性水平
- 即公认的小概率事件的概率值
- 第二类错误——取伪错误
- 犯此类错误概率记为β
- α和β无法同时减少
- 控制犯第一类错误的概率不超过α
然后,若有必要,通过增大样本容量的方法,减少β
- 把有把握的、有经验的结论作为原假设,或者尽可能使后果严重的错误成为第一类错误
-
步骤
- 根据实际问题所关心的内容,建立原假设 H0 与备择假设 H1
- 在 H0 为真时,选择一个合适的检验统计量V(其分布是已知),由 H1 确定拒绝域形式
- 给定显著性水平α,对应的拒绝域
- 双侧检验
- 右侧检验
- 左侧检验
- 若计算出的 V 在拒绝域内则拒绝H0(接受H1),否则接受H0
- 其中
-
正态总体均值和方差的假设检验
-
一个正态总体
- 关于总体均值 μ 的检验
- 方差σ^2已知
- 方差σ^2未知
- 关于总体方差 σ^2 的检验
-
两个正态总体
- 关于均值差 μ1 – μ2 的检验
- 方差 σ1^2、σ2^2 已知
- 方差 σ1^2=σ2^2 且未知
- 其中
- 关于方差比 σ1^2/σ2^2 的检验
- Topic
-
随机过程
-
定义
-
设随机试验E的样本空间S,若对于每个e∈S,对应有参数t的函数X(e,t),t∈T⊂(-∞,+∞),则对于所有的e∈S得到一簇t的函数{X(e,t), t∈T}称为随机过程,简称过程,简记为{X(t), t∈T}或X(t)
- T 称为参数集
-
对于S中的每个e0,X(e0,t)=x(t)是仅依赖于t的函数,称为随机过程的样本函数
- 样本函数是随机过程的一次物理实现
- 对于任意给定的t1∈T,X(t1)是一个随机变量,称为随机过程在t=t1时的状态变量,简称状态
-
给定参数集T⊂(-∞, +∞),若对每个t∈T,对应有随机变量X(t),则称随机变量簇{X(t), t∈T}为随机过程
- 可能取值的集合称为过程的状态空间,或值域,记为 S
- S 中的每个元素称为一个状态
-
分类
-
按参数集和状态空间
- 参数离散,状态离散
- 参数离散,状态连续
- 参数连续, 状态离散
- 参数连续,状态连续
-
按随机过程的概率结构
-
二阶矩过程
- 正态过程 / 高斯(Gauss)过程
- 定义
- 随机过程X(t)的任何有限维分布都是正态分布,则称为正态过程
- 特别地:
- 若正态过程同时又是独立过程,则称为独立正态过程
- 若正态过程的参数集是可列集,则称为正态序列
- 若具有平稳性,则称为正态平稳过程
- 性质
- 既是广义平稳过程,又是狭义平稳过程
- 即若X(t)为正态过程,则:X(t)严平稳 <=> X(t)宽平稳
- 平稳过程
- 严平稳过程 / 狭义平稳过程
- 定义:要求随机过程满足“严平稳性条件”
- 对于任意实数ε,随机过程 {X(t), t∈T} 的任意n维分布函数满足:
- 即要求过程的任何有限维概率分布与参数t的原点选取无关
- 性质
- 分布
- 概率密度
- 分布律
- 一维:不依赖参数t
- 一维分布函数
- 一维概率密度
- 二维:仅依赖于参数间距τ
- 二维分布函数
- 二维概率密度
- 数字特征(要求二阶矩存在)
- 单个状态:不依赖参数t,均为常数
- 均值函数
- 均方值函数
- 方差函数
- 两个状态:仅依赖参数间距τ
- 自相关函数
- 自协方差函数
- 平稳过程 / 宽平稳过程 / 广义平稳过程
- 定义
- 随机过程X(t)对任意t∈T满足:
- 均方值函数存在且有限:
- 均值函数是常数:
- 自相关函数仅依赖参数间距τ:
- 即仅要求数字特征具有平稳性,并不对概率分布做出要求
- 平稳序列 / 平稳时间序列
- 要求宽平稳过程的参数集T为可列集
- 题型
- 判断一个随机过程是否是平稳过程
- 先验证均值函数为常数
- 再验证互相关函数仅依赖参数间距
- 注意可能需要分情况处理τ,如τ取值导致t被消掉,尤其是τ=0的情况
- 最后利用上一步计算出的互相关函数验证均方值函数存在且有限:
- 性质
- 由定义知:均方差存在有限、均值为常数、自相关函数仅依赖参数间距
- 方差函数为常数
- 自协方差函数仅依赖于参数间距τ:
- 严平稳过程与广义平稳过程的关系
- 严平稳过程若存在二阶矩,则必定是广义平稳过程,否则不一定
- 广义平稳过程不一定是严平稳过程
- 两个平稳过程的关系
- 平稳相关 / 联合平稳
- 定义
- 要求互相关函数 E[X(t)Y(t+τ)] 仅是参数间距τ的函数
- 性质
- 互相协方差也仅是参数间距τ的函数
- 平稳过程不相关
- 定义:两个平稳过程不相关是指标准互协方差函数等于0
- 标准互协方差函数
- Topic
- 遍历过程
- 相关概念
- 时间均值
- 随机过程 {X(t),t∈(-∞,+∞)} 对于参数 t 的平均值,即 X(t) 的时间均值为
- 若t≥0则改为
- 时间均值是一个随机变量
- 时间相关函数
- 随机过程X(t)的时间时间相关函数为
- 若t≥0则改为
- 时间相关函数依赖参数τ,是一个随机过程
- 各态遍历性 / 遍历性
- 过程的数字特征可以由一个样本函数来确定,这一性质称为各态遍历性
- 均值具有各态遍历性:
- 自相关函数具有各态遍历性:
- 定义
- 均值和自相关函数都具有各态遍历性的平稳过程称为遍历过程,或该平稳过程具有遍历性
- 判定
- 平稳过程{X(t), -∞<t<+∞}的均值具有各态遍历性的充要条件:
- 若t≥0则改为:
- 重要遍历过程
- 随机相位正弦波 X(t)=a·cos(ωt+Θ),Θ ~ U[0, 2π]
- Topic
- Topic
-
马尔可夫过程
- 马尔可夫链
- 定义
- 马尔可夫性 / 无后效性
- 要求此等式恒成立:
- 注:t之间间隔不需要相等
- 含义:当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关
- 马尔可夫链即满足马尔可夫性的随机过程
- 分类
- 参数离散的马尔可夫链
- 转移概率
- 概念
- (一步)转移概率
- X(t)在时刻(参数)t_m 由状态 i 一步转移到 j 的转移概率:
- n 步转移概率
- X(t)在时刻(参数)t_m 由状态 i 经 n 步转移到 j 的转移概率:
- 性质
- Topic
- Topic
- 参数离散的齐次马尔可夫链
- 定义
- 要求一步转移概率不依赖参数t_m:
- 转移概率矩阵
- 假设
- 状态空间 S = {1, 2, ..., n, ...}
- 定义
- (一步)转移概率矩阵
- Topic
- n 步转移概率矩阵
- Topic
- n 步转移概率矩阵等于一步转移概率矩阵 P 的 n 次幂:
- 性质
- 元素均非负:
- 每行和为 1:
- 满足此特点的方阵称为随机矩阵。
转移概率矩阵就是一个随机矩阵。
- 平稳分布
- 若存在,则概率分布 p_j 称为平稳分布,称 X(t) 具有平稳性,平稳齐次马尔可夫链
- 方程组形式:
- Topic
- Topic
- 切普曼-柯尔莫哥洛夫方程
- 一般形式:
- 若马尔可夫链具有齐次性:
- 有限维概率分布
- 初始分布
- Topic
- 初始分布与转移概率完全地确定了马尔可夫链的任何有限维分布
- 绝对概率 / 瞬时概率
- Topic
- 对于齐次马尔可夫链:
- 向量形式:
- 对于齐次马尔可夫链
- Topic
- 连续参数马尔可夫链
- 泊松(Poisson)过程
- 维纳(Wiener)过程
- 扩散过程
- 更新过程
- 鞅
-
概率分布
-
n 维分布函数
- 随机过程{X(t), t∈T},参数集T中的任意n个元素:t_1, t_2, ..., t_n,过程的n个状态:X(t_1), X(t_2), ..., X(t_n) 的联合分布函数称为随机过程X(t)的n维分布函数:
- n 维概率密度
-
独立过程
-
若对于任何正整数n,随机过程的任意n个状态都是相互独立的,则称此过程为独立过程
- Topic
-
两个随机过程的联合分布
-
设{X(t), t∈T1}和{Y(t), t∈T2}是两个随机过程,由过程 X(t) 的任意m个状态 X(t1),...,X(tn) 和 Y(t) 的任意n个状态 Y(t1'),...,Y(tn') 组成 m+n 维随机向量,其分布函数称为随机过程X(t)和Y(t)的m+n维联合分布函数:
- 若对于任何正整数m和n,对于T1中的任意数组以及T2中的任意数组,以下关系式均成立,则称两个随机过程相互独立
-
数字特征
-
单个随机过程
-
定义
- 单个状态
- 为X(t)的一维概率密度
- 均值函数 / 均值
- 即 X(t) 的数学期望:
- 均方值函数 / 均方值
- 即 X(t) 的二阶原点矩:
- 方差函数 / 方差
- 即 X(t) 的二阶中心矩/方差:
- 均方差函数 / 均方差
- 方差函数开方
- 两个状态
- 为X(t)的二维概率密度
- 自相关函数 / 相关函数
- 即 X(t1) 和 X(t2) 的二阶混合原点矩:
- 自协方差函数 / 协方差函数
- 即X(t1) 和 X(t2) 的二阶中心混合矩/协方差:
- 关于t1、t2对称
-
关系
- 均方值函数 & 自相关函数:
- 自协方差函数 & 自相关函数 & 均值函数:
- 方差函数 & 自协方差函数、方差函数 & 均方值函数 & 均值函数:
-
两个随机过程
-
定义
- 互相关函数
- 即X(t1)和Y(t2)的二阶原点混合矩:
- 互协方差函数
- 即X(t1)和Y(t2)的二阶中心混合矩/协方差:
- 随机过程X(t)和Y(t)不相关:对于任意t1∈T1, t2∈T1,都有
- 即要求
-
关系
- 互相关函数 & 互协方差函数: