概率论与数理统计中的边缘分布
- 假设有二维随机变量
(
X
,
Y
)
(X,Y)
(X,Y)具有分布函数
F
(
x
,
y
)
F(x,y)
F(x,y)，其中
X
,
Y
X,Y
X,Y都是随机变量，也有各自的分布函数，将它们各自的分布函数分别记为
F
X
(
x
)
,
F
Y
(
y
)
F_X(x),F_Y(y)
FX(x),FY(y)，则
F
X
(
x
)
,
F
Y
(
y
)
F_X(x),F_Y(y)
FX(x),FY(y)就被称为二维随机变量
(
X
,
Y
)
(X,Y)
(X,Y)关于随机变量
X
,
Y
X,Y
X,Y的边缘分布的分布函数
F
(
x
,
y
)
=
P
{
X
≤
x
,
Y
≤
y
}
F(x,y)=P\{X\le x,Y\le y\}
F(x,y)=P{X≤x,Y≤y}
F
X
(
x
)
=
∫
Y
F
(
x
,
y
)
d
y
F_X(x)=\int_YF(x,y)dy
FX(x)=∫YF(x,y)dy
F
Y
(
y
)
=
∫
X
F
(
x
,
y
)
d
x
F_Y(y)=\int_XF(x,y)dx
FY(y)=∫XF(x,y)dx
贝叶斯统计中的边缘分布m(x)
- 在贝叶斯统计中，我们将参数也视为随机变量，因此我们总是通过如下公式来计算样本的边缘分布
m
(
x
)
=
∫
θ
f
(
X
,
θ
)
d
θ
=
∫
θ
f
(
X
∣
θ
)
π
(
θ
)
d
θ
m(x)=\int_\theta f(X,\theta)d\theta=\int_\theta f(X|\theta)\pi(\theta)d\theta
m(x)=∫θf(X,θ)dθ=∫θf(X∣θ)π(θ)dθ这和概率统计中的边缘分布是吻合的，为了进一步介绍边缘分布的统计学意义，下面将介绍混合分布的概念
混合分布
- 设随机变量
X
X
X以
p
p
p的概率在总体
F
1
F_1
F1中取值，以
1
−
p
1-p
1−p的概率在总体
F
2
F_2
F2中取值，若用
F
(
x
∣
θ
1
)
F(x|\theta_1)
F(x∣θ1)和
F
(
x
∣
θ
2
)
F(x|\theta_2)
F(x∣θ2)分别表示总体
F
1
F_1
F1和总体
F
2
F_2
F2的分布函数，则
X
X
X的混合分布函数为
F
(
X
)
=
p
∗
F
(
x
∣
θ
1
)
+
(
1
−
p
)
∗
F
(
x
∣
θ
2
)
F(X)=p*F(x|\theta_1)+(1-p)*F(x|\theta_2)
F(X)=p∗F(x∣θ1)+(1−p)∗F(x∣θ2)，
X
X
X的混合概率密度为
f
(
X
)
=
p
∗
f
(
x
∣
θ
1
)
+
(
1
−
p
)
∗
f
(
x
∣
θ
2
)
f(X)=p*f(x|\theta_1)+(1-p)*f(x|\theta_2)
f(X)=p∗f(x∣θ1)+(1−p)∗f(x∣θ2)，称
f
(
X
)
f(X)
f(X)为
f
(
x
∣
θ
1
)
f(x|\theta_1)
f(x∣θ1)和
f
(
x
∣
θ
2
)
f(x|\theta_2)
f(x∣θ2)的混合分布
-
p
p
p和
1
−
p
1-p
1−p可以视为随机变量
θ
\theta
θ的概率分布，由此可见边缘分布
m
(
x
)
m(x)
m(x)是混合分布的推广。
- 当
θ
\theta
θ为离散型随机变量时，边缘分布
m
(
x
)
m(x)
m(x)由有限个概率函数混合而成；
- 当
θ
\theta
θ为连续型随机变量时，边缘分布
m
(
x
)
m(x)
m(x)由无限个概率函数混合而成。
Top