第一部分 学习目的和要求
本章主要介绍了多元线性回归模型的内容。需要掌握并理解以下问题: (1)掌握经典多元线性回归的概念及模型、线性模型的假设条件。 (2)掌握参数的最小平方估计法。 (3)了解向量函数微分的概念。
(4)掌握参数,2的估计量的分布及其性质。
(5)了解概率极限的概念及性质。
(6)掌握参数的无偏估计,极大似然估计,一致估计。
(7)掌握参数的假设检验方法,包括单一线性约束的显著性检验和一般线性假设的检验。
(8)掌握参数的区间估计方法,包括参数向量的区间估计,单个参数的区间估计,几个参数的区间估计。
(9)掌握总体均值的预测,包括点预测和区间预测。掌握总体特定值的预测和区间预测。
第二部分 练习题 一﹑术语解释
1.多元线性回归模型
2.多元线性回归的Gauss-Markov定理 3.概率极限
4.多元线性回归的极大似然估计 二﹑问答
1.多元线性回归模型的假设条件是什么? 2.求系数的最小二乘估计时,是否需要多元线性模型的假设条件? 3.参数和的最小二乘估计是什么?
4.参数和的极大似然估计是它们的无偏估计吗? 5.概率极限与通常所说的极限有什么不同? 三、计算证明题
1.建立一个多元线性回归模型:yi12x2i3x3iui ①
对其中的自变量x2i建立另外一个多元线性回归模型:x2i12x3iui' ②
''*得到回归残差u,最后建立回归模型:yiui3x3iui ③
2
2
'i'1'2 证明:222.对模型yi01x1i2x2ikxkii应用最小二乘法,得到回归方程:
' 1
xxx yi011i22ikkiyi不相关,即 证明:残差iyiyi与yii0
3.设有模型yi01x1i2x2ikxkii,应用OLS法,得回归方程:
xxx yi011i22ikkiy 证明:yt8.5620.364P0.004P 4.考虑以下方程(括号内为估计标准差)Stt1 (0.080) (0.072)
n=19,R2=0.873;
其中:St年的销售量 Pt年的广告费用 请回答下列问题:
(1)对销售量估计的斜率系数进行假设检验。
(2)讨论Pt1在理论上是否正确,对本模型的正确性进行讨论。Pt1是否应从方程中删除?为什么?
5.已知线性回归模型YXU式中U(0,2I),n13且k3(n为样本量,k为参数个数),由二次型(YX)(YX)的最小化得到如下线性方程组:
'4262123411022318; 121621223请回答以下问题:
(1)把问题写成矩阵向量的形式,用求逆矩阵的方法求解。
。 (2)如果YY106,求'2的方差协方差矩阵。 (3)求出6.为了确定对空调价格的影响因素,B.T.katchford根据19个样本数据得到的回归结果如下:
i Y68.260.0X22i319.X3i7292R,X47.6530.84 i se (0.005) (8.992) (3.082)
其中:Y空调的价格/美元 X2空调的BTU比率
2
X3能量效率 X4设定数
(1)解释这个回归方程式的回归结果。 (2)该回归结果是否有经济意义?
7.根据美国1965-ⅠQ至1983-ⅡQ数据(n26),James Doti与Esmael Adibi得到下面的回归方程以解释美国个人的消费支出(PCE):
t10.960.93X2.09X Y2t3t2(249.06) (-3.09) R0.999 6t(-3.33)
F93753.7
其中:Y个人消费支出/亿美元 X2可支配(税后)收入/亿美元 X3银行支付的主要利率(%)
(1)求边际消费倾向(MPC)--每额外增加1美元个人可支配收入所增加的消费支出的数
量。
(2)解释模型的经济意义。
(3)通过计算检验下述零假设:MPC显著不为1。 (4)检验零假设:b3显著不为零。 (5)检验假设:R0。 (6)计算每个系数的标准差。
8.设模型为y01x12x2,y,x1,x2的观察值如表一,试用OLS法对该模型进行多元线性回归分析。
y x1 3 1 8 3 5 3 1 5 2 4 2x2 5 4 6 4 6
第三部分 参考答案 一﹑术语解释
1.多元线性回归模型:
3
设f(x1,x2,,xk)是x1,x2,,xk的线性函数,则模型为:
y01x12x2kxk (1)其中,为随机变量。
0为常数项,它反映了度量原点的选定。称i(i1,2,,k)为回归系数,它反映了
xi(i1,2,,k)变动一个单位时y的改变量。给定(y;x1,x2,,xk)的n次观察值:
y1y2ynx11x21x ,,,n1,
x1kx2kxnk其中,xij是变量xj的第i次观测值,
yi01xi12xi2kxiki,i1,2,,n,其中i表示随机误差项在第i次观
1x111x21察中所取的值。记X1xn1x12x1k11x22x2k22,,,则多元线性回
xn2xnkkn归模型有矩阵形式:YX。
2.多元线性回归的Gauss-Markov定理:
在满足多元线性回归模型的基本假设条件下,该基本假设条件包括Gauss-Markov假定,即① D(i)2In,i1,2,,n,0,称i具有方差齐性;② cov(i,j)0,
2ij,i,j1,2,,n,这称i没有序列相关。在满足上面假定下,在的所有线性无偏
的方差最小,即OLS估计的是的最优线性无偏估计估计类中,其OLS估计的(BLUE),这称为多元线性回归的Gauss-Markov定理。 3.概率极限:
(n)(n){}设是参数的一个估计值,如果limP{||}1,即对任意小的正数n(n)(n)及存在一样本容量n0,当nn0时,有P{||}1,则称依概率收敛(n)(n)(n)于,即是的概率极限,也可以说,是的一致估计,记为:Plim。
4.多元线性回归的极大似然估计:
多元线性回归模型YX,E()0中参数向量的极大似然估计,记2In, 则y1,
y2,,yn的联合概率密度函数为:
4
1f(y)(2)1/2||1/2exp{(yX)'1(yX)}
2 (2)n2nexp{122(yX)'(yX)}
n2即似然函数为:L(y1,y2,,yn,,)(2)22nexp{212'(YX)(YX)} 2,)maxL(x,,2)成立,使L(x,与与按照参数极大似然估计的定义,取则称(X'X)1X'Y2 为及2的极大似然估计。解得21'een二﹑问答题
1.多元线性回归模型的假设条件是什么? 答:多元线性回归模型的基本假定是:
(1)关于矩阵X的假定:X是确定的k1列数值矩阵,矩阵X的秩k1n。 假设X是确定的k1列数值矩阵有两层含义:①x1,x2,,xk是非随机变量或是可观测变量,更一般的要求是与x1,x2,,xk不相关,即E(i|X)0,从而cov(i,X)0。它们所取的值是可以控制的,②X是确定的数值,在变量x1,x2,,xk是y误差的唯一来源。中没有遗漏重要的变量也没有包含不相干的变量。关于矩阵X的秩,因为矩阵X的秩为k1,所以X的列向量线性无关,因而没有一个变量可以由其他变量表示,此时秩
(X'X)k1,即X'X非奇异。且当k1n时,待估参数的个数小于观测次数。
(2)关于随机扰动项的假定:服从均值为0﹑协方差矩阵为2In的多维正态分布,即N(0,2In)。该式有两层含义:① E()0即每一个随机扰动项的期望都为0; ② D()2In,它包括Gauss-Markov假定,即D(i)2In,i1,2,,n,
02,称i具有方差齐性; cov(i,j)0,ij,i,j1,2,,n,这称i没有
序列相关。
2.求系数的最小二乘估计时,是否需要多元线性模型的假设条件?
(X'X)1X'Y可答:对系数的最小二乘估计时,需要多元线性模型的假设条件。由 知,有关矩阵X的假定:X是确定的k1列数值矩阵,矩阵X的秩k1n需要满足,
'。此时系数的估计值有且仅有唯一解。若(XX)k1,即XX奇异,不能得到估计量
' 5
3.参数和的最小二乘估计是什么?
2
(,,,)',称 答:给定线性模型YX,记未知参数变量的估计量为12k2为估计的残差向量,则残差平方和为SE我们的目的是寻找的ei2e'e,eYXi1n,使得残差ee达到最小。由于残差是非负的,故存在最小值,且由极值存在的必估计量'
e'eX'Y,要条件,有通过矩阵微分运算可以解得X'X称该式为正规方程组。|0,
(X'X)1X'Y,称此估计量为的最小二乘估计量。2的最小又因为XX可逆,所以'2二乘估计为e'e。
nk14.参数和的极大似然估计是它们的无偏估计吗?
答:多元线性回归模型YX,E()0中参数向量的极大似然估计,记
2
2In,则y1,y2,,yn的联合概率密度函数为:
1f(y)(2)1/2||1/2exp{(yX)'1(yX)}
2 (2)n2nexp{12'(yX)(yX)} 2即似然函数为:L(y1,y2,,yn,,)(2)2n2nexp{122(YX)'(YX)}
222与按照参数极大似然估计的定义,取与使L(x,,)maxL(x,,)成立,则称(X'X)1X'Y2,可见的MLE估计和OLS估计为及2的极大似然估计。解得21'een2相同。由于e'e222是有偏的,其中是的无偏估计量,可见的MLE估计nk1eyiyi。
5.概率极限与通常所说的极限有什么不同?
6
(n)(n)答:概率极限的意义是:设{}是参数的一个估计值,如果limP{||}1,
n即对任意小的正数及存在一样本容量n0,当nn0时,有P{|(n)(n)则称依概率收敛于,即是的概率极限。
(n)|}1,
(n)(n)通常意义下的极限是指:设{}是参数的一个估计值,如果lim,即对任
n意小的正数存在一样本容量n0,当nn0时,有|(n)|,则称(n)
的极限是。
对比通常意义下的极限定义和概率极限的定义可以看出,概率极限的定义是建立在概率
基础之上。 三、计算证明题
1.证明:由②式的回归模型:x2i12x3iui',对其进行回归估计得:
i'x12x,代入最后的模型③ y''ui''xu*,得: u2i3ii1233ii*'yi(x2i12x3i)3x3ii
'1'2*'''''()x()x i 12122i3223i。 将这个结果与模型① yi12x2i3x3iui相比可知:22'原因是i代表的是与x3i无关的x2i部分,所以x3i的回归系数不受影响。
'2.证明:将该回归方程两边乘以i再求和得:
yiii0i1x1ii2x2iikxkii
由多元线性回归模型的基本假设可知:
xx1ii2iixkii0
所以有:
yiiyi不相关。 0,即i与3.证明:由回归方程知:
yx1x2xk 因为012k 将0代入回归方程得:
(xxi)(xx2)(xxk) yiy11i2k2ikix y11i2x2ikxki
对该式两端分别求和:
7
其中
xx1i2iki0 x1yiy n(pt1) + 0.056 不显著 所以有
yiny 即 y4.答:(1)对给定在5%的显著水平,可以进行t检验得到结果如下表:
系数 假设符号 T值 5%显著水平 (pt)+ 4.55 显著 (2)由于Pt1不显著,可以将其从方程中删去,此时由于时滞短了一年,主成分可能正确,但时滞长度不正确。在这样的情况下,利用同样的数据检验许多不同的时滞,可能不是
个好方法,但如果可以建立另外一个数据集,这样检验也许是有用的。 5.答:(1)方程组的矩阵向量形式可以写成:
24216X'Y, ;即(X'X)4102182221216311242634102181,即(X'X)1X'Y; 2322121622(2)(TSSRSS)/(nk)
(10636118216)/(133) 3.8
的方差协方差矩阵: (3)6.5352.4750.6752422)(X'X)13.841022.4751.1250.225Vcov( 0.6750.2250.61922126.答:(1)该模型的回归结果表明空调价格与BTU比率、能量效率、设定数有关,相关系
数分别为0.023,19.729,7.653。
(2)该回归结果的经济意义在于揭示了影响空调价格的因素,表明空调价格与BTU比率、能量效率、设定数有关,相关系数分别为0.023,19.729,7.653。 7.答:(1)MPC=0.93
(2)美国个人消费与个人收入和银行利率相关。 (3)H0:B21,H1:B21
8
1 t0.9310.93/249.0618.7467,d.f.=23时,p值=0.000
∴可以拒绝假设H0:B21 ∴MPC不显著为1。
(4)∵t3.09,可知p值位于0.001与0.005之间,很小。 ∴b3显著不为零。 (5)H0:R20,H1:R20 d.f.=2.23,F=93753.7
显然F值高度显著,可以拒绝H0:R20 (6)se(b1)10.96/3.333.2913 se(b2)0.93/249.060.0037 se(b3)2.09/3.090.6764 8.答:由表一得:
313511114Y8 X562 31241 5146501;其中Y是5×1矩阵,X是5×3矩阵,是5×1矩阵,是3×1矩阵。2则有矩阵形式表示为:YX
第一步,计算所有变量观察值的和,平方和以及交叉乘积和: x1i15 x2i25
Yi20
x21i55
x22i129 y2i108
x1ix2i81
x1iyi76
yix2i109
第二步,计算参数估计值:
9
x1ix2iX'X521i2ix1ixx1ix x2ix1ix2ix22i52 15155585258111 298逆矩阵:(X'X)126.74.54.511.581.52.5 yi又有:X'Y20x1iyi76
yix2i1094于是:(X'X)1X'Y2.5 1.5第三步:计算参数估计量的标准差估计值:
Y'Yy2i108
'X'Y106.5 'Y'YX'Y1.5 '2u20.75
V(0)2u(X'X)100155.025 V(21)u(X'X)1110.75 V(2)2u(X'X)1221.875
S(0V0)12.45 S1V(1)0.87 SV2(2)1.37 第四步:方差分析和拟和优度:
回归平方和RSS'X'Yny2106.58026.5
10
剩余平方和ESS1.5
2(y)iX'Y10R20.9464 2(y)Y'Yi10''可见,拟合比较好。 第五步,回归分析结果:
yi42.5x1i1.5x2i
第六步,预测:
预测当x13,x24时y的值,则y42.531.545.5即为E(y)的无偏估计量。
11
因篇幅问题不能全部显示,请点此查看更多更全内容