一、多元统计的基本概念
(1) 随机向量: X(X1,,Xp)
总体,样本,观测值。。。
(2) 分布函数:F(x1,,xp)P{X1x1,,X 离散型,
连续型,密度函数
(3) 数字特征:
期 望 E(Xi)
方 差 D(Xi)
协方差矩阵 cov(X,Y)cov(Xi,Yj) 自协方差阵 cov(X,X)cov(Xi,Xj)
相关矩阵 Rcov(Xi,Yj)D(Xi)D(Yj)pxp}
二、统计距离
(1) 欧氏距离
d(P,Q)(x1y1)(xnyn)2n(XY)(XY)
T(2) 点X与总体G的欧氏距离 d(X,G)(X)T(X)
缺点:距离的大小与度量有关
(3) 两点之间的马氏距离 d(P,Q)(XY)T1(XY) (4) 点X与总体G的马氏距离 d(X,G)(X)T1(X)
优点:距离的大小与变换无关
(5) 距离 的公里体系
特殊情形:欧洲各国文字的相似程度
距离定义:两种语言10个数量词的第一个字母不相同的个数。
三、距离判别—聚类分析
(1) 两总体G1和G2的情形, X是一个样本 若 d(X,G1)d(X,G2),XG1 若 d(X,G1)d(X,G2),XG2 若 d(X,G1)d(X,G2),无法确定
一般可用判别函数:
W(X)d2(X,G1)d2(X,G2)
1马氏距离:W(X)(X1)T11(X1)(X2)T(X2) 2
注意: 1,2 表示期望
表示协方差矩阵
正态分布,假设检验
1,121
(2) 多总体G1,G2,,Gk的情形
判别函数:Wij(X)(Xi)Ti1(Xi)(Xj)Tj1(Xj)
判别准则:是否属于第i个样本
ifelseWij(X)0,Wik(X)0,alljiXGiinconclusive
(3) 贝叶斯判别---总体G1,G2,,Gk的情形
个总体G1,G2,,Gk的密度函数为p1(x),p2(x),,pk(x) k 个总体G1,G2,,Gk的先验分布为q1,q2,,qk
k样本Gi误判为Gj的损失为c(ji) 损失概率为p(ji)pDii(x)dx
kki平均损失为ECM(D1,,Dk)qc(ji1j1i)p(ji)
目的:ECM(D1,,Dk)最小, 确定划分 判别:若x落入Di, 则xGi,
(4) 费歇判别---总体G1,G2,,Gk的情形
思想:选取投影向量a.同一类别尽量聚拢, 不同类别尽量分开。
来源:多元方差分析,将数据投影到一个方向向量,
投影数据的组间距离、投影数据的组内距离, 对应矩阵B和E 目的:组间平方和SSGaTBa《==》 尽量大
组内平方和SSEaTEa《==》 尽量小
SSGSSEaBaaEaTT 达到最大值为方程BE0的最大特征值1
特征值1对应特征向量a1
注意:若1不能很好判断,可继续选取2对应特征向量a2
四、数学模型竞赛题解
MCM 1989问题A 蠓虫分类
生物学家试图对两类蠓虫(Af与
Apf)进行鉴别,依据的资料是蠓虫的触角和翅膀的长度,
已经测得9只Af和6只Apf的数据,(触角长度用x表示,翅膀长度用y表示)具体数据为: 表4-4 Af 类触角和翅膀长度
x 1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 y 1.27 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 表4-5 Apf 类触角和翅膀长度数据 x 1.14 1.18 1.20 1.26 1.28 1.30 y 1.78 1.96 1.86 2.00 2.00 1.96 现需要解决三个问题:
(1) 根据原始资料15 对数据,被称之为学习样本)制定一种方法,区分两类蠓虫; (2) 依据确立的方法,对题目提供的三个样本:(1.24,1.80),(1.28,1.84),
(1.40,2.04)加以识别;
(3) 设Af是宝贵的传粉益虫,Apf是某种疾病的载体,是否应该修改分类方法。
问题的转化: 两类蠓虫(Af与Apf)《==》 平面两个点集合(样本点)
改进:更加细致的分类
2000 A题 DNA序列分类
2000年6月,人类基因组计划中DNA全序列草图完成,预计2001年可以完成精确的全序列图,此后人类将拥有一本记录着自身生老病死及遗传进化的全部信息的“天书”。这本大自然写成的“天书”是由4个字符A、T、C、G按一定顺序排成的长约30亿的序列,其中没有“断句”也没有标点符号,除了这4个字符表示4种碱基以外,人们对它包含的“内容”知之甚少,难以读懂。破译这部世界上最巨量信息的“天书”是二十一世纪最重要的任务之一。在这个目标中。研究DNA全序列具有什么结构,由这4个字符排成的看似随机的序列中隐藏着什么规律,又是解读这部天书的基础,是生物信息学(Bioinformatics)最重要的课题之一。虽然人类对这部“天书”知之甚少,但也发现了DNA序列中的一些规律性和结构。例如,在全序列中有一些是用于编码蛋白质的序列片段,即由这4个字符组成的64种不同的3字符串,其中大多数用于编码构成蛋白质的20种氨基酸。又例如,在不用于编码蛋白质的序列片段中,A和T的含量特别多,于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外,利用统计的方法还发现序列的某些片段之间具有相关性,等等。这些发现让人们相信,DNA序列中存在着局部的和全局性的结构,充分发掘序列的结构对理解DNA全序列是十分有意义的。目前在这项研究中最普通的思想是省略序列的某些细节,突出特征,然后将其表示成适当的数学对象。这种被称为粗粒化和模型化的方法往往有助于研究规律性和结构。作为研究DNA序列的结构的尝试,提出以下对序列集合进行分类的问题:
下面有20个已知类别的人工制造的序列(见反面),其中序列标号1—10为A类,11—20为B类。
(1) tgacctcttgtcctgtatagcaacctatttggtaatgattccagcactcacagaaaagct (2) tgcacacatacacacacaccccacccctccccactaacaaatgcaagttggtaaacaaat (3) tccaaaaaggcataacaaaccttatatatatagacaaatatatattaaagttttttagtc (4) tgtactagaaagagcttcagacagaactgaccaccattccattgctcatcaatttcctgg (5) gacagcacctgagcgtgcgcttacgcgcgtacacacacatagacacgcactgcgatacaa (6) gtcctgatttgggagtccgtccttttaaaaacagccacatgctttcacgctctgagaccc (7) acccgtttctgtgagcagggggagggcaaggaaagccctggcctcagtccagccttttct (8) ctgcttccacctgctcaggctgtgtgctcttggttctgtcctgcacttgtgtgaattcca (9) aaactgtttttttaaaaaatggcccgcaccccaaatgtctccctgccccatactttgcaa (10) caagagaaaactttaggatgcttctcttttgggtggcggaggttgttaacttcaagaatt (11) tagaagaatcattgctccgacaaatccactgtctcctgagttttctttattcatgttaac
(12) aaggcaagagtcagagaaaagggagacttggtctgcttcccacatgcagctgagcggagg (13) ggccgtcacagcacagggtcacctgcagagctgaagccgctcctcaggctccccctccaa (14) gagggctggggcaaggtccctgggctgaggcctcccaggggggcctgggcaaggcttcct (15) tgggttctggatcccccctgcaatgctgccccatcctgcccccacccccacgtcattaaa (16) cacgatggagggtttttcggtcggttggttggttggtgttctaaatcaaggaaaatggtc (17) cgactggaccccttgtctctctctctacagactgcttcacggactctttgctgttgacga (18) tctcctggtagcatgaccttttggcctttgttaagacacacagcctttctgtatcaagcc (19) ccctgtctaacctacgacccagagtgactgacggctgtgta
(20) ctggctctctccataggcttttctgagaggaggaactatggcttagctgaggttagttct
(21) cagtatatgagtggccctgaataaagcctttctttccccaaacggctctaatgtcctgct (22) aatccagaaatcatcagtgcatggttactatgtgaaagcataatagcttgtggcctgcag (23) agacaagaggaaggttaacaagtaggggtcctttggtttgagatcttggagcaaattaag (24) gaagagccactaaagttaatggaattacactggatcctgtgacagacacttcatgcttca (25) tgggtcacatggtctgtttctgctcctctctgccctggttggtgtgggttttggtgttag (26) aactctccggtgggagatctgggactgggatattgtgttggaggacagatttgcttcaat (27) atcttttaagtgtaaatcttctcctctttctcccaggacactctggccttcagccaacag (28) gtaataccttttaatcctctttaggacacagattcagtttctccagtgagaggtgaagcc (29) agctggacttctgggttgggtggggacttggagaacttttctgtcttacaagaggtttct (30) aaatgcaccaatgagtgctctgtaaaaacacaccaatgagtgctctgtaaaaattgacac (31) tctgtggctcgctagatgtttgtaagatggaccaatcagcactctgtaaaatggaccaat (32) ccacactctgtaaaatggaccaatcagcactctttaaaatggaccaatcagcaggatacg (33) ggcggagacaaataagggaataaaagctggtcaccctagccagcacctgcaacctgctta (34) ggtccttttctatgctgtggaaggtctgttctttcactcttcacaataaatcttgtgctc (35) actctttggggccgtgccacctttaagagctataacactcactgcaagggtctgtggctt (36) cactcttgaagtcagccagaccctgaacctaccggaaggaacaaactcaggacacactag (37) aatgatggtagaggtgataaggcatgagacagaaataataggaaagactttggatccaaa (38) tttctgatcaggcaatttacaccaaaactcctcctctccacttagaaaaggcctgtgctc (39) tgcaggactattggctctgggagactcaggaacttgtttttcttcttcctgcagtgttct
(40) catctgagtccttcaaagagggggaaagaaacgttagtagacccaggttgaaaacaacac
请从中提取特征,构造分类方法,并用这些已知类别的序列,衡量你的方法是否足够好。然后用你认为满意的方法,对另外20个未标明类别的人工序列(标号21—40)进行分类,把结果用序号(按从小到大的顺序)标明它们的类别(无法分类的不写入):A类: B类。请详细描述你的方法,给出计算程序。如果你部分地使用了现成的分类方法,也要将方法名称准确注明。(2)在同样网址的数据文件Nal-model-dala中给出了182个自然DNA序列,它们都较长。用你的分类方法对它们进行分类,像(1)一样地给出分类结果。
准备工作
DNA序列的集合《====》空间的点集
DNA序列cctctaacctacgacccagaa 《==》(na, ng, nt, nc)四维向量, a, g, t, c 的频率。
(1)欧氏距离分类方法
(2)马氏距离分类方法
(3)Fisher分类方法
已经采用的分类方法
(1) 特征代码频率, (2) 概率分布, (3) 欧氏距离, (4) 马氏距离, (5) Fisher分类
(6) 神经网络,BP网络 (7) 特殊方法,几何Z曲线
因篇幅问题不能全部显示,请点此查看更多更全内容