您好,欢迎来到乌哈旅游。
搜索
您的当前位置:首页一种支持分布式数据流处理的双层重叠网络模型

一种支持分布式数据流处理的双层重叠网络模型

来源:乌哈旅游
维普资讯 http://www.cqvip.com

第24卷第4期 应用科学学报 Vo1.24.No.4 2OO6年7月 JOURNAL OF APPUED SCIENCES Ju1.2006 文章编号:0255—8297(2006)04—0387—4 0一种支持分布式数据流处理的双层重叠网络模型 王金栋, 张 磊, 丁秋林, 黄添强 (南京航空航天大学信息科学与技术学院,江苏南京210016) 摘要:讨论了分布式数据流处理的需求以及重叠网络的特点。在Chord模型的基础上,提出了一种支持分布式 数据流处理的双层重叠网络模型,并给出了构建模型的有效算法,最后通过应用验证了该模型的有效性. 关键词:重叠网络;数据流;数据流处理 中图分类号:TP393 文献标识码:A A Two—Tier Overlay Network Model for Distributed Data Stream Processing WANG Jin・dong, ZHANG Lei,DING Qiu・lin,HUANG Tian・qiang (College ofInformation Science and Technology,Na ng University ofAeronautics and Astronautics,Na ̄jmg 210016,Chia)n Abstract:Requirements for processing data stream in distributed networks and characteristics of the oveday network ale discussed.Based on the Chord model,a two—tier overlay network model is proposed to support distributed data stream processing.An algorithm is presented.which is used to establish the two・tier overlay network.Applications of the model show the validity of the mode1. Keywords:overlay network;data stream;data stream processing 随着Intemet的发展以及小型数字设备的出现, 一网络(overlay network)进行研究,提出了应用层组播 的思想,用来建立具有良好可扩展性、数据传输能力 的通信网络,并且不破坏现有的网络结构和配置. 重叠网络的节点集是现有物理网络节点的子 类以流动数据为核心,面向数据流的应用逐渐引 起了人们的关注 ,如何有效处理网络中流动的数 据成为目前研究的热点之一.当今的网络环境是复 杂多变的,数据和服务在网络中不断移动,网络节点 不断加入和离开,网络中的各组成部分在移动中相 互作用相互影响 J.在这种环境下,大规模数据流处 理系统必须建立在具有良好分布性、可扩展性和较 集,节点之间通过重叠链路(overlay links)连接,每条 重叠链路由一条或多条物理链路组成(physical links) .重叠网络已经成为支持新应用和新协议的 有效方法,因为它不需要对底层网络进行任何修改, 高数据传输效率的通信网络基础上. 目前绝大多数通信网络都是IP单播网络,数据 传输效率不高,难以满足大规模数据流处理的要求. IP组播网络具有较高的数据传输效率,但是经过20 多年的发展,一直没能在Intemet中得到实质性应 用.主要原因包括 :扩展性不强、访问控制困难、需 要大规模重新配置支持IP组播的路由器等.针对IP 因此能够提供灵活的、可扩展的、可靠的Intemet服 务 . 本文针对大规模数据流处理的需求,对Chord 模型进行扩展,提出了一个支持大规模数据流处理 的双层重叠网络模型. 1 Ch0rd模型简介 ’ Chord模型,通过DHT表(distirbuted hash table), 组播网络存在的不足,近年来,科研人员开始对重叠 收稿日期:2005—03—22; 修订日期:2005 08—15 基金项目:国防重大基础预研项目(S0500A001) 作者简介:王金栋,博士生,研究方向:数据流处理、重叠网络,E-mail:jind—w@163 Corn 维普资讯 http://www.cqvip.com

388 应用科学学报 24卷 将一个给定编码映射到相应的物理节点.一般来说 计算后的节果; 虚拟节点编号空间为{0,1,…,2 一1}.物理节点的 虚拟节点编号通过对节点IP地址进行hash计算获 得.Chord中的虚拟节点,按照大小以顺时针方向排 列,形成一个模2 的环形拓扑结构.物理节点被安 放在这个环形结构相应的虚拟节点中,并建立物理 节点之间的重叠链路.这样物理节点就按照其对应 编码的大小,以顺时针方式,排列成一个模2 的环 形结构. Chord采用连续hash算法完成编号和物理节点 的映射,编号被存放在与其对应的物理节点中.编号 与物理节点的映射,是在物理节点加入和离开时完 成的.本文中,称所有参加数据流处理的节点构成的 节点集合为数据流处理节点联盟,简称联盟.当某新 节点要加入到联盟中,它先同联盟中已经存在的一 个节点通信,由该节点完成新节点的插入操作. 由于篇幅所限,本文的双层重叠网络模型,仅从 模型构建的角度讨论节点加入和离开联盟的算法, 不涉及编码生成、路由选择等问题. 2模型的构建 Chord模型具有良好的可扩展性和分布性,能够 满足分布式数据流处理的要求,但是Chord模型不 能满足数据流处理对于Qos的要求 .因此需要在 Chord模型的基础上,建立易于进行QOS管理的拓 扑结构,弥补Chord模型的不足.本文在Chord模型 基础上,建立 一ary .cubes超立方体拓扑结构 .在 这样的超立方体结构中共可存放k 个节点,每个节 点由一个k基n位的向量(a ,a ,…,a )表示,其 中0 ∈{0,1,…,k一1},i∈{1,…,5}.这种结构的 一些特点有利于对Qos的控制 ' ,在超立方体结 L 构中,任意两节点之间的跳数一般不超过n L 二 ,路 由复杂度为0(1gn),如果节点A=(a ,a ,…,a ) 与节点B=(b。,b ,…,b )相邻,则必有a。=(b。± 1)mod k,i∈{1,…,n}且ai=bj, ≠i. 本模型中,每个节点只包含非常少的路由信息, 就可以较好地完成信息的传送、节点的加入和离开 等操作.本模型中,每个节点保存如下信息: (1)ID:保存该节点在超立方体中的一个k基n 位的编号; (2)HashlP:保存该节点的IP地址经Hash函数 (3)Preceding:前向指针,指向Chord模型中该 节点的前一个节点; (4)Next:后向指针,指向Chord模型中该节点 的后一个节点; (5)IndexTable:索引表,该表共有m项,第 项 表示该节点后,相隔至少2卜 个虚拟节点后第一个 节点的HashlP, ∈{1,…,m}; (6)Neighbors:邻居表,当k=2时该表有n项, 第 项存放邻居ID k卜 的HashlP, ∈{1,…,n};k >2时该表有2n项,第 项存放邻居Neighbor= f【 k …~一‘ -1 “的HsahlP.其中①表示按位进行模 。 >n k的加法,@表示按位进行模k的减法. 一个新站点np要加入到数据流处理联盟,应 完成如下步骤: (1)连接到一个联盟中存在的站点op; (2)op通过相应算法,填写 中所需要的上 述信息; (3)修改相关节点的信息.新加入的节点可能 会出现于某些节点的IndexTable表或Neihgbors表 中,新节点将通知这些节点修改相应的表.另外,还 需要修改新节点前驱节点和后继节点的Preceding 或Next指针. 主要算法伪代码如下所示. //HashIP为q的站点要加入到数据流处理网络 中来 q.join(n ) if(n )//能连接上数据流处理网络中的节点n ini—index(n,).//初始化索引表 updataneighbors();//修改邻居表 //修改相关节点的Preceding和Next指针 updataothers(); //如果不能连接数据流处理网络中的节点,说 明该节//点是数据流处理网络中唯一的节点 else Preceding=q:Next=q: for i=1 to m IndexTable(i)=q; end if k==2//有n个邻居的情况 for =1 to n neihgbors(j)=NULL; 维普资讯 http://www.cqvip.com

4期 王金栋等:一种支持分布式数据流处理的双层重叠网络模型 389 end else//有2n个邻居的情况 for J=1 to 2n neighbors(j)=NULL; end  .end end q.findidprecdecessor(id) 厅 :findprecdecessor(id) if n .next.ID==q.ID return n else return NULL end //修改自己及相关节点的邻居表 q.updataneighbors() if k==2//n个邻居的情况 ofr i=1 to n //查找值为Hash( ④k )的ClogNode //前的第一个节点 P=findidpredecessor(Hash(took )); if(P) q.neighbors(i)=P; P.neighbors( )=q; else q.neighbo ̄(i)=NULL; end end else//2n个邻居的情况 ofr i=1 to 2n P=findidpredecessor(Hash( o k )); if(P) q.neighbors( )=P; if <=n P.neighbors(i+n)=q; else P.neighbors(i—n)=q; end else n.neighbors( )=NULL; end end end 节点从数据流处理联盟离开的算法与加人算法 类似,此处略去. 3应用案例与模拟试验 某研究所数字化工程项目涉及两大集团,每集 团有多个设计部门.为保证安全性,每个设计部门拥 有自己相对独立的局域网,而且在进行网络协同设 计时,多个部门需要相互合作共同完成型号设计任 务,网络中流动数据量非常大.为了满足对网络中大 量流动数据实时监控的需要,设计了基于数据流处 理的分布式网络管理系统,该双层重叠网络模型为 系统的底层通信平台,并且引人类似Suman Banerjee 等人提出的优化算法 ,对模型进行了优化.图1 3是对系统测试的结果.图1表明了随着节点数的 增长,平均跳数的变化情况;图2显示了节点数与平 均时间延迟的关系;图3显示了系统在200个节点、 k=3、n=5的超立方体结构中负载与响应时间的 关系. 从测试结果可以看出,该模型能较好满足分布 式数据流处理的需求,在该数字化项目中应用比较 成功,具有较好的实用价值. 为了研究该模型在大规模网络环境中的性能, 本文利用OPNET为模拟环境,对该模型进行了模 拟,并将该模型与传统的Chord模型进行了比较.图 4比较了两种模型随着节点数量的增加,平均跳数 图l平均跳数与节点数的关系 Fig.1 The relationship between average hops and node number £ \ 叵 富 霜 图2平均延迟时间与节点数的关系 Fig.2 The relationship between average latency and node number 维普资讯 http://www.cqvip.com

39O 应用科学学报 24卷 E \ 厘 曾 图3平均延迟时间与负载的关系 Fig.3 The relationship between average latency and load 的变化情况.图5比较了随着节点数量的增加,延迟 时间的变化,此处的延迟时间不包括节点进入和离 开时引起的时间延迟. 从比较可以看出,该模型的性能比传统的Chord 模型性能有所提高. 裁 替 霸 节点数 图4平均跳数比较 Fig.4 Comparison of average hops E \ 厘 莒 艘 节点数 图5平均延迟时问比较 Fig.5 Compa6son of average latency 4结束语 本文讨论了一种面向大规模分布式数据流处理 的双层重叠网络模型,并且给出了双层重叠网络模 型的构建算法.该模型在基于分布式数据流处理的 网络管理系统中较为成功的应用,表明其能较好地 满足分布式数据流处理对底层通信平台的要求. 参考文献: l 1 J Carney D,et a1.Monitoring streams:A new class of data management applications. /n Proceedings of the 28 th lnteron ̄ioaul Conference on Very Large Data Bases(VLDB’ 02)[C].Hong Kong,China.August 2002. 1 2]Li Zhi,Mohapatra P.Host Cast:A new oveday muhicasting protcoo1.2003 lCC 03.IEEE International Conference on Communications[C].2003.1:702—706. 1 3 J Christophe Diot,et a1.Deployment issues for the IP muhicast service and architecture[J].IEEE Network,2000,14(1): 78—88. 1 4 J John J,et a1.Overcast:Reliable muhicasting wiht fin oveday network./n Proceedigns of Operatign Systems Design and Implementation(OSDI)[C].October 2000. 1 5 j Li Zhi,Prasant Mohapatra.QRON:QoS-aware muting in overlay networks[J]. IEEE Journal on Seelcted Aresa in Communications,2004,22(1):29—40. 1 6 J Stoica L, a1.Chord:A scalbale peer-to-peer lookup service for Intemet applications.Prco ofteh ACM SIGCOMM Conference[C].2001.149—160. 【7]Anglano C, Ferrino A. Using chord for meta-data management in the N3FS distributed file system.peer-to-peer systems[J].International Workshop on Hot ,2004,96 一lO1. 【8 J Fry G,West R.Adaptive muting of QoS-constrained media streams over scalable overlay topologies.Proceedigns of teh lOth IEEE Real-Tiem and Embedded Technology and Applwations Symposium(RTAS)[C].2004.518—525 [9 J Bella Bose,et a1.Lee distance and toplosical pmpertles of k— ary n-cubes[J].IEEE Transactoin on Computers.1995,44 (8):1021—1030. 【10J Suman Banerjee,et a1.Construction of an efifcient overlay multicast infrastructure for real-time applications.Twenty- Second Annual Joint Conference of teh IEEE Computer and Communications Societies[C].2003.2(30):1521—1531. (编辑:黄 苑) 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- wuhaninfo.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务