您现在的位置: 通信界 >> 数据通信 >> 技术正文  
 
集群系统中的自适应信息交换技术研究
[ 通信界 / 彭劲杰 / www.cntxj.net / 2006/1/18 19:51:27 ]
 

中共湖南省委党校湖南行政学院彭劲杰 (原名彭孟良)

  1引言

    通过高性能互连系统将多个CPU构成并行计算机集群系统,是获得高性能计算的有效途径。为了提高互连系统的性能,人们从许多方面进行了大量研究,如互连硬件设备性能、并行系统的网络拓扑结构和路由算法等等。由于硬件性能受限于当前的工艺水平,且网络拓扑结构的研究非常成熟,路由算法就成了研究热点。

    在路由的实现过程中,互连网络所采用的信息交换技术决定了信息可以沿着路径传输的延时和带宽。因此信息交换技术是反映互联网性能的一个重要因素。最基本的信息交换技术有电路交换(CircuitSwitch)和报文交换(PacketSwitch)两种,其他许多改进方法都是针对这两种技术的性能改善方法,比如虫孔交换(WormholeSwitch)是对报文交换中有的路径上信息单元不足一个报文;虚跨步交换(Virtual Cut-through Switch)是鉴于电路交换与报文交换之间的技术。这些技术的改进是针对物理链路的要求而来的,而不是针对应用特点的延时与带宽需求进行的。

    从应用的角度来看,一个集群系统上往往运行了多种应用程序。不同应用的数据有不同的特点,对信息交换的性能有不同的要求,比如有的要求是低延时,而有的要求高带宽,这就要求有与之相适应的信息交换技术。电路交换与报文交换二者有不同的特点,任何一种方法都不能同时满足所有应用。为此,需要研究与多种应用需求相适应的信息交换技术。

    为了提高信息交换对应用需求的适应性,文献[2]提出了一种基于高性能输入队列的交换技术。该技术通过改进链路上设备的缓冲区来提高系统的交换性能,其优点是能适应一定范围内的信息提供高带宽低延时的服务,其缺点是需要增设缓冲区,对底层进行修改。但是不同应用的QoS标准不同,其方法只能针对应用的低延时或高带宽的多种要求同时进行优化。本文提出自适应信息交换技术的思想,是为了提高网络的信息交换性能并且可以满足不同应用的多种需求。

    2传统的信息交换技术

    2.1电路交换

    在数据传输前要在源和目的之间首先建立一条物理路径,然后在这条路径上一次将数据传送完,再释放该物理路径。

    其中物理路径的建立是通过向网络注入路由头微片来实现的(这个路由头微片包括目的地址和其他控制信息,路由探测头向目的前进,在通过中间路由器传输的同时保留物理链路。当探测头到达目的时,就建立了一条完整的路径,并向源结点返回应答)。路径建立后,消息内容就可以以硬件路径的整个带宽传送。

    电路交换的优点是:①简单,就类似于源与目的之间建立一条物理专线;②传送带宽高,因为其传送可以占领整个带宽性能。当应用中需要传送的消息很长时(消息传输时间远远大于路径建立时间),这种交换技术非常有效。

    电路交换的缺点是:①路径建立延时很长。路径的建立要求路径的每个器件都空闲;②整个消息发送期间都要占领该物理路径,有可能阻塞其他的消息,影响网络的整体利用率。

    2.2报文交换

    针对电路交换要占用整个路径的缺点,是将消息划分成固定长度的许多报文,每个报文从源结点到目的结点独立路由,报文在向下一个结点转发之前完全缓冲在每个中间结点,不需要占领独立的物理通道。为了便于控制,每个报文的前几个字节包含路由和控制信息,称作报文头。中间路由器析取头信息,确定报文转发的输出链路。

    报文交换的优点是:①不需要建立物理路径,消息传送的延时小,对消息较短和延时受限的应用来说很有意义;②在报文交换中,只要某段预留路径空闲有效的时间段,有数据需要传输时通信链路就可以充分利用,器件的并行性较好,网络的利用率高。

    报文交换的缺点是:①消息需要进行分片,会带来额外开销;②由于每个消息片独立路由,一条消息的多个报文会出现乱序等现象,整个传送的完成需要等待传送最慢的消息片;③消息传送需要有超时机制对是否传送完成进行判断,和报文重复丢弃等复杂情况进行管理。

    3.自适应信息交换

    不同的应用对消息交换有不同的要求。比如在集群系统上运行科学计算中的障碍同步操作(Barrie),消息较短,操作的延时直接决定了多机并发工作的性能。这种情况就是延时受限。而对于数据挖掘应用,数据库服务器需要将某一维的所有数据进行传送,数据量大,传送的及时完成对应用服务性能有直接影响。这种需要高带宽的应用就是带宽受限。一个集群系统同时运行这些应用,就要求网络交换技术具有一定的适应性。

    3.1两种交换方式的互补性

    经分析,电路交换的优点是带宽高,但是建立链路时间太长时,同样会影响数据传递的效果;在报文交换机制中,每个片会带来额外的数据包处理开销等,如果这些开销太大,同样会引起系统的整体性能。二者结合起来,则有较理想的效果。

    电路交换与报文交换相互补的方法是指对于一个消息,如果能很快建立一条物理链路,则可以选择进行电路交换;如果在链路上的某几个结点之间能很快建立一条物理链路,则这些结点间能进行电路交换,而路径上的其余结点间采用报文交换。

    互补交换是自适应交换中的一种交换方式。在互补交换中,只需要少量的链路建立时间。

    3.2自适应信息交换思想

    所谓自适应信息交换技术就是根据实际应用的需要,自适应地选择数据交换方法,如算法一所示。算法一中,对有延时要求的短消息,自适应信息交换会选择报文交换机制进行数据传递;而对有带宽要求的长消息且比较易于建立链路,自适应信息交换会选择电路交换;对链路建立时间很长的,自适应信息交换会选择电路交换与报文交换互补的方式。

    输入:目的结点T、源结点S、数据信息M、网络拓扑结构、各结点间链路建立的统计时间信息交换的延时

    输出:信息交换方法

    算法开始:如果M短且有 要求延时短, 则输出 报文交换 如果 T与S间的链路建立时间 ≤ 阈值, 则 输出 电路交换 输出 互补交换

    算法结束

    算法一信息交换机制的选择算法

    在算法一中,需要直到各结点之间路由链路的建立时间统计情况。这些统计情况是一些历史信息,并且根据每次链路的建立情况进行修改。

    3.3自适应信息交换机制

    分别设置数据信息量的信息交换下阀值x1和上阀值x2;

    分别设置数据信息量的信息交换下阀值y1和上阀值y2。

    设置数据记忆长度N。

    近期历史记录中采用电路交换的N个数据信息,记为n1i(i=1,2,…,N),其信息量大小为s1i,完成信息交换的延时为t1i。

    近期历史记录中提取采用电路交换的N个数据信息,记为n2j(j=1,2,…,N),其信息量大小为s2j,完成信息交换的延时为t2j。

    具体算法实现方式如下:

    如果数据信息位于灰色区域,采用电路交换;

    否则,

    如果数据信息位于绿色区域,采用报文交换

    否则,

    如果可接受延时/数据信息量,采用报文交换

    否则,采用电路交换

    具体算法计算公式:(略)

    4结束语

    针对当今信息交换不能满足集群中多种应用需求,本文研究提出了自适应交换的思想。在研究中提出了互补交换的思想,并给出了自适应交换选择的算法。今后的工作需要将该思想进行工程实现和验证。

 

 

作者:彭劲杰 合作媒体:通信市场 编辑:顾北

 

 

 
 热点技术
普通技术 “5G”,真的来了!牛在哪里?
普通技术 5G,是伪命题吗?
普通技术 云视频会议关键技术浅析
普通技术 运营商语音能力开放集中管理方案分析
普通技术 5G网络商用需要“无忧”心
普通技术 面向5G应运而生的边缘计算
普通技术 简析5G时代四大关键趋势
普通技术 国家网信办就《数据安全管理办法》公开征求意见
普通技术 《车联网(智能网联汽车)直连通信使用5905-5925MHz频段管理规定(
普通技术 中兴通讯混合云解决方案,满足5G多元业务需求
普通技术 大规模MIMO将带来更多无线信道,但也使无线信道易受攻击
普通技术 蜂窝车联网的标准及关键技术及网络架构的研究
普通技术 4G与5G融合组网及互操作技术研究
普通技术 5G中CU-DU架构、设备实现及应用探讨
普通技术 无源光网络承载5G前传信号可行性的研究概述
普通技术 面向5G中传和回传网络承载解决方案
普通技术 数据中心布线系统可靠性探讨
普通技术 家庭互联网终端价值研究
普通技术 鎏信科技CEO刘舟:从连接层构建IoT云生态,聚焦CMP是关键
普通技术 SCEF引入需求分析及部署应用
  版权与免责声明: ① 凡本网注明“合作媒体:通信界”的所有作品,版权均属于通信界,未经本网授权不得转载、摘编或利用其它方式使用。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:通信界”。违反上述声明者,本网将追究其相关法律责任。 ② 凡本网注明“合作媒体:XXX(非通信界)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。 ③ 如因作品内容、版权和其它问题需要同本网联系的,请在一月内进行。
通信视界
华为余承东:Mate30总体销量将会超过两千万部
赵随意:媒体融合需积极求变
普通对话 苗圩:建设新一代信息基础设施 加快制造业数字
普通对话 华为余承东:Mate30总体销量将会超过两千万部
普通对话 赵随意:媒体融合需积极求变
普通对话 韦乐平:5G给光纤、光模块、WDM光器件带来新机
普通对话 安筱鹏:工业互联网——通向知识分工2.0之路
普通对话 库克:苹果不是垄断者
普通对话 华为何刚:挑战越大,成就越大
普通对话 华为董事长梁华:尽管遇到外部压力,5G在商业
普通对话 网易董事局主席丁磊:中国正在引领全球消费趋
普通对话 李彦宏:无人乘用车时代即将到来 智能交通前景
普通对话 中国联通研究院院长张云勇:双轮驱动下,工业
普通对话 “段子手”杨元庆:人工智能金句频出,他能否
普通对话 高通任命克里斯蒂安诺·阿蒙为公司总裁
普通对话 保利威视谢晓昉:深耕视频技术 助力在线教育
普通对话 九州云副总裁李开:帮助客户构建自己的云平台
通信前瞻
杨元庆:中国制造高质量发展的未来是智能制造
对话亚信科技CTO欧阳晔博士:甘为桥梁,携"电
普通对话 杨元庆:中国制造高质量发展的未来是智能制造
普通对话 对话亚信科技CTO欧阳晔博士:甘为桥梁,携"电
普通对话 对话倪光南:“中国芯”突围要发挥综合优势
普通对话 黄宇红:5G给运营商带来新价值
普通对话 雷军:小米所有OLED屏幕手机均已支持息屏显示
普通对话 马云:我挑战失败心服口服,他们才是双11背后
普通对话 2018年大数据产业发展试点示范项目名单出炉 2
普通对话 陈志刚:提速又降费,中国移动的两面精彩
普通对话 专访华为终端何刚:第三代nova已成为争夺全球
普通对话 中国普天陶雄强:物联网等新经济是最大机遇
普通对话 人人车李健:今年发力金融 拓展汽车后市场
普通对话 华为万飚:三代出贵族,PC产品已走在正确道路
普通对话 共享退潮单车入冬 智享单车却走向盈利
普通对话 Achronix发布新品单元块 推动eFPGA升级
普通对话 金柚网COO邱燕:天吴系统2.0真正形成了社保管