黄晓莉，许海铭

0 引言
　　国家电力数据通信网是国家电力公司综合性的广域网络传输平台[1]，是国家电力公司系统内各种计算机应用系统实现互联的基础，是电力信息基础设施的重要组成部分。
　　近年来，国家电力公司各网(分)、省(市)公司纷纷建设数据通信网络，据不完全统计，已建成并投入使用的网(分)、省公司有：华北、西北、河南、河北、湖北、江苏、浙江、广东、山东、黑龙江、天津、湖南、吉林、甘肃、陕西、新疆、四川、辽宁、上海、重庆、青海和福建等。这些数据通信网络主要覆盖范围是网(分)、省(市)公司直属电业局、网(分)公司所管辖的电厂、变电所。这些数据网络大部分均为综合业务网络，采用的设备为异步转移模式(ATM)设备。其中，甘肃、陕西、新疆、湖南为路由器组网。
　　随着三峡工程、西电东送工程、全国联网工程的实施，全国光纤网络正在逐步形成。根据规划，“十五”期间将建成覆盖全国的三纵四横的光纤网络，为国家电力数据通信网络的建设奠定了基础。本文旨在探讨国家电力数据通信网络建设的技术方案。

1 网络业务需求及业务流量、流向预测
　　国家电力数据通信网对内服务的业务范围包括数据、图像、多媒体和话音业务。当前，电力通信业务正在由以话音通信为主逐步向以数据通信为主转变。数据通信的业务量已超过总带宽需求的80％。在各种数据业务中，IP协议占据了主导地位，例如电力市场信息、企业管理信息等均采用IP协议。随着电力市场化的进一步发展，基于Internet的具有开放性和安全可靠性的信息传输平台将成为电力数据网络发展的必然趋势[2]。
　　当然，在数据通信业务中，有质量和可靠性要求非常高的保障业务，也有普通的数据业务；有连续的恒定比特率(CBR)的业务，也存在大量的突发性业务。因此，各种业务对传输质量的要求差别很大。
　　根据国家电力信息中心2002年7月份的统计信息，按每月运行744 h计，同时考虑到企业网的应用时间主要集中在上班时间，有效工作时间为6h/d，可计算出乎均各网、省的信息交换量约为0.8 Mbit/s。
　　根据中电飞华公司为全国各网、省公司提供的Internet访问和IP电话服务的业务统计，2002年为各网、省配置的带宽为1个～8个2 Mbit/s，而实际流量差距较大，使用较多的网、省，例如陕西、安徽、云南等省电力公司，将所配置的4个2 Mbit/s和5个2 Mbit/s全部用满。经过对实际使用流量的计算，得出各网、省使用的平均流量为3Mbit/s。
　　根据中国电信的预测，“十五”期间全国IP骨干网的带宽需求是“九五”末的16倍。假设“十五”期间电力IP骨干网的带宽需求是目前的8倍，则“十五”期间电力数据网的骨干带宽需求是(3 Mbit／s+0．8 Mbit／s)× 37(6个网(分)公司，31个省(市)公司)×8＝1124.8 Mbit/s。
　　信息的流向与行政管理关系、信息资源的分布及Internet出口设置等密切相关。目前，管理中心、信息资源中心及Internet出口均设在北京，因此，网上交换信息分布呈现以北京为中心的星形分布。今后，随着网络的健全和完善、网络信息资源的丰富和合理化分布，以及上海、武汉、广州等Internet出口的建立和行政管理关系的改变，信息将被分流，总体上应是以北京及各大区为中心的树形分布。
2 网络技术体制
　　未来网络将具有统一的IP协议和巨大的传输容量，能以最经济的成本，灵活可靠且持续地支持一切已有和将有的业务及信号。具体说来，其上层联网协议将是TCP／IP，下面的基础物理层是波分复用(WDM)光传送网，因而可以提供巨大的网络带宽，保证以可持续发展的网络结构、容量、性能和廉价的成本，支持当前和未来的任何业务和信号。
　　鉴于光纤的巨大带宽、低成本和易维护等一系列优点,20世纪80年代中期以来，网络的光纤化一直是世界各国网络发展的主要趋势之一，架空地线复合光缆(OPGW)和全绝缘自承式光缆(ADSS)等电力系统特种光缆已在电力系统广泛使用[3]。
电信光纤网络建设有以下重要趋势：
a．采用新一代的非零色散光纤，特别是大有效面积光纤和低色散斜率光纤，目的是为了支撑下一代超高速、超高容量网络。
b．光缆芯数明显增加，平均可高达100芯以上。主要目的是转售光纤。
c．普遍采用以10 Gbit/s为基础的密集波分复用(DWDM)。这样，目前干线路由横截面的传输能力可以高达10 Tbit/s，而传输成本可望比传统传输系统降低1个数量级左右。
d．设计以数据、特别是IP业务为中心的融合网络，计划在将来支持话音和实时多媒体业务。
　　采用新一代体系结构的太比特每秒(Tbit/s)交换机/路由器已经问世。它面向高密度的OC—192DWDM系统，提供高速(10 Gbit/s)光接口。基于大容量的带宽和各种高速处理技术，融合同步数字系列(SDH)、ATM等各种技术的先进控制和处理机制，提供先进的综合多业务平台。满足各种服务质量(QoS)和业务特性要求，例如提供绝对的QoS(类似ATM)、有保证的IP带宽、时延和分组延迟变化以及提供CBR业务等，并广泛支持各种传统业务和新型网络业务。
　　未来的网络将是基于DWDM技术、以高速交换机／路由器为核心的多业务网络。但是，根据需求预测和分析，电力系统内部业务需求的带宽要求在“十五”期间不会超过2．5 Gbit／s，因此，尚无大规模发展DWDM/WDM的迫切需求。特别是电力系统特有的线路保护信号，要求逐站的点对点传输，SDH更是无法取代. 在这一基本需求和建网条件下，国家电力数据通信网络技术体制的选择主要集中在MPLS+POS+SDH和MPLS+ATM+SDH两种技术平台上。
2.1 MPLS
　　多协议标记交换(MPLS)与IP交换的区别在于，MPLS在控制流(controltraffic)出现的基础上，特别在选路协议更新(routing protocol update)的基础上，生成和分配标记，为路由器表中的每一个目的地都建立一条交换通路，去往某个特定目的网络的所有数据都被安排在系统的交换通路上。IP交换是为实际达到的数据流本身建立一条交换通路，该通路只能被该数据流使用。
　　MPLS是同时适用于SDH和ATM、并可适用于未来发展的任一特定链路层制式的技术。MPLS支持IP快速转发、流量工程、服务等级(COS)、QoS、网络管理等各项功能，同时提供了路由协议的伸缩性，提高了网络的扩展性。
　　MPLS技术将第2层交换与第3层路由有机地结合在一起，是一种理想的ATM与IP融合技术。下一代的IP网络必须能够支持一些非缺省的服务才是最具有价值的，这些非缺省的服务可能是安全性、CoS、QoS、多播(multicast)、服务级别保证(SLA)等。MPLS将无连接的IP数据流放到了实质上是面向连接的一条第2层交换通路上，它能够更有效和更经济地帮助网络提供商支持多种新业务。因此，MPLS将作为主要技术在国家电力数据通信网中加以采用。
2.2 ATM技术和POS技术
　　ATM技术定义了不同服务类别及流量参数，并且为不同的服务类别定义了丰富的QoS参数，包括：信元传送时延(CTD)、信元时延变化(CDV)、信元丢失率(CLR)等，通过连接接纳控制(CAC)、流量管理等控制策略保证连接的端到端QoS。ATM技术具有完善的流量控制、流量管理机制，例如CAC，用于建立连接时分配网络资源，判断是否满足连接申请的带宽和QoS要求。ATM网络的路由协议可以根据网络资源情况，选择空闲链路，合理分配网络带宽，达到流量均衡。采用ATM技术的IP网络可以灵活地适应新增路由器或调整网络结构的情况，因为ATM技术是面向虚连接的技术，具有一点对多点的连接能力。但相对于SDH上的ATM实现，POS((1Pover SDH))技术对SDH的带宽使用效率更高。因为ATM信元由5字节的控制头和48字节的有效载荷，封装开销大，比POS技术浪费部分链路带宽。ATM技术高效的带宽管理能力可以适当弥补这个缺点。
　　POS只能承载IP业务。最新的POS技术通过CAR(committed access rate)、WRED(weighted random early detection)和WFQ(weighted fair queueing)等IP的QoS功能也可以提供基本的流量管理和阻塞控制。POS是基于SDH的点对点链路。SDH每条链路的带宽是固定分配的，由于IP为无连接协议，包沿着最短路径传送，因而造成即使这条链路没有数据传输，其他链路的应用也无法利用这一部分带宽资源。POS技术与MPLS技术相结合，利用LSP连接技术可以克服这种缺陷。但是，POS技术没有完善的带宽管理能力，其最大缺点是带宽分配不够灵活(基于点对点传输，且最低速率为155 Mbit／s)。采用POS技术的路由器网络，扩展灵活性差，当新增路由器或调整网络结构时，往往需要改变物理网络的拓扑结构。IP采用DiffServ技术可以提供有差别服务，但是这种有差别服务定义是粗线条的，用户究竟能够获得什么样定量化的端到端QOS，无法保证，实际上仅仅是COS，而不是QOS。MPLS技术的出现使得定量化的IP QoS可以通过MPLS信令CR-LDP得到显式表示，但仍然需要依赖底层技术的QOS保证。
2.3 技术方案
a．建议初期网络以"MPLS+ATM"技术构建，即核心部分采用支持MPLS的ATM多业务交换机，边缘节点采用ATM多业务交换机、路由器、以太网交换机或综合接人设备，根据接人业务的要求确定。将来随着技术发展和网络容量扩大，网络核心节点将过渡到支持MPLS的大容量(太比特每秒)交换机／路由器，原来作为核心节点的多业务ATM交换机将退至边缘作为多业务接人交换机。该方案的优点是：支持多业务，例如ATM、帧中继、专线、话音和视频等业务；对各种业务的QoS有可靠的保证；通过基于ATM的MPLS技术还可以提供高效、具有QoS保证的IP业务；较好地支持流量工程等；对大量的省级ATM网络提供良好的互联平台，实现业务互通；支持网络的平滑扩展，并在任何阶段满足各种业务的需要，最大可能地适应用户的需求。其缺点是技术复杂、开销较大、成本较高、无法直接支持桌面应用。
b．POS组网方案。采用高端路由器以“MPLS+POS"技术构建骨干网，边缘采用高密度接入路由器。该方案支持纯IP业务，并采用MPLS技术实现对各种级别IP业务的质量保证，协议简单，对IP业务的处理更为直接，简化了环节。缺点是：不支持非IP业务，例如非IP的话音、视频、专线业务等；不支持基于带宽隔离的QoS保证；对网络的控制和管理能力低于ATM网络；同时，由于POS技术是基于点对点传输的，因此网络扩展灵活性较差，带宽分配不够灵活。
　　方案a和方案b比较，两者各有侧重。方案a更重视多业务的支持能力、QoS保证和技术的成熟性，适应于多业务的网络，大多为传统的电信运营商所采用。对IP业务，方案a采用MPLS技术实现，利用ATM强大的带宽隔离和保证能力为IP业务提供严格的QoS保证，可实现在一个平台上建立多个IP网和多种业务网，对电力系统通信业务提供了强大的发展空间。方案b更侧重于IP业务的实现，强调协议的简化，以高带宽换取对QoS的保证。大多为提供以Internet互联为主要业务的新型运营商(ISP)所采用。
　　根据国家电力数据通信网络的业务定位，该网不经营对外服务业务，不承载与调度、交易、控制直接相关的业务(该类业务由调度专用网络传输)。从前面对电力数据通信网业务的需求分析可看出，电力系统的内部业务主要是IP业务，包括数据、话音和多媒体。非IP业务主要是基于时分复用(TDM)的传统话音和会议电视及变电站、机房、视频监视系统。考虑到这部分业务目前已在电力系统的SDH网络及程控交换网上承载，因此建议采用方案b。
3 网络方案
　　国家电力数据通信网分为3级：①国家电力公司、大区网(分)公司、部分省和直辖市等核心节点组成核心层，采用环形加十字形网络拓扑结构；②各省、直辖市等骨干节点组成骨干层，采用星形加链形结构；③省网(及城域网)构成接入网。接入网的划分有2种方式：①城域网与省网融合(城域网作为省网内的接入网)，只存在一个省网作为接入网；②省网作为接入网，同时城域网也作为接入网。
　　省(市)网络的建设相对独立，并通过与全国骨干网设在各省(市)的骨干节点设备背靠背连接接入全国骨干网。
　　核心层设9个核心节点，基本中继速率为n×155 Mbit／s。骨干层由31个骨干节点组成。每个骨干节点至少与2个核心节点或骨干节点相连。基本中继速率为155 Mbit／s。
　　接入层包括省网、城域网及相关的厂站和直属单位部门等，同时在骨干、核心节点设置接入路由器。接入层主要负责业务的集中，提供对各种业务的支持。接入层节点按就近入网的原则就近接入附近的核心节点或骨干节点，必要时可多点接入形成网络。接入层节点与核心节点或骨干节点间的中继接口速率，根据具体情况确定。省网、城域网接入速率一般为155 Mbit／s。
4 IP网络路由设计
　　国家电力数据通信网路由设计总体方案为：骨干网设计成一个自治域(AS)，各省内数据网络采用专用(privat)AS的方式建立省内的多自治域，用外部网关协议(EBGP)实现互联和控制，对外显示为一个AS，对内则显示为多个AS；骨干网和各省内数据网的互联采用BGP-4；域内网关协议(IGP)推荐采用开放式最短路径优先协议(OSPF)。
4.1 多自治域方案的选择
　　骨干网与省网采用策略化的路由协议——边界网关协议(BGP)进行连接，可提高网络的可扩展性、稳定性和开展新业务的灵活性。
　　OSPF路由协议一个域(Area)内正常情况下应不超过40台路由器，而且，只能有2层化的网络结构和1个骨干域(Area 0)，所有的下一级Area都需要与Areao相连，对于再下一级的节点，只能采用静态路由协议，造成网络内大量路由的再分发。
　　省网采用BGP与全国骨干网相连，可利用BGP实现路由的策略性。对于骨干网络，在同一个IGP内的节点数将大大减少，便于骨干网的稳定性和可扩展性，由于减少了再分发点，也可大大降低网络出现次选路径和不精确路由的可能；而对于省内的网，可独立地进行路由设计，独立设计省内的OSPF／IS-IS网，实现多层次结构，省内网络的可扩展性也将大大加强。省网内部的网络变化或实现新的增值业务时，将不会对骨干网产生影响，反之亦然。而且，全国骨干网可通过BGP进一步实现对省网内向外流量的更好控制。
4.2 OSPF路由协议的选择
　　目前，可以用于大规模的ISP、同时又基于标准的IGP路由协议有OSPF和IS-IS两种，均是基于链路状态计算的最短路径路由协议，采用同一种最短路径算法(Dijkstra)。IS-IS为ISO标准路由协议，可支持无连接网络服务(CLNS)协议和IP协议，IS-IS路由协议标准化程度高，较OSPF更为成熟。OSPF是Internet工程工作组(1ETF)推荐的IP内部网关协议，在纯IP环境中协议系统相对简单。
　　从产品支持来看，OSPF厂家支持众多，而且技术人员比较熟悉。为更好地支持多厂家环境，方便运行维护管理，建议国家电力数据通信网采用OSPF作为IGP协议。
4.3 骨干网BGP路由设计
　　国家电力数据通信网与各省网之间均采用BGP-4路由协议，而它们分别连接在国家电力数据通信网相应的核心和骨干路由器上，这就要求这些路由器均要支持并启动BGP-4路由协议。骨干网所有路由器必须在同一个自治域内。
　　为了解决IBGP的全连接性问题，可采用路由反射器(RR)方式。在各网局的核心节点及北京市白广路节点设置7组RR，将29个省网节点根据区域和物理链路的连接分别与7组RR实现对等(peer)关系，将7组RR设置为7个簇，彼此之间实现BGP的fullmesh连接，从而达到省网间路由的交换。RR功能可采用现有的骨干网路由器实现。
　　通过BGP-4可以控制不同路由的分布和传播：全网的路由器均可透过IGP获得缺省路由；省网路由是由骨干节点路由器通过EBGP从省网得到的，并传播到全网。骨干节点路由器可以将不同省的省网路由打上不同的公用(community)标识，核心节点上分布有所有省的路由。
4.4 骨干网IGP路由设计
a．OSPF分区设计：IGP采用OSPF路由协议的网络拓扑分区如图1所示。其中包括1个主干域和7个OSPF子域、9个核心节点。

b．IS-IS分区设计：IGP采用IS-IS路由协议时，可采用2层IS-IS结构，也可采用1层IS-IS结构。推荐采用1层IS-IS结构，以实现动态的最短路径路由选择。作为网络骨干汇接层，所有骨干路由作为IS-IS Level-2路由节点；每个节点在不同的域。
4.5 用户路由策略
　　对于接入用户，可采用以下2种路由策略：
a．静态路由。用户端采用缺省路由(default route)；网络端配置静态路由，并把用户路由信息转换到BGP路由。建议对小规模客户采用静态路由方式，以避免客户路由波动对骨干路由造成影响。
b．BGP路由。采用EBGP与用户交换路由信息；采用BGP的公用标识不同的BGP路由信息，便于服务的提供。
　　可以根据不同业务类型向不同用户提供BGP缺省路由、国家电力数据通信网络和国家电力数据通信网络用户的BGP路由信息，或者全部Interllet BGP路由信息。需要在用户接入处做BGP路由过滤控制。
　　在BGP用户接人端口配置BGP阻尼(dampening)以减少用户路由波动的响应。需要对各种EBGP路由信息加上不同的公用字符串(communitystring)，保证网络路由的易管理和易维护。
5 网络和业务接入
　　根据省网、城域网是ATM网或路由器网，相应采用ATM，FE或POS方式与国家电力数据通信网骨干节点相连，接口速率可采用100 Mbit／s或155 Mbit／s。
5.1 路由器网接入方式
　　对采用路由器组网的省网、城域网可采用以太网方式和POS方式与全国骨干网相连。即两个拟互联的网络设备可采用FE口相连，也可采用POS口相连。推荐采用FE方式。
5.2 ATM网接入方式
　　对采用ATM交换机组网的省网、城域网可采用ATM方式、以太网方式和POS方式与全国骨干网相连。
采用ATM方式时，两个网络设备以ATM端口互联，端口速率可采用155 Mbit／s。在支持MPLS的IP网络中对ATM网络业务的处理有以下2种方式：
a．L3交换方式。在ATM网络进入IP网络PE节点上，把ATM业务转换成IP业务，然后通过网络对IP业务进行传递。
b．L2交换方式。在ATM网络进入IP网络的PE节点上对AALl，AAL3／4，AAL5进行终结，并把AALX报文作为链路层报文进行透传，或以信元为单位直接透传。采用该方式可实现基于AAL5的业务互通和AALl／2，AAL3／4的业务透传。
　　对虚拟专用网(VPN)业务，可通过在互联的ATM链路上为不同的VPN设定相应的永久虚信道(PVC)来进行区分。在这种方式下，根据需要可在北京节点配置1台ATM交换机设备，这样，所有ATM网络中的业务均可透传至北京。若仅考虑IP业务的传递，则不需要设置ATM设备。
　　采用以太网方式时，两个网络设备以FE端口互联。采用该方式可实现IP业务的传送。采用POS方式时，两个网络设备以POS端口互联，采用该方式可实现IP业务的传送。
5.3 MPLS VPN
　　为满足不同部门及业务的安全性和服务质量要求，可采用VPN技术实现在单一网络上的多个IP业务的有效隔离。
　　IP网络上的VPN实现方式有多种，包括加密、隧道方式等。推荐采用MPLSVPN。
　　MPLSVPN是利用MPLS网络，通过使用两级标记堆栈建立IP隧道，使用上层标记实现标记分组在MPLS网络内部转发，使用下层标记来识别不同的VPN。
　　在路由器网络中MPLS VPN采用BGP／VPN方式。BGP是一个路由信息分布协议，它利用多协议扩展和共有属性来定义VPN的连接性。在基于MPLS的VPN中，BGP只对同一个VPN的成员发布信息，通过流量分离来提供基本的安全性。VPN转发表中包括与VPN—IP地址相对应的标签。通过这个标签将数据传送到相应地点。既然标签代替了IP地址，用户可以保持他们的专用地址结构，无须进行网络地址转换(NAT)来传送数据。根据数据入口，交换机选择一特定的转发表，该表中只包括VPN中有效的目的地址。
　　这种解决方案的优势在于可以通过相同的网络结构来支持许多种VPN，并不需要为每一个用户建立单独的网络。而且，这种方案将IP VPN的能力内置于网络本身，因此，可以为所有用户配置一个网络来提供专用的IP网服务，而无须管理隧道或虚信道网络(VC mesh)。QoS可为每个VPN提供特有的业务政策，而且QoS服务可与基于MPLS的VPN无缝结合，因为两者都是基于标记的技术。
6 网络技术性能
　　国家电力数据通信网络主要指标要求如下：
a．任意两个节点间，从一个节点接入层设备入端口至另一个节点接入层设备出端口最大多次往返(round trip)端到端时延小于150 ms，包时延变化小于50 ms。
b．在标准包长下网络负载率达到70％时，端到端丢包率小于10-3
c．全网路由的收敛与恢复速度小于40 s(呼叫时间间隔为10 s时)。
d．网络的可用率不小于99．99％。
　　对路由设备的主要要求如下：
a．高可用性。设备支持高可用度体系结构，关键部件包括路由引擎、交换模块、接口卡、风扇系统
和电源等均有硬件冗余，单一部件的故障不影响网络运行。骨干(汇聚)层路由器的可用性应不小于99.999％。各线路卡具有热插拔功能，部件的更换和增加不影响网络的运行，交换模块提供容错功能，单个部件的故障不影响网络的运行，服务不会中断。
b．良好的可扩充性。采用高度模块化的结构设计，支持分布式处理，可通过增加处理器模块来增强节点处理能力。
c．丰富的接口类型和足够的接口数量。
d．根据网络的拓扑结构，不同级别的路由器设备具有不同的交换容量。
e．支持MPLS及MPLS／TE，MPLS／VPN。
f．支持IP QoS和CoS，具有阻塞管理和控制功能等。
7 网络管理和时钟同步
　　国家电力数据通信网骨干网网管中心按二级设置，在北京设置2个全国网管中心，分别设在白广路和西单，互为备用，以提高可靠性。在各网(分)公司设置分网管中心。设置省网管中心，负责管理省网网络。
　　全国网管中心全面负责全国骨干网的管理；各网(分)公司的分网管中心协助全国网管中心监控骨干网中网(分)公司内的部分，并在全国网管中心的授权下对设备进行更改和处理；省网管中心负责省内网部分的管理。
　　国家电力数据通信网将同步于SDH传输网，由路由器的POS端口提取SDH传输链路的同步时钟信息。建议西单节点的核心路由器设置为国家电力数据通信网的时间服务器，为全网提供时间信号。
8 网络地址编码
　　国家电力数据通信网骨干网在对骨干网IP地址进行规划的同时，应充分考虑本地网对IP地址的需求，以满足未来业务发展对IP地址的需求。IP地址的分配必须采用VLSM技术，保证IP地址的利用效率；采用无类别域内路由选择(CIDR)技术以减小路由器路由表的大小，加快路由器路由的收敛速度，也可以减小网络中广播的路由信息。
　　国家电力数据通信网按国家骨干网(含大区网)、省(市)网、地区网(城网)分级建设。IP地址的分配应考虑全网的互联互通。根据估算，平均每个地区网(城网)至少需要2个C类地址空间；平均每个省网约需32个C类地址空间；北京、上海等直辖市网约需16个C类地址空间。按上述要求，若按统一分配地址空间考虑国家电力数据通信网总体IP地址需求，约为4个B类地址。M网络中的业务均可透传至北京。若仅考虑IP业务的传递，则不需要设置ATM设备。