中国的网络通信技术在近年来实现了突飞猛进的发展,各种新兴技术层出不穷，除了传统的网络接入终端智能手机和电脑外，智能手表、健身腕带、智能家庭设备、网络支付、高清影音、物联网等的普及也使用户对于联网速率的要求越来越高，三大运营商为了适应时代潮流，同时为用户提供更为便捷迅速的服务，采用的通信技术也逐渐由从上世纪90年代的2G，到2010年左右兴起的4G。时至今日，随着用户的音频、 视频、图像等业务急剧增长，网络流量的爆炸式增长,即使是4G网络也逐渐无法完全满足人民对网络速率提升的需求，5G网络的普及变得越来越迫切。
根据工信部等部门提出的5G推进工作部署以及三大运营商的5G商用计划，我国最快2020年正式推出5G商用服务。可见5G时代马上就要到来，而5G网络其峰值理论传输速度可达每秒数十Gb，这比4G网络的传输速度快数百倍，除了支持手机和平板电脑外，5G网络将还可支持各种可佩戴式智能设备以及智能家居，等到5G网络商用后，也将带动车联网、物联网、无人机、云计算等应用的发展，所以基础承载网络的扩容需求随着也变得迫在眉睫。目前常用的千兆以太网技术已经完全无法满足时代的需求，万兆以太网技术和基于IEEE 802.3ba标准的40/100G以太网技术必将成为以后的主流。
一、5G承载网络中数据采集遇到的问题
凡事利弊共存，随着5G时代海量数据的接入，用户在享受便利的网络冲浪的同时，面临的诸如网络蠕虫、木马病毒及垃圾邮件、DDOS攻击、网络资源滥用（包括P2P下载、IM即时通讯、网络游戏、在线视频等行为）、黑客攻击行为等网络威胁也愈发严峻，传统的基于千兆接口和万兆接口的安全性能分析设备和基于交换机端口镜像的数据采集方式，由于性能和设计的时代特性，逐渐变得力不从心，用户在监控数据采集方面经常会遇到如下问题：
（一）多种旁路监控分析设备同时部署，交换机镜像端口不足
基于交换机镜像端口旁路部署的安全设备逐渐增多，在同时部署两个或以上的旁路监听设备之时不仅增加交换机的性能开销，且不能满足各种安全监控设备灵活部署的需要。
（二）基于核心出口南北向数据采集方式，存在东西向数据监控盲点
传统采集方式主要采用出口或核心区域的交换机镜像方式采集流量，这种方式只能采集跨网段数据访问，但相同网段下的数据访问无法进行采集，存在监控盲点和监控分析数据不完整，将导致无法在第一时间溯源原始攻击和影响数据分析结果
（三）安全监控设备部署管理分散，数据存在泄密风险
不同种类的监控分析设备直接采集全量的区域数据流量，但数据安全审计设备只需监控数据库类型数据、网络监控分析系统只需监控分析网络层流量，一旦这些设备获得全量的原始数据后，将存在人为泄密或系统安全漏洞泄密风险
（四）监控分析设备投资成本增加，但分析效率不高
在网络带宽升级时，企业首先考虑增加安全监控设备的投资，但全量的数据监控分析，势必带有大量无用的背景流，其真正所需的数据并不多，如不能有效过滤，将降低安全设备分析效率。
（五）无法监控分析10/40/100G高带宽链路
安全监控设备厂商擅长于从普通100/1000M以太网网卡捕获报文，通过CPU进行流重组、协议解密、数据分析，其技术架构都沉淀在X86平台上，这类解决方案由于受到网卡和硬件架构的局限性，可处理的链路介质和流量都不高。
（六）无法标识数据源，无法精确定位故障源
在复杂的网络环境中采集原始数据时，不能有效的标识数据源来自那些网元设备或地理位置（如租户、虚拟机、物理机、虚拟网元、物理网元设备的逻辑关系映射），将影响监控分析设备及时发现攻击事件或定位故障事件。
（七）采集节点和安全监控设备缺乏统一可视化管理
大量采集节点和安全监控设备管理相对独立，采用传统的传统的网络分流器或汇聚分流设备解决方案管理，无法做到全网全局可视化，存在许多管理盲点。
二、NetTAP流量可视化智能管控平台解决方案
成都数维通信技术有限公司，是一家专注于流量可视化智能管控设备研发、生产、制造的高新技术企业，为了应对5G网络的发展所带来的一系列问题，未雨绸缪，提出NetTAP流量可视化智能管控平台整体解决方案，可以充分的利用现有安全设备，有效的解决用户所面临的一系列问题。
图1.1
如上图1.1所示，在用户的网络采集节点和后端安全分析设备之间构建一层智能的数据采集分发平台，采用全方位的图形化控制界面，按需分配数据到相关的安全监控设备，进而保护用户网络安全。
智能的数据采集分发平台由两个功能模块组成，分别为（1）数据采集矩阵：由流量可视化智能管控设备级联组成，执行基础的数据采集和预处理功能，通过多种采集方式对全网流量进行统一的采集，有效的消除监控盲点，并根据后端安全分析设备的需求进行精确的流量复制提取和分发，简化网络复杂度，减轻后端分析设备压力。（2）统一管理分析系统：成都数维自主研发的MATRIX NetTAP-insight统一管理分析平台，实现可视化分析和可视化管理两个功能子项，其中可视化管理是指对前端流量可视化智能管控设备的统一配置管理和网络拓扑状态的展现，可视化分析是指对输入流量大小和趋势分析、协议分布分析、链接质量分析、输出流量分析、实时预警、传输路径和传输延迟分析和自动/人工流量快照等功能，最终实现帮助用户及时了解全网状态，精确进行故障定位的目标。
三、NetTAP流量可视化智能管控平台-采集技术介绍：
成都数维通信公司生产的数据可视化采集设备支持旁路镜像、光链路在线、电链路在线三种采集方式，通过这三种采集方式可以将用户各个采集节点的流量采集下来，有效的减少监控盲点。
（1）旁路镜像采集
旁路采集是指通过镜像数据采集设备作为前端采集设备，截取交换机端口镜像数据，再由流量可视化智能管控设备对采集的数据进行统一分发；基于旁路的采集方式不会对网络造成任何影响。
（2）光链路在线采集
光链路在线采集是指通过无源分光设备作为前端采集设备，串联部署在网络设备之间，透明采集其通信数据，再由流量可视化智能管控设备对采集的数据进行统一分发；基于无源分光的采集方式，一旦成功割接后，其稳定性非常高。
（3）电链路在线采集
电链路在线采集是指通过在线TAP设备作为前端采集设备，串联部署在网络设备之间，透明采集其通信数据，再由流量可视化智能管控平台对采集的数据进行统一分发；基于Bypass保护机制的设备，在其意外掉电情况下，由继电器阵列进行切换，快速实现网络设备物理直通，持续保障网络畅通。
四、流量可视化智能管控平台-预处理功能介绍：
成都数维通信公司生产的数据可视化采集设备，支持对采集到的流量进行各种预处理，有效解决用户部署安全分析设备时遇到的各种问题，减轻安全分析设备处理压力。
4.1基础流量处理功能
4.1.1 复制/汇聚
对原始输入流量和预处理后流量按1路信号复制到N路信号或者N路信号汇聚后复制到M路信号的10GE线速转发，完美的解决了网络中同时部署两台以上的多端口监听旁路设备的需求。
4.1.2 分流/过滤
对输入的数据流进行精确分类，将不同数据业务按白名单或黑名单规则，丢弃或转发至多个接口输出。进一步满足各类网络安全设备、协议分析、信令分析、等流量监控部署需求。
4.1.3负载均衡
依据L2-L7层特征进行Hash算法和基于会话的权重分算法的负载均衡，以保证旁路监听设备接收到数据流的会话完整性，且分流端口组成员在链路状态发生变化时可灵活退出（链路DOWN）或加入（链路UP），分流组自动重新分配流量，保证端口输出流量的动态负载均衡。
4.1.4UDF匹配
对报文前128字节任意关键字段的匹配，用户可以自定义偏移值和关键字段长度、内容，根据用户配置决定流量输出策略。
4.1.5vlan标记/替换/删除
将原始数据包打上vlan 标记，用于标识数据包的来源，同时支持替换及对vlan 标签的删除。
4.1.6MAC地址替换
替换原始数据包中的目的MAC地址，可根据用户配置决定实施流量输出策略。
4.2智能流量处理功能
4.2.1时间戳标记
同步NTP服务器将时间校准后，以相对时间的标签形式写入报文中（在帧末尾打上时间戳标记），时间的精度为纳秒级。
4.2.2标签剥离
对原始数据包中的VxLAN、VLAN、MPLS包头进行剥离后输出。
4.2.3数据去重
基于端口或策略级的统计粒度对多个采集源数据进行对比，在规定时间内对采集到的相同数据包去重复；用户可选择不同的报文标识（dst.ip 、src.port、dst.port、tcp.seq、tcp.ack）进行比对后实现去重复。
4.2.4数据切片
对原始数据进行基于策略级的切片（64-1518字节可选），可根据用户配置决定实施流量输出策略。
4.2.5数据脱敏
基于策略级的粒度对原始数据内的任意关键字段进行替换，以达到屏蔽敏感信息的目的，可根据用户配置决定实施流量输出策略。
4.2.6高层协议识别
应用层协议识别及过滤分流输出。现有特征库可支持常用的应用层协议识别，如ftp、http、pop、smtp、dns、ntp、BitTorrent、syslog、mysql、mssql等。若有特殊需求，也可进行二次开发。
五、流量可视化智能管控平台-诊断与监控功能介绍
5.1实时监控
对端口级、策略级的数据流量进行实时监控统计，并以报表、图形曲线的方式对收/发速率、收/发字节数、收/发报文数、收/发错误数、最大收/发速率等关键指标进行展现。同时，也可对多条策略的命中流量实现关联合并统计。
5.2流量告警
对端口级、策略级的数据流量监控告警。通过设置各端口、各策略流量溢出告警阀值来对可能出现流量超限的接口或数据业务流量进行提前预警，并以图表、日志报告的方式即时展现。
5.3历史流量回溯
对端口级、策略级的近N个月的历史流量统计查询。可根据天、小时、分钟等粒度对收/发速率、收/发字节数、收/发报文数、收/发错误数等信息进行查询选择。
5.4数据捕获
对端口级、策略级的报文实时捕获。当出现网络数据包异常、流量异常波动的时候可在第一时间对可疑链路或策略中的原始数据包进行抓包并下载到本地，通过Wireshark工具进行分析，帮助用户快速分析定位故障点。
六、部署方案介绍：
6.1 100G/40G接口流量采集方案
随着5G通信时代的来临，用户业务网络的扩容，100GE/40GE接口的应用必将越来越普遍，而传统的网络安全分析和性能分析设备均是基于10G/1G/100M接口进行网络流量的捕获，无法适应100GE/40GE接口数据采集的需求，成都数维针对该场景，推出了100GE/40GE系列高密度网络NetTAP流量可视化智能管控设备， 如上图所示，NetTAP设备对采集到的N路100GE 链路的流量首先执行流量汇聚及基于特定规则的报文/流过滤流量标识，并根据不同的后台应用需求，通过多个 10GE 接口分配相应流量输出至各后台系统进行分析。同时，流量可视化智能管控设备支持对多台分析设备组成的监控分析云系统的各个节点进行动态监控健康检查，基于健康检查的结果对其进行智能分配流量，在分析节点状态正常时，为其正常分配一定比例的流量，节点状态异常时，减轻或停止为其分配分析流量。通过流量可视化智能管控设备与后台分析云节点之间的互动共同构建一套高可靠性的监控分析云系。
6.2 级联部署流量采集方案
5G通信时代，随着用户网络的扩容，网络架构更加复杂、监控节点更加广泛，在执行多级安全防护时，需要部署大量的安全监控设备在各网络处进行安全监控，但大量的安全监控设备分散部署，容易形成信息孤岛，导致信息分散，重复数据监控也无法避免，不仅降低了流量监控工具的利用率，同时造成了管理和维护的困难。
采用多台NetTAP流量可视化智能管控设备级联作为解决方案，一般通过不同类型的流量可视化智能管控设备进行智能组网，使用旁路和在线采集方式捕获各网段的数据流量，对不同节点的采集流量先进行入站标识，梳理分散流量；在出站时，可基于L2-L7层信息对关键流量进行提取、分类和优先等级的分配，配合各类安全监控设备对流量不同要求作出优化，大幅降低出站流量，并智能地分配流量负载。最终通过流量智能采集统一分发平台对数据流量进行整合、分类、可视化管控，可有效解决的大型网络安全监控中存在节点分散、管理维护困难、监控流量过大等难题。
七、结语
在5G网络时代，伴随着海量网络数据的接入，原有安全监控项目中的传统采集技术已经不适应迅速增大的数据量级，不同种类安全监控设备的部署也面临诸多挑战。因此，应以可视、可控、可调、可管为目的，在构建海量数据信息安全等级保护技术框架时，使用可视化流量可视化智能管控平台对流量进行预处理和精细化管控等方式无疑最佳选择。
