周子垚，刘庆玲，陶剑英，林云

（哈尔滨工程大学信息与通信工程学院，黑龙江 哈尔滨 150001）

0 引言

全球的移动通信技术已经步入了5G 时代，商用化的5G 技术可以支持低时延高可靠的物联网业务，使云端智能下落到用户终端的愿景成为现实。但是随着人工智能、通信技术、硬件设备等领域飞速发展，用户也提出更高层次的服务需求[1]。在此基础上，6G 将会演进5G 典型场景，推出超级无限带宽、超大规模连接、极其可靠通信，并扩展普惠智能、通信感知融合等新型服务场景[2]。这些服务场景将会产生海量数据，采用传统的云计算框架将边缘数据进行集中处理的模式不仅效率低、能耗大，而且还会因为时延等问题降低服务质量，边缘计算（EC,Edge Computing）在这种背景下应运而生。

EC 是一种可以在网络边缘进行分析并处理数据的技术，通过部署边缘计算平台，让本地终端直接接入就近的服务器进行实时处理，可以最大限度地减少上传云端的数据量，释放带宽并降低服务成本。与此同时，在物理距离缩短的情况下，数据传输的时延也会大大降低，为用户提供更好的服务质量。

增强边缘计算还有另一个发展方向——人工智能（AI）。近几年AI 技术不断取得突破性进展，但是随着性能的提升，模型的体量以及能耗也在不断增加。现阶段的边缘终端（多数为传感器）通常会在mW 级别的功耗下运作，此外大部分时间将会以μW 级别的功耗进入休眠状态。在资源有限的条件下保证模型的性能，是一个具有挑战性的工作，包括知识蒸馏以及结构剪枝在内的模型轻量化技术掀起一股新的研究热潮。在这种背景下，实现边缘计算和模型轻量化的有机结合，普及边缘设备的智能服务将成为商业化发展的一种主流趋势。本文重点针对边缘计算和模型轻量化的基本理论、关键技术、发展现状等进行探讨和分析。

1 边缘节点网络部署

鉴于6G 系统的复杂性、先进性以及对产业的引领和带动作用，各主要发达国家纷纷加大投入，深入展开研究，谋求竞争优势。在5G 时代，深度学习的数据处理通常只能在云计算中心进行，该体系在处理边缘数据时存在四点不足：（1）时延较大，难以满足业务实时性需求；（2）数据流量过多，易导致信道堵塞；（3）能耗较大，会提高运营成本；（4）安全性较低，隐私数据存在相当大的泄漏风险。在5G 物联网的基础上，以网络为基础、云端处理器为中心，进行“云网融合”（架构如图1 所示），做到网随云动：云端处理器对网络进行资源分配和实时调度；实现网络云化：让传统的封闭式网络打开大门，实现本地云化、智能化，实现资源弹性分配、快速组网、智能控制等目标[3]。这种以云端服务器为中心，设立边缘节点，对边缘服务器进行技术升级、优化管理方式，建设众星捧月的网络格局可以有效地解决现存问题，是一种潜力巨大的发展方向。本节将介绍边缘计算的相关理论，并通过数据分析6G 网络采用边缘计算的优势。

图1 6G云网融合架构示意图

1.1 边缘计算（EC,Edge Computing）

边缘计算是一种新型计算范例，由谷歌公司于2006年提出，用在网络的边缘执行计算任务。相比云计算，边缘计算更贴近数据的源头，可以在一定程度上减少数据传输过程中产生的延迟；同时，因为就近处理，无需将全部数据上传到云端服务器，可以更好地保护隐私数据以防泄露，最大程度上避免信息被人恶意利用；此外，还可以大幅度减少通信能耗、最大程度上减轻网络带宽的压力。

边缘计算主要通过在终端设备和云服务器之间引入边缘节点，在节点处对用户任务类别进行判定，将时效要求较低、数据量大且需要进行深入分析的任务交付给云端中心服务器进行处理；让规模小、要求实时智能分析的任务驻留在边缘节点进行处理。因此，在智能业务中，数据量较大、需要大规模集中处理的任务可以继续沿用云集中处理模式，边缘计算则更适合小规模数据分析任务和本地服务[4]。边缘计算的架构如图2 所示：

图2 边缘计算架构

近年来，各种传感设备不断升级，数据采集能力得到显著提高，可以检测到大部分工业生产过程中的实时信息。对于检测过程中产生的海量数据，传统的处理模式存在时延大、成本高等问题，无法满足工业需求。鉴于边缘计算的优点，可以被广泛应用于工业生产环节中[5]。典型的应用场景有：基于深度学习的轴承故障诊断[6]和电力设备检修[7]，该应用场景通过边缘计算进行故障诊断和缺陷检测；对无人机进行综合管理，实现大范围数据采集和实时监控[8]，从而加强园区的安防管理；在进行产品测评时，运用了EC 的虚拟现实和增强现实（VR/AR）技术也使工人分析数据更为高效。

虽然边缘计算已经运用到众多场景之中，但仍存在许多问题需要进一步改善，这些问题包括EC 性能过低、安全性不足、设备协作协议完善较差等。因此，为了早日实现6G 网络的愿景、广泛普及智能业务，这些问题都需要得到持续的关注并进行深入研究。

1.2 移动边缘计算（MEC,Mobile Edge Computing）

欧洲电信标准协会于2016 年正式提出移动边缘计算的概念，MEC 将一定的计算能力附加在基站上，而边缘计算除基站外还在私有云、Cloudlet 等位置附有计算能力，这是二者最大的区别，MEC 和EC 的网络部署图如图3 所示：

图3 网络部署图

MEC 通过构建无线电接入网（RAN,Radio Access Network）层次的服务环境，使部分业务脱离核心网，进而节约资源、降低时延、提高服务质量。根据ETSI 所发布的白皮书，MEC 具有如下特征[9]：

（1）本地服务：MEC 可以脱离互联网的其余部分实现自主运营，并能够访问本地网络资源，这种特性对于M2M（Machine-to-Machine）场景十分重要。此外，由于MEC 和其他网络存在隔离特性，可以有效提升数据安全性。

（2）邻近性：MEC 布置在移动终端的最近位置，对于一些特定的计算密集型设备（例如增强现实、视频分析）具有巨大优势。

（3）低时延：MEC 就近部署在用户设备附近，可以最大程度上避免本地数据和云端数据的交互过程，大幅度降低用户服务时延，且覆盖范围内的用户数量在一定程度上保持稳定，能够减小服务器的带宽压力。

（4）位置感知：边缘分布式设备通过低级信令进行信息实时共享，MEC 可以接收本地网络设备的数据，实现设备定位。

（5）网络上下文信息：提供网络信息和实时上网数据服务的应用程序，可通过MEC 利用RAN 实时信息，对网络状态进行分析，协助运营商做出合理判断，为用户带来更优质的服务。

MEC 的“邻近性、低时延、位置感知”等技术特性，可以满足6G 服务场景中的诸多需求（如表1 所示），为其带来了广泛的应用前景。

表1 服务场景需求

由表1 可知，MEC 可以适用于车联网（IoV,Internet of Vehicles）、虚拟现实 增强现实（VRAR）、智慧医疗、公共安全、智慧城市等服务场景。车联网结合MEC可以在车辆行驶过程中，通过分析环境信息、同网络内其他车辆交互信息，为驾驶员提供合理建议，排除隐患并规避交通拥堵的风险；智慧医疗需要实时处理大量数据，应用MEC 可以为远程医疗提供更有力的技术支持；智能家居系统可以利用大量物联网设备进行实时数据监测，结合MEC 对家居设备的使用状态进行调度，进而提高当代人们的家居安全性、便利性以及舒适性[10]。

MEC 在边缘计算的基础上进一步细化，将MEC 与人工智能、传感探测等技术相融合,不断深入研究、适应新场景、提升用户体验，进而扩展6G 业务的适用范围，为智能入户提供一个更光明的前景。

2 基于用户终端的网络模型轻量化

上文探讨了6G 智能网络的边缘部署，但边缘节点只是用户终端和云服务器的中间环节，对于一些小数据量的分析任务，仍需终端设备自行处理。对于传统的神经网络模型，过去的学者们更注重于提升模型的识别精度和复杂环境下的适应能力，使得模型参数量和复杂度不断提高，致使能耗成本激增。近几年，得益于AI 技术的飞速发展，各行业的视线逐渐转向人工智能在实际生活中的应用。由于移动端、嵌入式设备等平台存储资源少、处理器性能低、能耗受限，当前大部分高精度模型无法部署在用户终端且难以实时运行。这要求传统的深度神经网络模型在保证性能的同时减少参数量和复杂度，模型轻量化也因此成为一个研究热点[11]。

2.1 知识蒸馏（KD,Knowlegde Distillation）

知识蒸馏是一种新兴的模型压缩方法，其主要思想是让规模小、结构简单的学生模型通过学习在保证性能的前提下，获取结构复杂的教师模型的知识。该方法可以看作是迁移学习的一种，其关键问题是如何将教师模型的知识迁移到学生模型，并在迁移过程中保证模型的性能不会降低甚至有所提升，这需要学者们加深对迁移过程的研究。

知识蒸馏的框架主要包含三部分，其结构如图4 所示。该框架中，首先从教师模型输出的结果中蒸馏出“知识”，再经过进一步的转换交付给轻量级的学生模型，在该过程中要保证性能波动较小。在该过程中最重要的部分是“知识”的获取。一方面，这个“知识”可以解释为教师模型的输出数据所包含的某些相近特性，且这些特性可以用于其它模型的训练，部分文献称其为“暗知识”[12]；另一方面，可将其理解为教师模型生成的一切可被其它模型利用的特征、参数等数据，“蒸馏”的过程就是发现并放大这些数据的相似性，并用于其它模型的训练[13]。

图4 知识蒸馏框架

近几年，研究人员已进行大量实验，从表2 的数据中，可以看出蒸馏后的模型体量大幅度降低，并在保证精确性的同时提高模型效率。

表2 知识蒸馏性能表现

此外，很多主流技术的瓶颈问题，都可以通过知识蒸馏技术来解决，这些主流技术可参考如下示例：

（1）生成对抗网络（GANs,Generative Adversarial Networks）往往计算复杂、存储资源需求高，难以直接部署在移动设备上，结合知识蒸馏技术可以对生成器[14]、判别器[15]或同时对生成器判别器[16]进行简化。目前在压缩上，虽然GANs 结合知识蒸馏已获取很多优异成绩，但仍存有一些问题（如不易训练、不可解释等）需要研究人员进行更深入的研究。

（2）强化学习（RL,Reinforcement Learning），在很多领域中都存在深度强化学习模型的应用[17]，如机器人控制[18]、完全信息博弈[19]和非完全信息博弈[20]等。但是该模型需要与外界进行大量交互来更新网络参数，造成巨大的训练开销，结合知识蒸馏辅助训练过程可以提升训练效果并实现模型的轻量化。

（3）联邦学习（FL,Federated Learning）可以在训练的过程中最大程度保护数据隐私，这种方法将传统机构的数据边界打破，在现实中具有非常广泛的应用前景。联邦学习还支持本地数据训练，并将训练后的数据加密传输到服务器，但过大的数据量往往会占用大量带宽，产生高昂的通信成本。将知识蒸馏部署在联邦学习的各个环节，可以减少分布式联邦学习所占带宽。

从上述各个例子中可以看出，知识蒸馏可以在保证模型性能的前提下降低体量，实现复杂模型的小型化，进而部署到资源有限的边缘设备上[21]，使智能入户成为现实。

2.2 神经网络剪枝

近年来，神经网络剪枝作为一种有效的模型压缩方法为人们熟知。虽然多数的大型神经网络学习能力出众，但通过分析实验过程中的数据可以发现，模型中存在部分结构无法发挥应有作用，因此神经网络剪枝的想法油然而生：在不影响网络性能的情况下去除多余的模型结构，从而降低模型体量[22]。具体做法如下：对网络中的节点进行分析与评估，去除评估结果不理想的节点，进而实现模型轻量化（剪枝效果参考表3 数据），将中大型深度神经网络部署在边缘节点以及边缘设备上。

表3 SPF方法网络剪枝性能表现

神经网络剪枝主要分为两种方式，分别为结构化剪枝和非结构化剪枝，其中非结构化剪枝主要通过删减权重参数达成目的，而结构化剪枝则包含其它技术，如卷积核剪枝、通道剪枝等。

非结构化剪枝往往需要额外信息，在保持模型性能的同时提高稀疏性。剔除的参数可通过如下方法确定：最优脑损伤方法（OBD,Optimal Brain Damage）使用二阶导数建立误差函数的局部模型，选择性地删除网络权重[23]；最优脑外科医生方法（OBS,Optimal Brain Surgeon）使用误差函数的所有二阶导数信息来执行修剪[24]；以最小贡献方差为修剪指标，通过偏置参数，比较偏置前后输出数据的差异度来去除贡献方差最小的连接参数[25]。

非结构化剪枝仅剔除部分参数，在降低计算量、参数量等方面表现较为平庸。结构化剪枝则对卷积核、通道进行优化，可以在整体结构上对神经网络的性能进行提升。通过删除一些对网络整体贡献度小的卷积核可有效地加速网络推理时间，如通过比对每一层卷积核对输出结果的贡献度，选出冗余的卷积核进行修剪[26]；从降低计算量角度进行考量，将网络输出精度较小的过滤器删除，最大程度减少矩阵乘法运算，如基于过滤器剪枝的压缩技术[27]；通过对具有层相关阈值的通道进行修剪，将重要的通道和可忽略通道进行最优分离，如最优阈值法（OT,Optimal Thresholding）[28]。

上述的各种方法都可以在保持性能的前提下尽可能地缩小模型体量，降低运算量，为移动便携式设备搭载更多的人工智能应用提供可能。

3 边缘节点和模型轻量化在6G生态中的结合

随着AI 技术的不断发展，人们对智能生活的要求也会逐渐提高，AI 的设计路线也会向追求智能、灵活、安全、易部署的道路前进，在投入使用的过程中，智能设备需要面对四个角色：（1）设备制造商；（2）云厂商；（3）通信厂商；（4）算法供应商，构建完整的6G 智能生态需要四方协作发展、共同进步。但从历史的经验中可以发现，最重要的角色是设备制造商，其它三方始终存在一个痛点——众多算法难以落实到硬件设备。

结合上文边缘计算和模型轻量化的相关内容：在算法供应方进行轻量化处理，将高性能应用部署在边缘设备，通过通信厂商设立的边缘节点协调各方，勾连云端，进行任务分配，最大程度上提高网络效率。通过这种方式，各方取长补短、互相协调，可以在一定程度上解决短板效应，推动6G 智能生态的发展与智能业务的全面落实。

4 结束语

本文聚焦6G“云网融合”前景，对6G 的智能业务发展方向进行分析，着重讨论了边缘计算、移动边缘计算、知识蒸馏、结构剪枝的基本原理、关键技术和应用前景，通过数据分析，针对6G 智能生态的痛点进行论述，探讨解决方案。但是随着对6G 网络深入研究以及协议细化，必定会有许多问题衍生出来。如何应对新生问题，并提升6G 的业务范围、服务能力，推动未来社会的智能化仍需学术界的各方同仁共同努力。