移动无线网络中的深度学习研究综述
关键词：深度学习；5G；高级特征
引言
随着移动设备以及移动应用和服务的日益普及对移动和无线网络基础设施的需求达到前所未有的高度。即将推出的5G系统正在发展，以应对移动通信量的爆炸式增长，并灵活管理网络资源，从而最大限度地提高用户体验及细粒度抽取实时分析的能力。因为深度学习技术可以最大限度的处理大量数据的问题，于是我们决定在移动无线网络中采用深度学习技术。
1、深度学习与移动网络的概述
1.1 深度学习应用概述
大数据时代引发了对不同研究领域的深度学习的广泛兴趣，并且越来越多的调查和教程正在出现。深度学习的应用主要有语音处理，模式识别和计算机视觉。
1.2 移动无线网络的综述
随着移动设备以及移动应用和服务的日益普及对移动和无线网络基础设施的需求达到前所未有的高度。新兴的5G移动网络结合了大量新技术来克服当前部署的性能限制并满足新的应用需求。
2、深度学习介绍
2.1 深度学习基本原理
典型的深度学习模型就是很深层的神经网络，神经网络中最基本的单元就是神经元模型，在这个模型中，神经元收到来自n个其他神经元传递来的输入信号，这些输入信号可以通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”的处理以产生神经元的输出。
深度神经网络的关键目标是通过单位（或神经元）的简单和预定义操作的组合来逼近复杂函数。这样的目标函数几乎可以是任何类型的，比如图像和它们的类标签之间的映射（分类），基于历史值计算未来股票价格（回归），或者甚至根据棋局的当前状态决定下一个棋子的最佳移动方式（控制）。所执行的操作通常由特定的一组隐藏单元与非线性激活函数的加权组合来定义，具体取决于模型的结构。这些操作与输出单元一起被命名为“图层”。神经网络结构类似于大脑中的感知过程，其中在给定当前环境的情况下激活特定的一组单元，从而影响神经网络模型的输出。在数学术语中，深层神经网络的体系结构通常是可微的，因此模型的权重（或参数）可以根据基本链规则使用梯度下降法通过反向传播最小化损失函数得到。
2.2深度学习的优势
我们认识到采用深度学习解决网络工程问题的几个好处，即：
1）众所周知，特征工程对传统机器学习算法的性能至关重要，但它是昂贵的。深度学习的一个关键优势是它可以从具有复杂结构和内部相关性的数据中自动提取高级特征。学习过程不需要由人设计，这极大地简化了以前的特征手工制作。在移动网络的背景下，这一点的重要性得到了放大，因为移动数据通常是由不同来源产生的，往往是嘈杂的，并且表现出非平凡的空间和时间模式，否则它们的标签将需要很多的人工努力。
2）其次，深度学习能够处理大量数据。移动网络可以快速生成大量不同类型的数据。训练传统的机器学习算法有时需要将所有数据存储在内存中，这在大数据情况下在计算上是不可行的。此外，随着大量数据和平台相对较快，机器学习的性能不会显著增长。相比之下，用于训练神经网络的随机梯度下降（SGD）只需要在每个训练步骤中使用子集，这就保证了深度学习对大数据的可扩展性。深度神经网络进一步受益于大数据训练防止模型过度拟合。
3）传统的监督学习只有在有足够的标记数据可用时才有效。然而，目前大多数移动系统都会生成未标记或半标记的数据。深度学习提供了各种方法，允许利用未标记数据以无监督方式学习有用模式，例如限制玻尔兹曼机器（RBM），生成敌对网络（GAN）。应用包括聚类，数据分布近似，非/半监督学习和一次/零点学习等。
4）深层神经网络学习的压缩表示可以在不同的任务之间共享，而在其他机器学习范式（例如，线性回归，随机森林等）中这是有限的或难以实现的。因此，可以对单个模型进行培训以实现多个目标，而不需要对不同任务进行完整的模型重新训练。我们认为这对于移动网络工程是至关重要的，因为它在执行多任务学习应用时降低了移动系统的计算和内存需求。
3、如何为移动网络定制深度学习
虽然深度学习在许多移动网络领域表现出色，但没有一种模型可以在所有问题中普遍应用。这意味着对于任何特定的移动和无线网络问题，我们可能需要调整不同的深度学习体系结构以获得更好的性能。在本节中，我们将重点讨论如何从两个角度为移动网络应用定制深度学习，即分布式数据中心以及不断变化的移动网络环境。
3.1 为移动设备和系统定制深度学习
未来5G移动网络的超低延迟要求以及移动系统运行效率，包括深度学习驱动应用。但是，在移动系统上运行复杂的深度学习可能会违反某些延迟限制。另一方面，目前大多数移动设备都受到硬件能力的限制。这意味着在没有调整的情况下在这样的设备上实现复杂的深度学习体系结构可能在计算上是不可行的。为了解决这个问题，许多研究人员致力于改进现有的深度学习架构，这样他们就不会违反任何延迟和能量限制。
Lane等人开发一个软件加速器DeepX，通过利用两种推理时间资源控制算法，即运行时间层压缩和深层体系结构分解，协助移动设备上的深度学习实现。这在移动设备中很重要，因为在当前的硬件平台上卸载对边缘的推断更实用。除了这些工作之外，研究人员还通过其他设计和复杂的优化改变深度学习架构，如参数量化，稀疏化和分离，表示和存储器共享，卷积操作优化，修剪和云援助。这些技术对于将深度神经网络嵌入到移动系统和设备中具有重要意义。
3.2为分布式数据中心定制深度学习
移动系统每天都会产生和消耗大量的移动数据，这可能涉及类似的内容，但分布在世界各地。将所有这些数据移动到集中式服务器以执行模型培训和评估，不可避免地会引入通信和存储开销，这是难以扩展的。然而，从不同地点生成的移动数据通常表现出与人类文化，移动性，地理拓扑等相关的不同特征。为了获得用于移动网络应用的健壮的深度学习模型，需要用不同数据来训练模型。而且，将全面的训练/推理过程完全纳入云中将引入不可忽略的计算开销。因此，适当地将模型执行卸载到分布式数据中心或边缘设备可以显著减轻云的负担。
一般来说，有两种解决方案来解决这个问题。即，（i）分解模型本身以单独训练（或推断）其组成部分；或者（ii）缩放训练过程以在与数据容器相关联的不同位置执行模型更新。两种方案都允许人们训练单一模型，而不需要集中所有数据。我们在图1中说明这两个解决方案的原理，并回顾本小节中的相关技术。
3.3为不断变化的移动网络环境定制深度学习
移动网络环境通常会随着时间的推移呈现出不断变化的模式例如，一个地区的空间移动数据流量分布从一天的不同时间显著变化。在改变移动环境中应用深度学习模式将需要终身学习能力，以不断吸收移动环境中的新功能，而不会忘记旧的但基本的模式。此外，新的智能手机定位病毒正在通过移动网络迅速传播，严重危害用户的隐私和商业利益。这些对目前的异常检测系统和反病毒软件构成了前所未有的挑战，因为它们需要这样的框架才能使用有限的信息及时应对新的威胁。为此，该模型应具有转移学习能力，可以使来自不同作业或数据集的预训练模型的知识快速传输。这将允许模型适用于有限的威胁样本（单次学习）或有限的新威胁的元数据描述（零次学习）。因此，终端学习和转移学习对于可变移动网络环境中的应用至关重要。我们在图2中说明了这两种学习范式。
4、结束语
深度学习在移动和无线网络领域扮演着越来越重要的角色。在本文中，我们提供了关于这两个不同领域之间交叉点的最近工作的全面调查。我们总结了各种深度学习模型的基本概念和先进原理，然后通过回顾不同应用场景下的工作，将深度学习和移动网络学科相关联。我们讨论了如何针对一般移动网络应用定制深度学习模型，这是以前调查完全忽视的一个方面。我们希望这篇文章能成为研究人员和从业人员将移动网络应用于复杂问题感兴趣的明确指导。
参考文献
[1] Cisco. Cisco Visual Networking Index: Forecast and Methodology[c]，2016-2021, June 2017.
作者单位：南京邮电大学贝尔英才学院。