爆炸性增长的数据量、高速和低延迟的通信需求给通信系统带来了巨大挑战，现有的通信系统难以满足这些需求。此外，现有的通信理论在系统结构信息的利用以及海量数据的处理方面存在根本的局限性，这意味着需要建立新的通信理论来满足未来无线通信系统的需求。

自阿尔法狗击败李世石起，深度学习就引起了学术界和工业界的广泛关注。由于深度学习在面对结构化信息与海量数据时的巨大优势，诸多通信领域的研究者也将目光投向深度学习。基于深度学习的通信技术在信号分类、信道估计、性能优化^[1,2]等方面可能具有很大的潜力，其原因主要有如下 3个方面。

1) 大多数现有的通信系统都是逐块设计的，这意味着这些通信系统由多个模块组成（例如发射机、调制器、编码器等）。对于这种基于模块设计的通信体系结构，通信领域的学者已经开发了许多技术来优化每个模块的性能，但是每个模块的性能达到最佳，并不意味着整个通信系统的性能达到最佳。一些新的研究^{[3,4,5,6,7,8,9]}表明，端到端优化（即优化整个通信系统）优于优化单个模型。深度学习为实现端到端性能最大化提供了一种先进且强力的工具。

2) 在无线通信系统中，在复杂、大规模的通信场景下，信道状况变化迅速。许多传统的通信模型，如基于联合空间分复用（JSDM,joint space division multiplexing）的大规模多输入多输出（MIMO,multiple input multiple output）模型^[10]严重依赖信道状态信息（CSI，channel state information），它们的性能在非线性时变信道下会发生恶化^[3]，准确获取时变信道的 CSI 对系统性能至关重要。通过利用深度学习技术，有可能使通信系统可以学习突变的信道模型，并及时反馈信道状态。

3) 目前，具有内存共享的大规模并行架构的计算体系具有良好的能耗比,例如图形处理单元（GPU,graphics processing unit）。并行计算可以吞吐大量数据^[3]，十分符合现有的通信场景。此外，基于深度学习的通信技术可以在 GPU 上正常运行，并且可以充分利用这种并行架构。

基于上述考虑，为了适应未来无线通信场景中的新需求，本文主要研究无线通信中的深度学习技术，包括基于深度学习的调制信号识别技术以及基于深度学习的波束赋形技术，它们将促进未来无线通信的进一步发展。

自动调制模式识别（AMR,automatic modulation recognition）是一种识别信号调制方式的技术，该技术在军用领域和民用领域都发挥着巨大的作用。在军用领域，调制模式识别主要用于电子战（EW， electronic warfare），用来恢复截获的敌方信号，获取敌方情报。在民用领域，自动调制模式识别主要用于频谱监测和干扰识别。在现代无线通信中频谱资源是最宝贵的资源，而频谱资源的短缺也造成了某些机构或者个人非法占用已分配好的频段，这会严重干扰合法用户的正常通信，甚至产生安全问题。自动调制模式识别可以协助频谱监测系统分析各个频段信号的调制方式，进而解调出被监测信号，分析被监测信号的具体属性，实现对频谱资源的监控。

鉴于深度学习在图像及文本分类任务方面的强大性能，本文将深度学习引入自动调制模式识别。具体而言，基于深度学习的调制模式识别是在接收到未知信号进行参数处理后，将得到的基带信号利用深度神经网络来识别信号的调制方式，如图1所示。本文采用3种不同的神经网络，分别为卷积神经网络（CNN，convolution neural network）、循环神经网络（RNN，recurrent neural network）以及深度神经网络（DNN,deep neural network）。主要识别的信号调制方式包括二进制相移键控（BPSK,binary phase-shift keying）、正交相移键控（QPSK,quadrature phase-shift keying）、八进制相移键控（8PSK,8 phase-shift keying）、连续相位频移键控（CPFSK,continuous-phase frequency-shift keying）、高斯频移移位键控（GFSK,Gaussian frequency-shift keying）、四级脉冲幅度调制（PAM4,4 pulse-amplitude modulation）以及十六相正交幅度调制（16QAM,16 quadrature amplitude modulation）这7 种信号调制方式。采用的数据集是由信号的同向分量（I，in-phase component）和正交分量（Q， quadrature component）组成的IQ样本。

基于CNN、RNN、DNN这3种神经网络的调制模式识别算法在各个信噪比下的准确度如图2所示。从图2可以看到，基于CNN的调制模式算法的性能优越。因此，在图3中给出了基于CNN的调制模式识别在信噪比分别为-6 dB、0 dB、6 dB和12 dB时的混淆矩阵。由图3可以看出，在信噪比为0 dB时，除了部分QPSK信号和8PSK信号难以区分外，基于CNN 的调制模式识别可以正确区分其他信号，并且在信噪比大于6 dB时，可以准确识别实验中所涉及的7种调制信号。实验结果验证了深度学习，尤其是CNN，不仅适用于各类计算视觉任务，而且可以运用在调制模式识别中，并且能取得良好的性能。

波束赋形（beamforming）又叫波束成形、空域滤波，是一种使用传感器阵列定向发送和接收信号的信号处理技术^[11]。波束赋形也是5G的核心技术之一。本文考虑的场景是下行链路传输场景，如图4所示。

在此场景下，最常使用的传统算法是加权最小均方误差（WMMSE，weighted minimum meansquare error）算法，该算法可以获得该问题的次优解，但是计算复杂度高。为了降低计算复杂度，本文提出了一种基于无监督学习的深度神经网络，以实现快速波束赋形，其具体结构如图5所示。

在本文的 DNN 架构中，$H\text{={}{h}_{(1,1)},h_{(1,2)},\cdots ,h_{(\text{QK},P)}\text{}}$表示信道增益系数，$W=\{w_{(1,1)}^{\text{DNN}},w_{(1,2)}^{\text{DNN}},\cdots ,w_{(\text{QK},p)}^{\text{DNN}}\}$表示波束赋形矩阵。信道增益系数可视为DNN的输入，波束赋形矩阵为其输出。本文DNN架构使用3个隐藏层，分别包括200个神经元、300个神经元和200个神经元。此外，选择LeakyReLU作为3个隐藏层的激活函数。最后，限制了神经网络的输出，使其满足发射功率约束。

本文在不同信噪比下测试了传统的WMMSE 与基于无监督学习的深度神经网络的性能，如图6所示。从图6中可以看出，相较于WMMSE，基于无监督学习的深度神经网络的性能损失极低，但是2种算法的计算复杂度差别较大，可以体现在算法的计算时间上。图7为在不同发射天线数下，2种算法的计算复杂度，其中WMMSE仅能运行于中央处理器（CPU,central processing unit），其计算时间为图7 中的WMMSE(python)-CPU comp。但基于无监督学习的深度神经网络既可采用CPU运行，也可以利用GPU的并行计算能力加速运行，计算时间分别为图7 中的DNN-CPU comp.和DNN-GPU parallel comp.。从图7可以看出，基于无监督学习的深度神经网络计算时间远少于WMMSE。结合图6和图7可知，在用户数与天线数有限的场景下，本文方案在不同的信噪比下性能损失极低，并且计算复杂度得到了极大程度的降低。此外，基于无监督学习的深度神经网络可以采用GPU并行加速计算，可以进一步减少算法的运行时间。

数据集的质量与数量对基于深度学习的通信系统的性能影响巨大。在计算机科学中，基于深度学习的自然语言处理（NLP,nature language pro cessing）、计算机视觉（CV,computer vision）和自动驾驶技术的飞速发展，很大程度上得益于计算机科学领域存在着许多著名的、有效的数据集，如ImageNet 和 MNIST。然而，在无线通信领域，现有的、公用的数据集却很少，因此，需要为各类通信问题创建一个通用且可靠的数据集，或者开发新的仿真软件，便于模拟各种通信场景，产生相应的数据集，最终目标是建立一个类似于 ImageNet 的庞大数据集。

在基于深度学习的通信框架下，如何设计深度神经网络是研究者首先要面对的问题。目前，许多应用于通信领域的深度学习模型都是基于通用模型设计的，例如 CNN 通常用于图像分类问题，而RNN通常用于NLP领域，因此，需要建立适用于无线通信的深度学习模型。虽然目前计算机科学领域通用的模型可以应用于通信领域，但是在实际的通信工程项目中，建立适用于通信场景的通用模型不仅有利于优化通信系统，而且可以降低模型选择的成本和时间。

虽然深度学习在计算机视觉、自然语言处理等领域均取得了远超传统算法的效果，但是目前的深度神经网络的参数过多（参数量一般为几千万到上亿），且计算量极大。以 VGG-16 为例，其参数量超过 1.38 亿，实际利用 ImageNet 训练得到的VGG-16的模型大小超过500 MB，并且其计算量极大，需要进行309亿次浮点运算。当前的深度学习只能依靠云端的 GPU 加速运算，云计算的带宽、时延、安全等将面临严峻的挑战。这些都极大地限制了深度学习在嵌入式设备上的应用。

同样，基于深度学习的通信系统也很难部署在移动电话等小型终端设备上。由于深度学习模型的参数存在着巨大的冗余，可以对深度学习模型进行压缩和加速，进而构建轻量级网络，这也是未来相关技术发展的必然趋势。具体而言，一方面，可以考虑剪枝与结构化稀疏约束，剔除部分冗余结构，加快计算速度。另一方面，也可以考虑对网络模型的参数进行量化和哈夫曼编码，进一步压缩网络模型。

由于无线信道的开放性，无线通信系统极易受到攻击、仿冒与窃听，其物理层安全问题备受关注。此外，无线通信系统日趋复杂，系统各个模块之间存在着紧密的关联，一旦某个模块受到攻击将会“牵一发而动全身”，影响整个无线通信系统的运行。虽然传统安全防护机制可以在一定程度上保障通信安全，但是它们并不适用于处理超大规模网络以及超大规模网络所带来的海量数据，传统安全防护机制难以满足未来无线通信系统的安全需求。

鉴于深度学习在处理海量数据时的巨大优势，可以考虑将深度学习引入到解决物理层安全问题中，尤其是物理层异常数据检测。其主要思想是把异常数据检测问题归结为基于深度学习的模式识别分类问题，利用深度神经网络对通信系统中产生的数据进行训练，构建分类模型对异常数据和正常数据进行分类。得益于深度神经网络对高维数据的强大的表示能力和分析能力，该方法有望大幅提高异常数据的检测效率。

鉴于深度学习在图像、语音、文本等领域表现出的强大性能，本文研究了基于深度学习的物理层无线通信技术，具体研究了2种基于深度学习的物理层无线通信技术——基于深度学习的调制模式识别及基于无监督学习的快速波束赋形技术，并且展示了它们杰出的性能。但是必须承认的是，目前许多技术实施尚未处于初期探索阶段，使用深度学习解决物理层无线通信问题是一条漫长的道路，而且这条道路上还有许多障碍，比如如何建立通信数据集，如何选取或设计适用于通信场景的神经网络以及如何将基于深度学习的通信技术运用于小型通信设备等。但是值得坚信的是，基于深度学习的物理层无线通信技术将会引领通信技术的进一步发展。