前言
2011年，作者就开始研究强化学习、博弈论在移动通信系统中的应用。近年来，人工智能应用于移动通信系统更广泛。本书基本成型于2019年，作者是在汇集和整理过去三届给研究生上课的课件等材料基础上写的。在这里，特别感谢2018级硕士研究生陈思帆和吴青，2017级硕士研究生李丽颖，2016级硕士研究生王玲霞和王昕伟等同学的智慧和付出。另外，感谢董茹、黄姣蕊和张露露等同学给予的修订。
本书力求从移动通信系统的端侧用户接入网络到网络用户的调度等环节，引入人工智能的方法论。在内容编排上，力求每章具备独立性，同时章之间又能组成系统整体。本书适合于高等院校硕博研究生和科研院所研究人员阅读。本书受国家自然科学基金61871454、国家重点研发计划“宽带通信和新型网络”重点专项“6G全场景按需服务关键技术”（项目编号：2020YFB1807700）资助。由于作者水平有限，书中难免有纰漏，敬请广大读者批评指正。
持续增长的数据流量促使第五代移动通信系统（The Fifth Generation Mobile Communication System，5G）演进为超密集移动通信系统。随着新兴业务的不断涌现，超密集移动通信系统中资源调度、多连接技术与网络切换技术均面临新的挑战。本书主要针对超密集移动通信系统中面临的网络接入点密集导致的资源调度不灵活、基站参考信号强度相似导致的网络选择难、传统网络切换技术导致的用户频繁切换，以及网络负载不均衡等诸多问题，基于传统算法，结合人工智能算法分别在端侧智能网络选择（第2章）、网侧智能资源调度（第3章）与端网协同智能切换（第4章）方面提出解决方案，实现用户体验的提升与资源的灵活管控。第5章总结和展望了人工智能超密集移动通信系统的发展趋势。
超密集移动通信系统通过密集部署小基站，拉近用户与接入点的物理距离，提高用户信道质量。然而，由于用户可能处在若干个小基站的覆盖范围，接收到的附近的基站参考信号强度相似，可能导致传统的用户连接方法在邻区间产生严重的频繁重选，影响用户体验。因此，找到超密集移动通信系统背景下高效的用户连接算法，仍然是非常重要的研究课题。因此，本书第2章着重研究端侧智能网络选择。
在超密集移动通信系统中，用户能够接收来自同构场景下多基站的强信号，因此可通过建立多连接来提升传输速率。同时，用户可通过调整业务分配来实现负载均衡。当前多连接策略大多是中心式的，存在开销过高和缺乏对业务波动感知能力等问题。第2章提出了分布式多连接策略，将用户多连接问题建模为基于状态的势博弈（State-based Potential Game，SPG）模型。通过SPG构建状态空间，用户可感知基站负载状态。本书证明了所设计算法可实现用户连接策略全局最优，同时基于SPG建模设计了流量感知的TAMA（Traffic Aware Multiple Association）算法。TAMA算法首次在考虑业务感知的情况下解决用户多连接问题。有别于传统最大接收功率策略，TAMA算法不仅考虑信干噪比，同时考虑基站负载和功耗。另外，为了解决用户开销问题，TAMA引入连接开销对用户连接数量进行控制。仿真结果显示了TAMA算法对于功耗开销和连接开销的控制效果，平均时延的对比显示了TAMA算法在高负载场景下的卓越性能。
另外，第2章针对超密集移动通信系统异构场景下导致的用户连接复杂等挑战，提出了一种模型驱动的学习框架，由特征学习、博弈论建模和策略学习组成。模型驱动的学习框架采用了线上策略学习、线下特征学习结合的学习方法，克服了学习的耗时性和通信问题的实时性之间的矛盾。特征学习和博弈建模辅助策略学习可以使用户拥有更好的用户体验，提高收敛速度。终端利用特征学习挖掘多个指标与准确的链路质量之间的复杂关系，通过特征学习克服单一指标的随机性导致的算法波动，降低频繁切换；利用策略学习，用户连接综合考虑链路质量和网络负载，避免用户接入高负载基站。另外，在博弈论建模的基础上设计随机森林和改进的Q-learning（Random Forest and Enhanced Q-learning with Game theory，RFEQG）算法解决用户连接问题。RFEQG算法依据随机森林（Random Forest，RF）算法预测链路质量，通过更精准的链路质量指标降低频繁重选。然后依据改进的Q-learning算法（Enhanced Q-learning with Game theory，EQG），通过预测的链路质量及负载信息进行决策。经过仿真验证，RFEQG的引入对于收敛速度的增益效果，证明了特征学习可以有效降低频繁切换。仿真表明，与对比算法相比，用户平均时延降低了1.7ms，相比Q-learning提高了9%的资源利用率。
超密集移动通信系统可以在现有的网络中部署更多小基站，带来更多资源。但同时，基站的高密度部署、小区覆盖面积变小及覆盖区域重叠严重，会导致系统内的干扰更为复杂，使得基站的资源调度更为困难。因此，在网络接入点密集部署，并且资源宝贵的情况下，如何有效灵活地对资源进行管控将是一个重要的课题。因此，本书第3章研究了网侧智能资源调度，实现自动化和智能化的资源管理。
第3章首先提出一种联合传输调度与功率控制的动态博弈方法。基于现有的协作调度方案，研究多点协作（Coordinated Multi-Point，CoMP）系统两大关键问题：传输调度与功率分配。具体而言，研究基于近邻传播算法的传输调度方案可以实现动态资源管控，进一步采用纳什议价解（Nash Bargaining Solution，NBS）合作博弈建模功率分配，提升用户间公平性。另外，效用函数设计同时兼顾用户吞吐量与时延，满足多指标需求是未来移动互联网发展的基本方向。仿真结果表明，第3章所提出的智能协作调度方法可大幅度提升用户传输速率，降低用户传输时延，提高用户间公平性。
第3章还针对超密集移动通信系统中的挑战进一步研究一体智能资源调度架构。基于现有资源调度流程，所提架构可智能建模和求解超密集移动通信系统中的资源调度问题，实现无线资源自动化管理。此外，所提架构将用户调度模块和资源分配模块聚合为一体，通过模块一体化实现全局最优代替子模块最优，降低模块分离带来的增益损失。基于所提架构，本书提出一体智能资源调度（Integrated and Intelligent Resource Scheduling，IIRS）算法。IIRS算法是基于深度强化学习（Deep Reinforcement Learning，DRL）实现的，考虑了用户异构QoS需求，旨在通过高效资源调度，提升用户QoS满意度。用户QoS满意度被定义为相对于多个QoS指标，如保证比特率（Guaranteed Bit Rate，GBR）、时延和丢包率函数等，从而灵活满足用户QoS需求。针对IIRS算法存在的收敛速度慢和性能不优等问题，第3章提出了增强型一体智能资源调度（Enhanced-IIRS，E-IIRS）算法。通过在IIRS中引入主网络（Main Network，MainNet）、目标网络（Target Network，TargetNet）、经验池、优先扫描及启发式机制，加速算法收敛和提升算法性能。利用Python和Simpy构建系统级仿真平台仿真分析算法。仿真结果表明，在小业务场景中，第3章提出的IIRS算法相比于Q算法，用户不满意度降低了约91%；提出的E-IIRS算法相比于IIRS算法、非一体化资源调度（Non-Integrated Resource Scheduling，NIRS）算法和传统最大载干比算法（Max Channel/Interference，Max C/I），用户平均不满意度分别降低了约95%、42%和50%。因此，提出的IIRS算法和E-IIRS算法可实现超密集移动通信系统中高效的资源智能调度，为用户提供更优的体验。
面对超密集移动通信系统的异构特性日益凸显，多种无线接入技术（Radio Access Technology，RAT）（如UMTS、LTE、WiFi）构成了复杂的异构网络。通过网络切换技术，用户设备（User Equipment，UE）可以在无线网络覆盖范围内移动并接入其他网络，维持通信服务的连续性。传统的网络切换技术大多发生在具有相同的无线接入技术的基站之间，并且不能对用户需求精准建模，无法个性化地适配用户业务，会出现由于基站密度增加而频繁切换和负载不均衡的问题。因此，研究智能化的网络切换技术，选择最佳的网络为用户提供服务，实现端网负载均衡很有必要。所以，本书的第4章研究端网协同智能切换。
第4章首先介绍了异构无线网络的概念，并指明本书以4G和5G并存的异构蜂窝网络为研究主体。对网络切换的类型和流程进行了简要阐述和总结。其次，研究了一种基于长短期记忆（Long-Short Term Memory，LSTM）网络的小区网络属性预测方法，描述了LSTM模型的网络架构和单元结构，并说明了其相比常用时间序列分析模型的优点。给出了仿真参数设置，并通过仿真结果验证了LSTM用于网络属性预测的有效性。另外，基于LSTM的仿真结果，提出了一种用户业务驱动的网络切换方案，针对移动网络中不同业务类型对服务质量（Quality of Service，QoS）的不同需求，使用效用函数进行建模。采用基于用户偏好的主客观组合赋权方法，以及结合先前基于LSTM的网络属性预测，根据组合权重来计算网络的综合效用值，以此作为网络切换的判断准则。最后，通过仿真实验与其他方案进行对比，仿真结果验证了本章所提方案的性能优势。
第4章研究了一种移动通信中端网协同的负载均衡方法。首先，提出了基于生成式对抗网络（Generative Adversarial Networks，GAN）的终端侧主动负载估计方案，避免了额外的信令开销，通过终端侧对周围可用基站负载的估计，辅助终端接入资源更足的小区，保障了用户的通信服务。其次，以用户通信服务体验为衡量指标，实现用户主动触发的负载均衡，为用户选择匹配的小区，保障了用户的通信服务体验。通过端网协同的负载均衡方法，实现用户负载较精细化的负载转移，避免仅简单的移动性参数调整造成“成批”切换而引起新的负载不均衡问题。
第5章总结和展望了人工智能超密集移动通信系统的发展趋势。
作 者
2022年5月