车载边缘计算中任务卸载和服务缓存的联合智能优化

作为交通强国的重要抓手，车联网在国家发展战略中起着举足轻重的作用。随着车联网的飞速发展，车辆变得愈发普及和智能化。由此，催生了一大批车载应用，涵盖信息服务、行驶安全和交通效率各个方面。这些应用服务在给人们生活带来便利的同时，将会造成数据的几何增长，增加了网络的负荷，对网络带宽提出了更高的需求。车载边缘计算通过把移动边缘计算应用在车联网，可以实现计算和存储能力的下沉，能够极大缓解网络的带宽压力，有效降低任务的响应时延。

在复杂的车载网络环境下，为了保障大量用户多样化的服务需求，亟须设计有效的车载边缘计算机制。利用计算卸载技术，用户可以把任务卸载给具有丰富资源的边缘节点计算，有助于响应时延的减少。然而，现有的车载计算卸载工作，在用户端往往集中在本地处理，未能充分发掘邻居车辆的资源，而在边缘端大多侧重于计算资源的管理，忽视了其与服务缓存之间的关系。特别地，边缘端服务器为了计算用户卸载的任务，需要具备一定的计算资源，也需要提前缓存相应的服务应用。换言之，计算卸载和服务缓存彼此关联，相互耦合。考虑到路边设施存储资源的限制，如何通过服务缓存的决策保障计算卸载的质量是要解决的重要问题。鉴于车联网的动态、随机和时变特性，需要引入更加智能的算法实现网络通信、计算和缓存资源的有效管理，以应对传统数学方法的不足。

针对以上问题，本文首先设计了纵向和横向协同的智能车载边缘计算网络架构，然后通过分析网络通信、计算和服务缓存资源之间相互作用的机理，提出了通信、计算和服务缓存资源的联合优化模型，进而利用异步分布式强化学习实现了任务的灵活卸载和资源的智能管理。

区别于一般的移动网络，车联网的典型特点在于车辆的快速移动。车辆的移动会导致网络拓扑的动态变化，决定车间的连通特性，从而影响任务的正常卸载。为此，车载边缘计算需要和车辆的移动性密切结合。文献[12]考虑网络负荷和任务卸载，研究了多服务器多用户场景下的资源管理。每辆车通过移动可以将任务选择性地卸载给期望的边缘服务器。文献[13]呈现了一个移动模型用于设计链路稳定性指标。基于该指标可以发现任务车辆周边可用的服务车辆，从中可以挑选满足任务车辆偏好和服务需求的车辆作为最优的服务提供者。不同于传统计算卸载工作主要考虑通信和计算资源的调度，文献[14]设计的基于车辆移动的卸载机制同时也考虑了任务卸载时间的决策。特别地，任务车辆与服务器之间的数据传输速率随两者之间的距离动态变化，由此影响了任务的卸载时间。

在车载环境下，路边单元广泛部署于路测，通常作为主要的边缘服务器节点参与用户任务的处理。文献[15]考虑车辆的移动及其与关联的边缘服务器的连接时间，研究了负载卸载和任务调度问题。文献[16]提出的双端优化问题旨在同时保障用户端和服务器端的利益。以上工作主要侧重于单服务器场景，文献[17-18]则聚焦于多服务场景。文献[17]提出了具有高可靠性、低时延的车–设施通信架构，优化了车和基站的耦合及无线资源的管理。文献[18]的任务卸载机制则同时优化了服务器和传输模式的选择。

鉴于车联网的复杂特性，人工智能算法以其巨大的优势也被用于车载边缘计算，以实现资源的智能管理。文献[19]利用Q–学习算法实现闲置车辆资源和服务器资源的管理，以加强用户的服务质量。文献[20-21]均通过深度Q–学习联合优化了网络的通信、计算和缓存资源，旨在提升系统的整体收益。文献[22]则利用深度确定性策略梯度算法实现任务的调度和资源的管理，最大程度保障移动运营商的收益。

以上工作主要集中在车载计算卸载方面，忽视了车辆资源的发掘和服务缓存对计算卸载的影响。相比于文献[12-18]，文献[19-22]虽然采用智能方法实现任务的调度，但依然存在一定的局限性。为此，本文提出了计算卸载和服务缓存智能联合优化算法。

本文构建了一个边缘智能驱动的车载网络架构，如图1所示。该架构包括三层，即用户层、边缘层和云层，特点介绍如下。

图1 车载边缘计算网络架构

纵向协作。用户层位于网络的最底端，主要由车辆组成。部署于道路一侧的路边单元配置相应的边缘服务器，作为边缘层的关键节点。特别地，在边缘层引入智能模块，协助实现资源的有效管理和任务的灵活决策。云层位于网络的最上端，具有丰富的计算和存储资源。在用户和边缘服务器资源受限的情况下，云层可提供必要的资源支持。

横向协作。当车辆有任务处理时，可以选择本地执行并通过邻居车辆计算任务，还可利用车–设施通信方式交由路边单元协助处理。路边单元的资源往往在空时维度分布不均：轻负载的服务器资源会呈现闲置状态造成浪费，过负载的服务器则对应接不暇的任务捉襟见肘。为此路边单元之间可以加强横向协作，通过任务迁移的策略，最大化网络资源的利用率。

移动感知。由于高速的移动性，车辆可能频繁地在不同的路边单元之间切换。所以，需要能够基于对车辆移动行为的分析对车辆的轨迹准确定位，以便路边单元将计算结果顺利反馈给车辆。假设M个路边单元均匀分布于道路一侧，组成集合M。每个路边单元配备一个计算能力为Fj、存储资源为Sj的服务器。N个车辆自由移动在道路上，组成集合N 。每个车辆i携带一个任务，该任务可以表征为{di,ci}，其中，di表示输入数据的大小，ci表示该任务的计算量。路边单元通过有线方式互联。用户与路边通过无线通信方式进行交互。车辆本地的卸载决策用xi0表示，其中，xi0=1表示车辆在用户侧处理任务；车辆边缘的卸载决策用xij表示，其中，xij=1表示车辆将任务卸载给路边单元j处理。特别地，当车辆执行边缘卸载处理时，优先邻近关联的路边单元。如果当前关联的路边单元负荷较重，则可以由该服务器将任务迁移至周边的路边单元。这样有利于负载均衡，提升资源的利用率，从而加强用户的服务体验。对于每个路边单元，为了实现任务的处理，需要安装相应的服务应用。换言之，当其存储了相应的服务应用，即缓存决策wij=1时，路边单元j能够处理车辆i卸载的任务；否则它需要从云端下载该应用，从而带来了额外的时延开销。

3.1 移动模型

3.2 通信模型

3.3 缓存模型

3.4 计算模型

任务车辆可以通过用户层计算和边缘层卸载2种方式处理任务。下面，对两者的时延性能分别进行分析。

3.4.1 用户层计算

3.4.2 边缘层卸载

当任务车辆执行边缘卸载时，一般包括以下阶段：任务上传、任务执行和结果反馈。本文忽略结果反馈的时延假设任务车辆i选择卸载的路边单位为j，分别对不同阶段的时延进行分析。

任务上传阶段。车辆i首先把任务上传给当前关联的路边单元si，该过程的传输时延取决于任务的大小和数据的传输速率。由式(3)可得

任务执行阶段。根据所选定卸载服务器的位置，任务执行分为以下2种情况。

3.5 计算卸载和服务缓存联合优化模型

本文旨在动态、随机和时变的车载环境下，面对有限网络资源和不同用户需求之间的矛盾，通过计算卸载和服务缓存资源联合优化，在保障用户服务需求的前提下，最小化系统整体的处理时延。鉴于此，设计目标函数如下

鉴于车载网络的动态性、随机性和时变性，人工智能算法相比于传统数学方法更适合资源的管理和任务的调度。相比较而言，Q–学习需要维护Q表格，不适应于具有较多状态的网络。深度确定性策略梯度算法需要利用经验回放机制消除训练数据间的相关性。对于经验回放机制来说，代理在与环境的每次交互都需耗费较多的资源，而所采用的离策略学习方法只能基于旧策略生成的数据进行更新。所以，考虑利用异步优势的 actor-critic 算法减少算法执行所需的开销，同时基于实时的网络环境提供最优的卸载决策和资源管理。

利用异步优势的 actor-critic 算法对系统环境建模，需要确定其状态空间、动作空间和奖励函数，具体如下。

单个线程独立地与环境交互并获取经验，彼此之间互不干扰。经过一定的交互之后，每个线程独立地使用累计的梯度更新公共神经网络模型参数，如图2所示。进而，公共神经网络会分发自己的参数更新每个线程的神经网络参数，指导线程与环境的交互。本文算法详细描述如下。

图2 本文算法网络模型

本节利用Python对车载边缘计算卸载算法进行仿真验证，通过比较各算法随车辆数目、路边单元计算能力和存储能力的变化在时延和奖赏方面展现的性能，来评估不同算法的优劣。其中，实现的算法除了本文算法之外，还包括基于随机卸载策略random processing和完全卸载策略的offloading processing。在车载环境下，设置一个云中心和3个路边单元。仿真参数如表1所示。车辆的计算能力分布于[100,500]Mcycle/s，边缘服务器计算能力分布于[2,6]Gcycle/s，边缘服务器缓存能力分布于[200,1000]MB，车辆计算能力分布于[100,500]Mcycle/s，每个任务的计算强度297.62cycle/bit。

图3显示了车辆数目对不同算法时延的影响。此时，设置每个路边单元的计算能力为2GHz，存储大小为300MB。从图3中可以发现，系统任务处理的时延随着车辆数目的增多而增加。这一方面是因为处理任务的增多，另外一方面是因为有限计算资源的竞争。在所有的算法中，random processing的时延最大。相对于offloading processing和本文算法，当采用random processing时，车辆会承担较多任务的计算。由于车辆自身计算资源的限制，单独处理任务会造成较大的时延。Offloading processing取得了比random processing更好的性能。这主要归因于边缘服务器具有丰富的计算资源。边缘服务器参与任务的计算，会加快任务的处理，降低任务的处理时延。本文算法相对于以上2种算法，完成任务处理所需的时延最小，这是因为本文算法考虑了纵向的端、边和云的协作。为此，所有可用的资源均可以通过协同用于处理任务，提升了资源的利用效率，促进了时延的减少。特别地，在端侧，任务的处理不仅考虑了本地资源，也充分发掘了任务车辆一跳的邻居车辆资源。本文算法的目标在于最小化任务的处理时延，而所在用的深度强化学习策略能够适应车载网络的动态、随机和时变特性获取相应的最优解。

图3 车辆数目对不同算法时延的影响

图4显示了边缘服务器的计算能力对不同算法时延的影响。随着边缘服务器的计算能力的增加，不同算法处理任务的时延随之减少。这是因为任务的计算与边缘服务器的资源呈正相关的关系。对于random processing而言，任务可以在端侧处理，也可以由边缘服务器计算。由于未能充分发掘边缘服务器的计算资源，random processing 所带来的时延最大。对于offloading processing 而言，任务全部交由边缘服务器处理。虽然可以充分发挥边缘服务器的计算资源，但是，未能考虑计算资源和服务缓存资源的相互关系。边缘服务器因为缓存资源不足将从云端下载任务计算所需的服务应用，带来额外的时延。对于本文算法而言，它联合考虑了计算卸载和服务缓存，通过本地处理和边缘处理的合理调度，促使了计算资源和缓存资源的充分利用，进一步减少了任务的处理时延。此外，深度强化学习算法有利于在动态的网络环境当中做出最优的卸载决策，有效地处理好计算资源和服务缓存资源之间的关系，进而保障任务的快速处理。

图4 边缘服务器的计算能力对不同算法时延的影响

图5描述了边缘服务器的缓存能力对不同算法时延的影响。从图5中可以发现，随着边缘服务器缓存能力的增加，不同算法处理任务的时延随之减少。这主要是因为边缘服务器为了执行任务，需要安装相应的服务应用，否则就需要从云端下载，从而带来了额外的开销。当边缘服务器的缓存能力增加时，可以缓存更多任务处理所需要的服务应用。这样方便任务卸载给边缘服务器之后直接计算，从而降低了时延。

图5 边缘服务器的缓存能力对不同算法时延的影响

图6描述了本文算法在不同学习速率场景下的收敛情况。其中，实线表示当actor和critic网络的学习速率分别为1×10^−5和1×10^−4时episode数目对奖励的影响。虚线表示当actor和critic网络的学习速率分别为1×10^−4和1×10^−3时episode数目对奖励的影响。从两者的比较可以发现，随着episode的增加，奖赏将会趋于稳定。

图6 本文算法在不同学习速率场景下的收敛情况

面对车联网中有限的网络资源，为了保障大量用户多样化的服务需求，本文提出了智能驱动的车载边缘计算架构。该架构实现了纵向端-边-云资源的协作和横向端侧、边侧资源的协同，有利于实现资源的最大化利用。基于该架构，探究了计算卸载和服务缓存相互作用的机理，进而提出了两者的联合优化模型。考虑到复杂的车载环境，利用异步优势的actor-critic算法，给出了最优的任务卸载的策略和资源管理方案。实验结果表明，相对于对比算法，本文算法在任务处理时延方面取得了良好的性能提升。

参考文献

[1] 中国信息通信研究院. 车联网白皮书[R]. 北京: 中国信息通信研究院, 2017. CAICT. White paper of Internet of vehicles[R]. Beijing: CAICT, 2017. 

[2] 郭辉, 芮兰兰, 高志鹏. 车辆边缘网络中基于多参数 MDP 模型的 动态服务迁移策略[J]. 通信学报, 2020, 41(1): 1-14. GUO H, RUI L L, GAO Z P. Dynamic service migration strategy based on MDP model with multiple parameter in vehicular edge network[J]. Journal on Communications, 2020, 41(1): 1-14. 

[3] 张海波, 王子心, 贺晓帆. SDN 和 MEC 架构下 V2X 卸载与资源分配[J]. 通信学报, 2020, 41(1): 114-124. ZHANG H B, WANG Z X, HE X F. V2X offloading and resource allocation under SDN and MEC architecture[J]. Journal on Communications, 2020, 41(1): 114-124. 

[4] LIU L, CHEN C, QIU T, et al. A data dissemination scheme based on clustering and probabilistic broadcasting in VANETs[J]. Vehicular Communications, 2018, 13: 78-88. 

[5] CHEN C, WANG C, QIU T, et al. Caching in vehicular named data networking: architecture, schemes and future directions[J]. IEEE Communications Surveys & Tutorials, 2020, 22(4): 2378-2407. 

[6] 彭鑫, 邓清勇, 田淑娟, 等. 多信道车联网 V2R/V2V 数据传输调度算法[J]. 通信学报, 2019, 40(3): 92-101. PENG X, DENG Q Y, TIAN S J, et al. Data dissemination scheduling algorithm for V2R/V2V in multi-channel VANET[J]. Journal on Communications, 2019, 40(3): 92-101. 

[7] FENG J, YU F R, PEI Q, et al. Cooperative computation offloading and resource allocation for blockchain-enabled mobile edge computing: a deep reinforcement learning approach[J]. IEEE Internet of Things Journal, 2020, 7(7): 6214-6228. 

[8] FENG J, YU F R, PEI Q, et al. Joint optimization of radio and computational resources allocation in blockchain-enabled mobile edge computing systems[J]. IEEE Transactions on Wireless Communications, 2020, 19(6): 4321-4334. 

[9] LIU L, CHEN C, PEI Q, et al. Vehicular edge computing and networking: a survey[J]. Mobile Networks and Applications, 2020, doi: 10.1007/s11036-020-01624-1. 

[10] WANG T, TANG M B, CAO Y. Resource optimization protocol based on multicommunity model for intermittently connected mobile networks[J]. IEEE Systems Journal, 2019, 14(1): 410-421. 

[11] WANG T, CAO Y, ZHOU Y, et al. A survey on geographic routing protocols in delay/disruption tolerant networks[J]. International Journal of Distributed Sensor Networks, 2016, 12(2): 1-12. 

[12] DAI Y, XU D, MAHARJAN S, et al. Joint load balancing and offloading in vehicular edge computing and networks[J]. IEEE Internet of Things Journal, 2018, 6(3): 4377-4387. 

[13] TAMANI N, BRIK B, LAGRAA N, et al. On link stability metric and fuzzy quantification for service selection in mobile vehicular cloud[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 21(5): 2050-2062.

[14] YANG C, LIU Y, CHEN X, et al. Efficient mobility-aware task offloading for vehicular edge computing networks[J]. IEEE Access, 2019, 7: 26652-26664.

[15] SORKHOH I, EBRAHIMI D, ATALLAH R, et al. Workload scheduling in vehicular networks with edge cloud capabilities[J]. IEEE Transactions on Vehicular Technology, 2019, 68(9): 8472-8486.

[16] DU J, YU F R, CHU X, et al. Computation offloading and resource ·26· 通信学报第42卷 allocation in vehicular networks based on dual-side cost minimization[J]. IEEE Transactions on Vehicular Technology, 2018, 68(2): 1079-1092. 

[17] TAREQ M M K, SEMIARI O, SALEHI M A, et al. Ultra reliable, low latency vehicle-to-infrastructure wireless communications with edge computing[C]//2018 IEEE Global Communications Conference. Piscataway: IEEE Press, 2018: 1-7. 

[18] ZHANG K, MAO Y, LENG S, et al. Mobile-edge computing for vehicular networks: a promising network paradigm with predictive off-loading[J]. IEEE Vehicular Technology Magazine, 2017, 12(2): 36-44. 

[19] LIU Y, YU H, XIE S, et al. Deep reinforcement learning for offloading and resource allocation in vehicle edge computing and networks[J]. IEEE Transactions on Vehicular Technology, 2019, 68(11): 11158-11168. 

[20] HE Y, ZHAO N, YIN H. Integrated networking, caching, and computing for connected vehicles: a deep reinforcement learning approach[J]. IEEE Transactions on Vehicular Technology, 2017, 67(1): 44-55. 

[21] HU R Q. Mobility-aware edge caching and computing in vehicle networks: a deep reinforcement learning[J]. IEEE Transactions on Vehicular Technology, 2018, 67(11): 10190-10203. 

[22] NING Z, ZHANG K, WANG X, et al. Joint computing and caching in 5G-envisioned Internet of vehicles: a deep reinforcement learning-based traffic control system[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, doi: 10.1109/TITS.2020.2970276

[23] CHEN C, LIU L, QIU T, et al. ASGR: an artificial spider-web-based geographic routing in heterogeneous vehicular networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 20(5): 1604-1620.

[24] PENG H, LI D, ABBOUD K, et al. Performance analysis of IEEE 802.11p DCF for multiplatooning communications with autonomous vehicles[J]. IEEE Transactions on Vehicular Technology, 2016, 66(3): 2485-2498.