一种考虑通信时延的协同感知系统

协同感知系统考虑基于多智能体感知同一场景，多个智能体通过通信网络执行协同[4，6，8，15，17，27，34，35，37，40]。基于多个智能体的观测，协同感知可以从根本上克服单智能体感知的物理限制，如超视距和遮挡。这种协同感知系统可广泛应用于自动驾驶和机器人测绘等实际应用中。以往的协同感知方法[15，7，27] 已在多种感知任务中取得了显著的成功，包括2D/3D目标检测[21，22，36]和语义分割[5，20，33，41]。其中[16，17]侧重于无人机的语义分割，[15，27]则讨论了基于车车通信辅助的自动驾驶的3D目标检测。考虑到通信带宽与感知性能之间的权衡，以往许多工作在中间特征级实现协同，并利用注意力机制来融合协同特征。

图1 协同3D目标检测。红色：检测值，绿色：真值。当存在传输时延时，无时延考虑的协同感知模型可能比单智能体感知模型效果更差。

然而，这些先前的协同感知方法都没有考虑现实通信环境中不可避免的时延问题。如文献[13]所述，在实时LTE-V2X通信系统中，通信延迟时间平均可达131.30 ms（498个通信周期）。此外，不同通信通道的不同延迟时间会导致严重的时间异步问题。实验表明，时延问题严重损害了协同感知系统，导致其性能甚至比单智能体感知更差。从图1中我们可以看到：1）(a)中紫色框内经协同感知检测到的车辆在(b)中缺失；2） (c)中蓝框内由单智能体感知正确检测到的车辆在(b)中没有被正确检测。原因是自车接收到的他车具有时延的协同数据代表了1s前的情况，它会误导检测器输出具有显著偏差的边界框。这促使我们考虑设计一种对不可避免的通信延迟具有鲁棒性的协同感知系统。

为了解决时延问题，我们从机器学习的角度提出了第一个具有时延意识的协同感知系统，该系统主动地将多个智能体的异步感知特征同步于同一时间戳，提高了协同感知的鲁棒性和有效性。如图2所示，我们的具有时延意识的协同感知系统沿用一个先进的中间特征级协同感知框架[15]，并由五个部分组成：1）编码模块：从原始数据中提取感知特征；2）通信模块：在变化的通信时延条件下传输智能体之间的感知特征；3）时延补偿模块：将传输至自主智能体下周围多个智能体的时延特征同步于当前时间戳；4）融合模块：聚合所有经同步后的各智能体特征并生成融合特征；5）解码模块：利用融合特征得到最终感知输出。我们的协同感知系统的主要优点是，它能够在聚合协同特征之前同步各智能体特征，而不是直接融合接收到的异步特征，以减轻通信时延造成的影响。

我们所提系统的关键是时延补偿模块，该模块旨在对周围智能体所传输的时滞特征执行特征级补偿，进而与自主智能体当前时刻特征同步。为了实现这一点，我们提出了一个新颖的同步补偿网络SyncNet，它利用周围智能体历史协同信息来同时估计当前协同特征及对应的协同注意力权重，这两者由于通信时延在当前时刻都是而未知的。协同过程中成对智能体之间的注意力权重与协同特征图具有相同的空间分辨率，表示所接收协同特征中各空间区域的信息水平。因此，它为协同伙伴提供了关于如何利用协同特征的信息提示。直观地说，协同特征和相应的协同注意力权重是耦合在一起的。基于此设计原理，本文提出的SyncNet采用特征-注意力共生估计结构，同时推断出当前时刻其他智能体由于时延而未知的协同特征和协同注意力权重，二者相互增强并避免了级联误差。

图2 本文提出的具有时延意识的协同感知系统框架：关键模块是时延补偿模块。为了实现这一点，我们提出了SyncNet，它利用历史协同信息来同步由通信时延引起的多个智能体的异步信息。

与常用的时间序列预测方法相比，本文提出的SyncNet有两个主要区别：1）执行特征级估计而不是输出级预测；2）耦合式估计协同特征和协同注意力权重，而不是预测单个输出。

我们在V2X-Sim数据集[14]上广泛评估了基于SyncNet的新型协同感知模型，用于自动驾驶的协同3D目标检测。结果验证了我们的系统的鲁棒性，并比最先进的方法有了实质性的改进。通过使用SyncNet，我们的协同感知系统在不同的通信延迟下始终显著地优于单智能体感知。

综上所述，我们的贡献如下：

1.本文首次提出了协同感知中的通信时延挑战，提出了一种新的具有时延意识的协同感知系统，该系统通过减轻不可避免的通信延迟影响来促进多智能体协同的鲁棒感知。

2.我们提出了一种新的时延补偿模块，称为SyncNet，以实现特征级同步。该模块实现了中间特征和协同注意力两类关键协同信息的共生估计、相互促进。

3.我们进行了广泛的实验，并验证了我们所提SyncNet在时延场景下比以前的方法取得了巨大的性能提升，在严重时延条件下我们依然保持了协同感知优于单智能体感知。

2.1 V2V 通信： V2V通信主要有两大协议：IEEE 802.11p协议和蜂窝网络标准[18]。在IEEE 802.11p协议中，有一个无线车载环境接入模式（Wireless Access in Vehicular Environment，简称WAVE），允许用户跳过基本服务集（Basic Service Set，简称BSS），从而减少了连接建立的开销[11]。在蜂窝网络中，长期演进（Long Term Evolution，简称LTE）标准衍生出LTE-V2X[1]。虽然V2V网络取得了进展，但仍然面临通信延迟问题，这对协同感知来说风险极大，通信时延时间平均高达 131.30 ms（498个通信周期)）[13]。我们旨在从机器学习的角度减轻不可避免的通信延迟所带来的影响，而不是从通信的角度避免延迟，从而设计一种新的具有时延意识的协同感知系统。

2.2 协同感知：协同感知使智能体能够通过通信网络共享感知到的信息，从根本上提升了单智能体感知能力。[16，17]使用握手（handshake）机制来确定哪两个智能体应该通信。[27]引入了一种多轮消息传递的图神经网络。[15]则提出了一种基于图的协同感知系统，通过知识蒸馏来平衡通信传输损耗和感知性能。以往的研究大多集中在理想情境下的协同策略学习。最近，人们开始考虑更现实的情况。[25]利用位姿误差回归模块来校正接收到的噪声位姿误差。然而，以往的研究都没有考虑到实际协同系统中带缺陷的通信的影响。为了填补这一空白，我们考虑协同感知通信中不可避免的时延问题，这对协同系统来说是非常危险的，并构建了一个具有时延意识的协同感知系统来减轻通信延迟带来的影响。

2.3 时间序列预测：时间序列预测的目标是根据历史数据预测未来的信号。[23]在临近降水预报（now-casting）中提出了一种conv-LSTM架构。视频预测作为一种具有普遍性和代表性的时间序列预测类型，一直受到人们的积极研究[19，24，28，31]。通过利用预测技术，我们的工作从历史协同信息中恢复由于时延而丢失的信息。然而，与标准预测不同，我们的目标是最大化最终感知性能，而不是精确估计当前状态。

为了解决时延问题，我们在3.1节中提出了一个具有时延意识的协同感知系统。3.2节介绍时延补偿模块SyncNet，这也是整个系统的关键。最后，3.3节介绍了网络监督训练的损失函数。

3.1 具有时延意识的协同感知系统

协同感知系统中多个智能体基于由通信网络共享的数据来共同感知一个场景。由于通信延迟在现实通信系统中是不可避免的，因此我们重点研究考虑时延设置下的协同感知系统。也就是说，给定一个通信延迟不可控的非理想通信信道，我们的目标是通过减轻时延的影响来优化协同系统下智能体的感知能力。

其中为所估计的智能体在时刻同步后的特征，是智能体与智能体在时刻的协同注意力权重，是智能体在当前时间戳对所有周围智能体估计的同步特征执行聚合后的特征，表示智能体的邻域智能体集，是一超参数。

步骤(1a)考虑从原始观测数据中提取感知特征，其中为编码网络。在步骤(1b)中，我们从其他智能体接收具有不同传输延迟时间的感知特征。为了补偿时延，步骤(1c)通过利用来自各智能体的历史特征和主体智能体感知的实时特征来估计当前时间戳下其他智能体的协同特征和协同注意力，其中表示该估计网络。这里我们假设每个智能体可以在内存中存储前帧的历史特征。步骤(1d)则融合所有经时延补偿后的协同信息。最后，步骤(1e)输出最终感知输出，其中为解码器网络。对应于图2，步骤(1a)和(1b)构成编码模块，步骤(1c)属于时延补偿模块，步骤(1d)为时延融合模块，步骤(1e)构成解码模块。

我们提出的时延协同感知系统有四个优点：1）我们明确地将通信时延纳入协同感知系统的设计中（见(1b)、 (1c)），这在以前的工作中从未做过。2）我们通过从历史协同信息中估计当前信息来减轻传输时延的影响（见(1 c)）。对此，我们考虑特征级同步，而不是同步感知输出，因为它允许端到端学习框架具有更高的学习灵活性。3）在(1c)中，我们同时推理协同特征和协同注意力权重。如果我们只估计特征，我们将需要基于估计的特征来计算协同注意力，这将放大估计误差，导致级联错误。4）我们采用基于注意力的估计，利用(1c)中的协同注意力权重促进对感知敏感区域的更精确的估计（见(1d)）。

3.2 SyncNet ：时延补偿模块

由于时延补偿模块是本文所提协同感知系统的关键，我们专门设计了估计网络，并提出了新颖的同步补偿网络SyncNet。它的功能是利用各周围智能体历史协同信息来对其所传输特征执行时延补偿。SyncNet包括两个部分：特征-注意力共生估计模块，其采用双分支金字塔LSTM来同时估计实时特征和协同注意力；时间调制模块，其利用时延时间自适应调整协同特征的最终估计。

图3 SyncNet结构：SyncNet包括特征-注意力共生估计（FASE）模块和时间调制（TM）模块。前者是共享相同输入的双分支金字塔LSTM（图中P-LSTM），即特征和注意力的聚合。时间调制模块则用于在估计的特征和接收的原始异步特征之间分配时域注意力。

特征 – 注意力共生估计：特征-注意力共生估计(FASE)利用一种新的双分支结构，由特征估计分支和注意力估计分支组成，进而同时估计当前时刻特征及其协同注意力权重。双LSTM网络的两个分支共享相同的输入，包括主体智能体感知的实时特征和其他协同智能体感知的前帧历史特征。每个分支由一个金字塔LSTM网络实现，该LSTM对一系列历史协作信息建模并估计当前状态。金字塔LSTM网络专门用于捕获空间相关的协同特征。如图4所示，当红框内的车辆相对于中心车辆右移时，特征图上的对应区域也会发生相同的移动。事实表明，空间信息对我们的估计任务是重要的。我们将LSTM[10]中的矩阵乘法修改为多尺度卷积结构，详见图5a。本文提出的金字塔LSTM与普通LSTM的主要区别在于：标准LSTM[10]没有专门考虑提取空间特征，而[23]则仅提取单尺度空间特征。本文所提出的金字塔LSTM则是在多个尺度上捕捉局部到全局的特征。

图4 特征域的空间相关性。上半部分图中绿框代表真值目标。下半部分热力图由特征沿特征通道求和得到。

图5 (a)为金字塔LSTM的多分辨率空间卷积， (b)表示时间调制，最终估计特征为。

特征估计分支旨在获取当前协同中最具信息的特征。为了实现这一点，特征估计分支应该是具有注意力意识的。而注意力估计分支的目的是寻找当前信息量最大的特征区域，同时还要抑制估计误差较大的区域。为了实现这一点，注意力估计分支应该是具有特征意识的。为了允许所估计的特征和相应的注意力能相互关注到彼此，我们循环地利用来自前一个时间戳估计的特征和协同注意力作为两个分支下一个时间戳的输入。

整个过程如算法1所示，是特征传输延迟时间，代表历史帧，表示当前时间戳，和分别表示在时刻自主智能体接收到其他智能体的协同注意力权重和协同感知特征，和则分别表示时刻经时延补偿估计的协同特征和协同注意力，是时刻金字塔LSTM 的输入，,,和分别是金字塔LSTM在每个分支中的隐藏状态和元胞状态。

我们所提出的特征-注意力共生估计网络具有三个特点：1）双分支结构同时推断协同特征和相应的协同注意力，保持二者的独立性并消除级联错误。2）该估计网络将协同注意力作为输入，从而聚焦于具有更多信息的区域，促进更有效的估计。3）可学习的注意力估计网络获取协同特征的信息，并基于理想无时延环境下获取的协同注意力和融合特征进行监督训练。在端到端优化过程中，它不仅可以模拟计算出无延迟的权重分布，还可以主动学习减少对特征中噪声较大的空间区域的关注。

算法 1：特征-注意力共生估计

时间调制：虽然FASE实现了的基本功能，但我们发现，当时延较小时，传输时延引起的协同感知性能下降相对于FASE导致的估计噪声要小。为了解决这个问题，我们提出了时间调制模块，它将原始传输的中间特征(在低时延下工作良好)和基于FASE估计的特征(在高延迟下工作良好)融合在一起，结合延迟时间，产生更全面和可靠的估计。

设,为反映各空间区域估计不确定程度的置信度矩阵。和分别为延迟时间经扩展得到的时延张量，二者形状分别与和相同。时间调制模块的工作原理如下：

其中和均为配有sigmoid激活函数的轻量级卷积神经网络，为所有元素均为的矩阵。步骤(2a)将FASE估计的协同特征/注意力、当前接收的时滞特征/注意力和时延扩展张量进行对应拼接，得到代表每个空间区域下所估计的协同特征与协同注意力的置信度。根据置信度矩阵，步骤(2b)分别将估计的特征/注意力和原始异步特征/注意力组合起来。我们期望当时延较大时，置信度矩阵的权重会更高，表示此时经时延补偿估计的特征/注意力对最终估计的贡献会更大。具体过程同样可见图5b。

3.3 损失函数

设为智能体在时刻的最终感知输出的真值目标信息，为智能体在时刻融合各智能体协同特征后的真值特征，为智能体在时刻的真值协同特征，是时刻智能体到智能体的真值协同注意力权重。我们考虑最小化以下目标以优化整个考虑时延的协同感知系统：