白泽带你读论文 | DriveFuzz

现有工作大多关注ADS单个层中的bug，虽然这些工作大大提高了单个层的安全性，但是由于ADS系统具有多层结构，不同的层以级联方式协同工作，针对某一层的单独测试可能无法检测到某些bug。例如，某一层的bug在单独测试时不会造成可见的影响，但会引起其他层的不当行为。只有将所有层作为一个整体进行测试，才能检测到此类bug。

上图展示了通用的ADS框架，包括sensing, perception, planning, actuation四层结构，这些层以级联的方式一起工作，即每一层从前一层获取输入，产生的输出被下一层消耗。每一层的功能如下：
sensing：使用各种传感器获取周围环境的原始数据；
perception：融合捕获的传感器数据，以理解当前的位置和车辆周围的环境；
planning：根据感知到的状态，为给定的地图和目的地制定路径规划；
actuation：根据路径规划，建立一个具体的运动计划，包括方向盘角度、速度等，并将相应指令发送给车辆实现自动驾驶。

下图是DriveFuzz的概述，下面将对该框架的工作流程和主要模块进行介绍。

工作流程

Mutation engine

Test executor

Test executor利用驾驶模拟器，在给定的驾驶场景下运行目标ADS，同时为模糊过程收集各种车辆状态。

Misbehavior detector

Misbehavior detector根据现实世界的交通法规检测自动驾驶过程中存在的错误行为，具体包括以下几种事件：碰撞、违规行为（包括超速、车道入侵、闯红灯）、非法停车。在检测到错误行为后，将生成bug报告，并在记录所有的车辆状态以进行后续检查后立即终止模拟过程。

Driving quality feedback engine

如果没有检测到错误行为，Driving quality feedback engine会对本次模拟的驾驶质量进行打分。作者参考了美国国家公路交通安全管理局运输部调查交通事故原因的报告和汽车保险公司的数据，确定了引发交通事故的几种主要的鲁莽驾驶行为，具体包括硬加速、硬刹车、硬转弯、转向过度和转向不足。DriveFuzz基于这些行为出现的次数，以及与其他参与者的最小距离来衡量驾驶质量。驾驶质量分数会作为反馈提供给Mutation engine，以引导下次突变产生更容易导致错误行为的输入场景。

漏洞挖掘能力

DriveFuzz共发现了34个bug，其中，在Autoware中发现了17个新bug和1个已知问题；在Behavior Agent中发现了13个bug；在CARLA中检测到3个模拟器错误。下图展示了DriveFuzz发现的所有新bug、它们所在的组件、每个错误的影响和根本原因。作者对这些bug进行了深入分析，根据bug产生的根本原因将其分为四类：ADS跨层错误、ADS逻辑错误、ADS功能缺失、模拟器错误。

对比最先进的测试方法

作者从定量和定性两个角度分析了DriveFuzz在漏洞发掘方面的能力优于最先进的ADS测试方法——AV-Fuzzer。首先，从定量角度分析，AV-Fuzzer的输入空间是DriveFuzz的一个子集，覆盖的输入场景数量远不如DriveFuzz；而且，AV-fuzzer只能检测碰撞，DriveFuzz还可以检测违反交规的行为。其次，从定性角度分析，DriveFuzz提供的反馈质量高于AV-Fuzzer，DriveFuzz考虑了车辆的物理状态，提供对鲁莽行为的细粒度反馈，而AV-Fuzzer只关注了车辆互相接近的情况，没考虑车辆的物理状态。

驾驶质量评估的正确性与有效性

在相同条件下运行具有驾驶质量反馈和没有驾驶质量反馈的两种fuzzer，结果如下图，具有驾驶质量反馈的fuzzer在相同时间内能够发现更多错误行为，证明了驾驶质量反馈的有效性。

本文提出了一个端到端的模糊框架，它将ADS的所有层作为整体进行测试，并提出了驾驶质量的概念以引导fuzzer的突变，从而检测ADS所有层中容易被攻击者利用的bug。从实验结果来看，DriveFuzz发现了两个ADS中的30个新漏洞以及CARLA模拟器中的3个漏洞，证明了该工具在漏洞挖掘方面的有效性，为提高ADS的整体安全性做出了贡献。

文案：刘智晨

排版：LC

戳“阅读原文”即可查看论文原文哦~