点击上方蓝字谈思实验室
获取更多汽车网络安全资讯
由于性能局限、规范不足或可合理预见误用导致的预期功能安全问题层出不穷，阻碍了智能汽车的快速发展。本综述聚焦智能汽车预期功能安全保障关键技术，分别从系统开发、功能改进和运行3个阶段进行了系统的总结，最后从基础理论、风险防护和更新机制3方面进行了展望。
根据美国国家交通安全管理局（NHTSA）数据统计，约94%的交通事故由人为因素导致，智能汽车以机器代替人类驾驶员，在提高行车安全性方面具有重要意义。但现有技术尚不能充分发挥其安全潜力，此外在引入新技术消除原有问题的同时，新的安全问题也随之出现，如功能安全、信息安全和预期功能安全（safety of the intended functionality，SOTIF）问题。尤其随着智能汽车系统复杂化和智能化程度日益提升以及其运行环境的开放性和挑战性不断增加，由功能不足导致的SOTIF问题逐渐暴露，并成为制约智能汽车安全性保障的关键难题。此外，近年来出现的由于感知、决策等功能不足所导致的自动驾驶/辅助驾驶事故也反映了SOTIF问题的严峻性，推动SOTIF保障技术的研究已成为当务之急。
预期功能安全旨在避免由于预期功能或其实现的功能不足导致危害所产生的不合理风险，其基本概念由ISO 21448提出和定义，自2016年2月ISO启动该标准的制定工作以来，已形成PAS、CD、DIS和FDIS等版本的草案。ISO 21448作为ISO 26262的延伸，处理在不发生硬件随机失效和系统故障情况下的功能不足问题。
SOTIF研究涉及系统功能设计改进、分析评估、验证确认和认证等多方面问题，且随着技术发展和新技术的引入不断提出新的需求，因此，ISO 21448 难以具体涵盖所有相关内容。近年来，诸多其他国际标准相继提出并将SOTIF作为重要的研究对象，如图1所示。
在自动化产品的安全评估方面，UL 4600旨在补充功能安全和SOTIF标准，提出一种面向安全目标的方法，专注于“如何评估”全自动驾驶安全情况；针对高级别自动驾驶系统的安全设计、验证和确认，ISO/TR 4804确定了符合ISO/PAS 21448的SOTIF功能设计流程，并有待进一步开发ISO/AWI TS 5083；针对基于场景的安全评估，ISO 34502提出了一套场景生成和评估流程，并在场景库建立过程中针对性地考虑了SOTIF 典型触发条件；针对人工智能（artificialintelligence，AI）等新技术引入后的问题，待开发的ISO/AWI PAS 8800旨在提供解决AI相关系统开发和部署全生命周期问题的规范，以弥补ISO 21448中对AI问题考虑的不足。
伴随SOTIF标准化进程，近年来国内外政府、企业和研究机构在SOTIF实践方案方面进行了诸多探索：在产品开发方面，宝马、百度等诸多公司尝试将SOTIF引入其产品全生命周期安全开发流程；在产品安全分析评估方面，大陆、ANSYS等公司尝试引入安全分析工具，欧盟ENSEMBLE项目和NHTSA等进行了SOTIF分析评估实践，并提供了成果报告；在安全验证确认方面，欧盟PEGASUS及其延伸项目VVM、SetLevel、日本SAKURA项目以及中国智能网联汽车联盟预期功能安全工作组等在实践中与SOTIF进行了结合；在功能改进方面，诸多公司均提出了各自的方案，欧盟DENSE等项目则针对传感器等部件的具体功能不足问题进行了研究。
上述标准和实践活动为智能汽车SOTIF保障提供了框架性指导（见图3），而在实际研究和开发过程中，须采用特定的保障技术以有效地解决各阶段面临的具体问题。然而，该领域尚未形成完善的技术研究体系：一方面，当前直接以SOTIF为主题的文献虽呈增长趋势，但总量仍相对较少，内容主要涉及概念和意义阐述、安全分析、测试验证和系统工程等方面，缺少对SOTIF保障关键技术系统性的研究和梳理；另一方面，虽然许多相关领域的高水平研究成果对于解决功能不足问题具有重要的启发和借鉴意义，但尚未被明确纳入SOTIF 保障技术研究范畴。
因此，本文中基于大量国内外研究报告和文献资料，系统地分析和梳理了SOTIF保障关键技术，并基于现有研究不足提出了展望。
明确的问题定义和风险源分析是保障SOTIF的前提。从系统自身角度分析，SOTIF问题主要源于两方面：（1）在车辆层对预期功能的规范不足，场景开放性、系统复杂性和专家经验的不完备性等限制均可能导致车辆行为的设计规范过程出现问题，进而难以实现理想的安全目标；（2）预期功能实现的不足，即使对车辆层预期功能的规范足够完备，由于系统组件的性能局限和规范不足，感知、决策和控制等功能的实现可能不符合预期。如传感器、执行器存在感知、执行能力上限或易受外界环境因素干扰等性能局限；感知、决策算法可能具有鲁棒性、泛化性、可解释性、逻辑完备性、规则覆盖度等方面的问题。此外，SOTIF 危害的产生和演化依赖于特定场景。首先，上述规范不足或性能局限由场景中特定条件触发而导致危害行为；另外，上述危害行为最终演化为伤害是建立在当前场景包含相关风险源以及场景可控性低的情况下。因此，在进行SOTIF保障过程中，需要综合系统自身局限和运行场景风险以建立安全保障体系。
根据场景是否已知和是否会导致SOTIF危害，将其分为已知安全、已知不安全、未知不安全和未知安全4类场景，SOTIF保障目标为通过一系列活动和相关技术以最小化两类不安全场景对应区域，其核心是对未知不安全场景的发现和处理。如图4 所示，SOTIF保障目标的实现可分解为将未知转化为已知、将不安全转化为安全两方面。首先，SOTIF分析评估、验证确认以及运行阶段的关键数据收集、记录和反馈等活动有助于充分挖掘未知场景；另外，开发阶段直接针对功能不足的改进、运行阶段的未知风险监测、防护和基于收集数据的系统功能改进是将不安全场景转化为安全场景的必要活动；此外，验证确认与残余风险评估以及安全论证等则是确保残余风险足够低的重要活动，从而为SOTIF发布提供依据。下文将分别从开发阶段和运行阶段梳理各项活动对应的SOTIF 保障关键技术，并针对智能汽车系统的功能改进技术进行具体讨论。
系统开发阶段的SOTIF保障活动主要包括SOTIF分析评估、验证确认、功能改进和发布等，本节将分别重点介绍各环节关键技术。
采用有效的安全分析技术可提高对SOTIF 危害、潜在功能不足与触发条件等识别分析的效率、全面性和科学性。传统安全分析技术如故障树分析、失效模式与影响分析和危害与可操作性分析等，其在SOTIF 分析评估方面得到了一些应用；以智能汽车为代表的新技术带来了事故本质改变、新类型危害、单次事故容忍度降低、系统复杂性增加、人机交互复杂化等新的安全挑战，因此需要更有效的安全分析技术，系统理论过程分析（systems-theoretic process analysis，STPA）（见图5）具有分析复杂系统的潜力，包含定义分析目的、构建控制结构、识别不安全控制行为、识别致因场景4步，已被用于感知、决策和全自动驾驶系统等的SOTIF分析。然而，单一技术的可用性有限，可结合其各自优势以开发更有效的SOTIF分析技术。
此外，在SOTIF分析中引入特定建模技术等有利于进一步改善分析效果。传统STPA技术构建的控制结构描述了系统内部运行逻辑，但未建模功能和运行环境间的关系，有限状态机等被采用以弥补上述不足，通过建模车辆状态结合环境条件的转换关系可更全面地识别危害。因果关系模型有利于指导分析危害行为对应的触发条件、性能局限或规范不足，如贝叶斯网络已被用于构建感知性能局限和场景触发条件间的层次依赖关系，结合条件信念表、P值检验和专家分析等技术可用于量化评估上述关系和发掘新的触发条件。另外，对场景要素、触发条件和性能局限等基本元素进行前期梳理和过程中更新，并建立相关映射关系有利于提高SOTIF分析的效率和全面性。
针对识别所得SOTIF 危害应进行风险评估。STPA等技术自身不具备风险量化的功能，因此需进行相应拓展，功能安全领域的危害分析与风险评估（hazard analysis and risk assessment，HARA）和汽车安全完整性等级（automotive safety integration level，ASIL）被一些研究改进并用于SOTIF 风险评估。贝叶斯概率模型作为一种统计性方法，也已被用于量化SOTIF相关风险及其边界。然而，由于场景复杂度增大和统计困难、触发条件对场景的依赖性、AI算法不确定性等原因，现有研究尚未能明确和统一SOTIF风险定义及其量化方法，因此亟待探索和提出更有效的SOTIF定量分析指标与技术。此外，为避免智能汽车HARA难以接受的复杂性，可结合任务分解、等价类和影响分析以及模型重构等技术以管理其复杂度。
针对由功能不足导致的不合理风险，应进行功能改进以缩小不安全区域。现阶段的功能改进技术众多，可主要分为3种技术路线：①性能提升，如提高特定传感器或感知模型自身的性能上限；②风险监测与防护，即通过对触发条件（包含合理可预见的误操作）、功能不足状态等的识别以监测SOTIF 风险，从而采取针对性的防护技术，如风险源消除、功能限制或权限移交等，此外，也可通过直接对运行设计域（operational design domain，ODD）的明确、监测和限制为风险防护提供参考；③功能冗余，如通过设计冗余功能模块以改善整体性能表现。第3节将针对智能汽车各模块和整车层分别系统地梳理相应功能改进技术。
验证确认是进一步发现不安全场景和证明SOTIF得到充分保障的重要活动。SOTIF验证旨在提供客观证据证明对规定要求的满足，对象包括传感器、感知算法、决策算法、执行器和集成系统等，验证指标如准确性、可靠性和抗干扰性等。SOTIF确认旨在采用合理的确认目标和方法，评估在已知和未知不安全场景下残余风险是否可接受。SOTIF确认目标用于量化满足接受准则的条件，后者可在考虑事故统计数据、人类驾驶员表现等基础上分析风险接受原则，如风险容忍、正向风险平衡、最低合理可行、最小内源性死亡率等。
SOTIF验证确认须综合考虑所采用技术的有效性、可行性和成本，如基于分析对比的验证、仿真和软硬件在环等技术成本相对较低，但提供证据的有效性、适用范围有限；开放道路测试能够反映车辆在环境中最真实的表现，有利于突破经验知识和模型等限制，挖掘罕见的未知不安全场景，但单独采用此类方法的成本难以接受。近年来，基于场景的测试（见图6）得到了广泛研究与实践。一方面，该方法可结合仿真、软硬件在环和试验场等不同平台合理分配测试资源，并结合测试场景覆盖度评估、重要性采样、危害行为识别等技术进一步减少测试成本；另一方面，该方法以场景为核心，既可用于在包含潜在触发条件场景下的SOTIF验证，也可通过基于真实场景分布的采样测试或对未知场景的充分挖掘以辅助SOTIF确认。
特定场景或用例的生成是验证确认的前提，根据信息来源的不同，主要分为知识驱动和数据驱动，前者可参考专家知识、标准和相关经验等，典型方法如本体论，后者一般依赖自然驾驶或事故数据进行提取。根据生成目标不同，主要包含随机场景生成和关键场景生成，其中关键场景可源于对已识别潜在触发条件的映射和组合，也可通过定义场景危险程度等指标进行自动生成。对抗样本生成是一种有效的关键场景生成方法，其结合梯度等信息可自动生成更易触发系统功能不足的安全关键场景，进而提高测试效率；在场景生成过程中，与真实世界的相似性是保证测试有效性的重要前提，而可接受扰动生成等则是实现上述目标的重要技术。此外，适当的功能分解对于克服参数空间爆炸和减少测试量具有重要意义，进而根据测试对象不同，在生成不同功能模块的场景时应进行差异化考虑，如针对传感器和感知模块，可选择包含雨雪雾等恶劣天气或特定目标检测对象的场景；针对决策模块，可侧重于对交通干扰等场景的选择；针对控制器和执行器，包含极限工况、恶劣道路和环境条件等的场景需要被重点考虑。
从生成的场景或场景库中选择具体场景是决定测试代表性、覆盖度和成本的关键步骤，参数空间具有复杂性和连续性，因此可采用采样方法，根据场景参数先验信息的不同分为基于参数范围的采样和基于参数分布的采样。前者的典型技术包括组合测试、交互式实验设计、随机化技术等；后者典型技术如蒙特卡洛采样等。加速测试是改善测试成本的重要途径，典型技术如极值理论、重要性采样和马尔科夫链蒙特卡洛等。此外，一些研究关注基于证伪的场景选择，如通过考虑事故数据或场景临界性、复杂性等特征进行关键场景筛选，或利用仿真进行适应性压力测试、替代建模和随机优化以及自适应搜索等。
测试平台包含虚拟仿真、软硬件在环、整车在环和试验场等，其测试真实性依次增加，但测试成本、安全风险和可拓展性逐渐降低，为充分利用有限资源，应在满足测试要求的前提下优先使用仿真和在环测试技术。此外，通过开发高保真度的传感器模型（如采用现象学模型）可进一步改善仿真和在环测试技术的适用性。
评价指标是判断系统或组件是否满足指定要求或残余风险足够低的依据，传统安全性指标可包括主观/客观、微观/宏观、短期/长期等类型，但主要用于评价整车行为，并不适用于具体功能组件；而现阶段针对感知、预测等模型的评价也存在标准不一、主要集中于精度类评价而对安全性考虑不足等问题。因此，有待提出适用于智能汽车功能评价的SOTIF指标。
此外，形式化验证技术采用数学建模方法来保证系统正确性，验证结果严谨，因此对智能汽车等安全关键系统具有重要意义。在车辆行为验证方面，定理证明、可达性分析等技术得到了许多关注；在系统集成方面，形式化验证可用于规范不同组件（如控制器）集成的正确性；另外，形式化方法在以机器学习为代表的AI领域得到了广泛研究，可进一步用于对感知、预测等相关功能模块的验证。然而，该技术实现成本较高，对复杂系统、开放场景和黑盒模型等情况的可拓展性有限，因此仍有待进一步探索和改进。
综上，现阶段存在多种技术可用于SOTIF验证确认，通过结合不同技术优势可进一步改善效果。然而，由于场景复杂多变和长尾效应、智能汽车系统复杂多样和更新迭代快以及缺少SOTIF评价规范等问题，SOTIF验证确认仍面临严峻挑战。
在开发阶段的最后，须论证系统是否符合SOTIF 发布准则。Schwalb 等提出了一个概率框架以逐步量化SOTIF残余风险。此外，经过上述分析评估、设计改进和验证确认等活动可形成完整的安全文档，进而可利用目标结构表示法、拓展证据网络等技术进行安全论证，如Misra提出了一个状态机用于探索预期功能可能导致危害的条件，并断言相应安全声明，在此基础上结合目标结构表示法构建了SOTIF论证架构。
除上述各阶段活动的针对性保障技术，对系统开发流程的优化也是SOTIF保障的重要方向，如采用敏捷系统工程可改善系统开发效率、经济性和可追溯性。此外，部分学者尝试将形式化方法、规则手册等集成到SOTIF系统开发过程，并初步获得了加速开发、提高可追溯性和可评估性等优化效果。然而，这些方法自身仍存在复杂性、可拓展性和适用性等方面的问题，另外其与SOTIF的结合仍处于探索阶段，对实际开发过程的指导意义有限。
智能汽车功能实现依赖于各子模块，如图7所示。在合理可预见的误用等触发条件的影响下，感知、定位、决策、控制等功能不足均可能导致SOTIF危害，而根据各模块特点可进行针对性改进。本节将从感知定位、决策控制、合理可预见误用处理和整车层功能改进4方面分别进行总结。
感知功能实现主要依赖于传感器和感知模型，因此其功能改进主要面向传感器性能局限和感知模型功能不足问题进行。
通过传感器优化技术改进其检测范围、精度和抗干扰能力等基本性能，如针对Lidar易受雨雾、尘埃干扰的问题，有多次回波技术和面激光技术等。另外，针对感知模型的性能提升技术与所采用感知算法密切相关，现阶段智能汽车感知功能普遍采用机器学习算法，根据其工作原理，可将感知模型性能提升主要分为如下几个方面。
（1）训练数据改进。首先，可改善训练数据的丰富度，通过采用大规模低成本数据采集方案结合自动/半自动标注方法以降低成本，进而提高训练数据量。另外，可改进数据采集技术以提高数据质量，结合数据清洗、过滤和校正等技术减少由于采集或标注错误等导致的训练数据问题。此外，可通过训练数据分布的合理分配以改善训练效果。
（2）训练模型改进。模型架构的设计直接影响感知性能，如由于卷积神经网络对于图像信息处理的天然优势，添加该设计的网络性能一般优于单纯的多层感知机网络。优化感知模型设计是当前计算机视觉等领域的主要研究方向，因此感知性能也得以快速提升。此外，通过优化模型设计也可改善其对未知对象的检测效果，从而降低残余风险。
（3）训练过程改进。针对训练数据不足或潜在未知场景的问题，可通过数据增强、迁移学习、主动学习等技术提高对有限数据或标签的利用效率，其中针对感知算法的数据增强，除图像翻转、裁剪等传统方法外，对雨雪雾天气条件的渲染也是提高在恶劣天气下感知性能的一种方式。针对潜在功能不足问题，对抗训练等技术有助于在有限数据的基础上减少模型缺陷，提高其鲁棒性。此外，改进损失或奖励函数以及合理使用归一化、正则化等技术均有助于模型性能的进一步提升。
将感知SOTIF风险来源分为外界触发条件与内部功能不足，可作为风险监测的参考。其中，雨、雪、雾、冰雹等不良天气条件是感知SOTIF问题的重要触发条件，一些研究通过试验分析建立了其影响关系，为外界触发条件监测提供依据。对不良天气条件的监测可采用特定环境模型或天气传感器，如车用雨量传感器便包含电容式、光学式、压电振子式、电阻式、CCD成像式等类型；另外，结合统计学或深度学习等方法，摄像头等自身输出数据也可直接用于对恶劣天气条件或其导致干扰的监测。此外，一些研究关注对感知功能不足表现的直接监测，如通过修改模型、调整训练过程和引入其他信息以实现对感知性能的在线估计。
针对受环境条件影响的传感器数据可进行干扰消除。首先，传感器参数内部调优可用于提高其在恶劣天气下的数据质量。另外，通过添加附加装置可消除干扰，如通过液体或雨刷器清洗传感器污垢，而针对雨雪结冰或霜等对摄像头造成的不良影响，可添加自热装置。此外，数据降噪等预处理技术也可用于去除环境干扰，如用于图像除雾的典型算法包含图像增强、基于大气退化模型的图像复原和基于深度学习的方法等；另一些研究关注图像除雨技术，主要分为两类：雨滴（粘附在镜头上）去除和降雨（分布在空气中）去除；对于Lidar，一些商业产品已具备自动图像校正功能，可通过面向像素的评估来过滤雨滴和雪花。
此外，也可跳过干扰消除步骤，直接改善感知模型对含干扰数据的处理能力。如Huang等引入一种新型双子网网络——DSNet来解决雾天图像目标检测问题，在保持高速的同时检测性能优于许多先进的目标检测器和“除雾+检测”的组合模型。
针对单一传感器及其感知模型的性能局限，多传感器融合是一种重要的改进技术。首先，同类传感器融合可通过多个传感器的合理布局来增加感知范围，如在车辆四周布置多个摄像头以获取360°的感知视角；另外，多类传感器融合将有助于克服单类传感器的固有性能局限，增加环境信息获取的多样性和准确性，如利用Lidar测距精确的优势弥补摄像头功能不足，或结合冗余信息分析等确定传感器异常。根据融合传感器的特点可分为基于摄像头、Lidar和Radar间不同组合方式的融合；根据融合信息所属层级可分为数据级、特征级和目标级融合；常用融合方法如自适应加权平均法、聚类算法、贝叶斯推理等。现阶段研究考虑恶劣天气等触发条件影响，针对最佳融合架构、模型设计、训练策略、多模态数据集等方面进行了诸多探索，并取得了一些较为显著的效果。此外，在城市复杂交通场景，通过引入路侧和城市感知信息，实现使能赋能一体化的协同感知方案也是解决单车感知功能不足的重要研究方向。
定位功能实现主要包括基于全球导航卫星系统等的绝对定位和基于同步定位与地图构建（simultaneous localization and mapping，SLAM）等的相对定位。前者的典型SOTIF问题如建筑物反射造成的多径现象、交通设施或山区峡谷等遮挡造成的定位错乱或定位信号丢失，可采用GPS海拔或气压绝对值比对等方法应对高架路段的定位信号错乱问题；后者主要包含基于摄像头或Lidar的SLAM定位等，因此其面临的SOTIF问题与感知类似，如恶劣天气导致定位准确性降低等，可通过多传感器融合、算法优化等技术改进。
当前主流的决策方法包含两类：基于规则的决策和基于学习的决策。前者优点是可解释性强、便于引入专家经验、可靠性强等，但易出现规范不足、动态复杂场景下的认知推理能力不足、泛化性和算法可拓展性不足等局限性。针对上述问题，首先，可通过经验积累、头脑风暴等方法不断优化决策逻辑，而STPA等系统分析技术对于提高决策规则设计的完备性也具有一定指导意义。另外，引入新建模理论和信息以及场景模板等技术可改善决策方法对复杂和未知场景的通用性。此外，引入单独的预测模块可提高决策对场景的认知能力，进而弥补原有模型的不足。
近年来，越来越多的研究关注基于学习的决策方法，如模仿学习和强化学习。针对此类方法的改进思路与上述感知模型性能提升类似，即可通过对训练数据、模型和训练过程的改进提高决策性能。
决策功能模块基于获取的环境信息制定相应策略，假设感知定位模块获取的信息足够准确，决策SOTIF风险主要来源于运行环境中的触发条件（如交通扰动对决策算法带来的挑战）和决策模块自身功能不足导致的安全问题，对应其风险监测与防护主要考虑的两类因素。
针对环境中的触发条件，如特定道路类型，可通过OOD等进行约束，结合分析评估与验证确认结果，以逐渐明确决策模型适用的ODD，从而将其作为环境条件监测的参考依据，利用地图、定位和特定场景识别等技术实时判断当前风险。针对环境中交通参与者的不确定性运动，通过设计相应的风险量化模型和风险敏感的安全决策方法可获取更安全的决策结果；此外，异常行为检测技术可用于对环境中交通参与者非预期行为的识别。
针对决策模块自身的潜在功能不足，形式化验证技术在决策安全验证领域得到了广泛研究，其基本思路为验证当前决策结果在特定假设下是否会导致事故，而该假设的合理性也是影响安全验证效果的重要因素。此外，将决策模块分为预测和行为选择两个关键子模块，对预测功能不足的量化可用于风险监测和防护，如图8所示。通过量化和传播预测模型的不确定性可实现安全决策。
此外，针对低级别自动驾驶决策难以应对的场景，可通过功能限制或请求驾驶员接管以缓解风险。
针对单类决策模型的局限性，混合决策（见图9）可利用优势互补进一步改善功能。如基于规则的决策难以建模高维不确定性环境，但其可解释性和可靠性能弥补基于学习的决策。以融合规则的自学习混合决策为例，其包含通过知识或规则调整奖励函数、调整探索过程、调整输出动作或调整策略训练迭代过程等类型，可提高决策结果的可靠性。此外，车路云协同和云控系统等技术发展为安全决策提供了有力支撑，通过引入云端和路侧提供的交通状态监控信息、宏观决策控制指导、计算能力支持等辅助可缓解车载决策系统的功能不足问题。
控制功能的SOTIF问题主要包含两方面：（1）控制层的动力学建模局限性导致对车辆动力学特性的表征不足，而控制器本身也存在实时性等性能局限；（2）执行器存在执行精度、最大转向或制动能力边界、实时响应能力等局限，且可能受道路条件、机械、强风等外界干扰。因此对其功能改进可主要围绕以上两方面开展，如针对执行器精度、响应时间等的性能提升，监测高风险工况进行防护，增加新的控制器或执行器以实现冗余等；在算法层面，鲁棒容错控制等是改善控制模型的典型技术。
在分析评估阶段对合理可预见误用的充分识别是应对此类风险的重要前提，可采用STPA等技术辅助分析。针对潜在误用，存在多种处理思路：首先，优化用户手册和培训可减少驾乘人员因规则不明确或知识不足导致的误用。在行驶过程中，可通过对驾乘人员状态监测以提前预警，如位姿状态、极端异常状态、安全带状态等，典型监测信息获取途径包括驾驶员监控摄像头、座椅位置、转向盘传感器等，Abbood等提出了一种疲劳检测和预测模型，其采用瞳孔反应、脑电信号等传感器感知信息和驾驶员资料等定制信息进行行为预测和干预。在监测到潜在风险进行干预时，可通过视觉、听觉、触觉等交互形式进行警示或行为建议；同时应合理设计交互内容，Koo等研究了半自动驾驶传递的信息内容如何影响驾驶员态度和安全性，提出须合理调控提供信息的数量和种类。此外，针对难以避免的潜在误用行为，可通过设计不易实现的功能操作方式（如座椅、按钮位置或激活动作）、特定场景下驾乘人员权力限制等提高安全性，如在高速场景中禁止城市自动停车功能的激活。
智能汽车集成了多模块复杂交互，单一功能模块的改进不足以充分保障SOTIF：一方面，各模块对应SOTIF问题难以彻底消除，须通过优化整车系统设计以最小化残余风险；另一方面，即使各功能模块能实现预期功能，整车设计的规范不足仍可能导致危害行为。因此，应从整车层面综合考虑各模块功能不足问题及其面临的触发条件，从而制定系统解决方案。
在整车系统设计中，应充分考虑不同功能模块间的SOTIF风险传播。近年来越来越多研究关注智能汽车上下游功能之间的系统性和互补性，上述决策SOTIF风险中关于上游感知定位模块表现完美的假设实际难以成立，针对感知定位功能不足所导致的问题，可通过决策设计进行弥补。如通过在决策模块中考虑传感器输入噪声和遮挡等导致的感知不足以及感知结果中的类别不确定性和位置不确定性等信息，缓解感知功能不足对整车安全的影响。此外，由于感知或决策功能不足导致的风险也可通过控制模块进行缓解。
此外，现阶段一些研究关注对系统自我意识（self-awareness）的开发，从而提高其对外部运行环境和内部功能状态的综合认知和风险防护能力。自我意识的实现需要从整车层面对系统架构及其各模块进行充分认知，如构建智能汽车的技能图、能力图以及整车架构的多层视图，并将其集成到开发过程；在赋予整车自我意识能力的基础上，可进行系统安全监控，如利用环境传感器和车辆本征传感器等实现对内外部状态的感知和表征，并结合安全决策或系统自调节技术实现风险防护。
随着系统复杂性和各模块耦合度增加，对于整车层SOTIF改进的综合技术方案需求也日益增加，但受限于风险机理和量化指标不明确、监测技术不完善、系统架构和功能模块实现多样性以及复杂系统分析困难等问题，当前技术尚难以有效应对。有待进一步开发整车层SOTIF 风险防护体系（见图10），通过对SOTIF风险纵向传播和整体监控的综合考虑，以实现SOTIF的系统保障。
满足SOTIF 发布准则并不代表风险的完全消除。一方面，由于场景长尾效应，运行阶段难免遇到开发阶段未考虑到的功能不足或触发条件；另一方面，环境、基础设施、政策法规、行为习惯等因素相对于开发阶段的情况可能发生变化，从而产生新的未知不安全场景，如图11所示。为有效应对以上未知风险，一些技术可用于运行阶段的SOTIF保障，主要包含两类：短期风险防护和长期功能改进。
短期风险防护旨在对运行阶段未知风险的实时防护，其关键在于风险监测。异常检测技术可用于识别偏离正常数据实例区域的输入，并赋予其异常分数或标签，对于由分布偏移或分布外输入等问题导致的未知风险具有一定监测能力，常见方法包括监督、半监督和无监督等方式，其在语义分割、基于视觉的安全导航等任务中得到了初步应用。
此外，一些研究聚焦于不同异常检测方法的对比，Henriksson等提出了一个结构化的深度学习监视器评估框架，采用7个评价指标对比了两类监视器（卷积神经网络分类器和变分自编码器）在不同测试用例上的性能，其中自动驾驶监视器可通过异常检测识别新的交通场景；他们在之后的研究中拓展了上述工作，选用4类深度神经网络与3个不同监视器，对比了在网络不同训练阶段中监视器的性能表现，可检测监视器表现开始恶化的时间点。此外，认知不确定性可反映模型在处理实际运行输入时所表现出的信心程度，研究表明其对于分布偏移、未知数据输入等具有一定检测能力，提取认知不确定性的典型方法有贝叶斯近似推断、蒙特卡罗dropout、深度集成和深度证据回归等，如图12所示。针对监测到的风险，可通过对不确定性敏感的决策模型设计、策略切换等进行安全保障。
长期功能改进旨在针对运行阶段所发现的新的SOTIF危害进行功能改进和系统升级，从而更有效地消除相关风险，其中典型技术如关键数据发现与记录、增量式的学习成长平台和OTA升级等。首先，运行阶段导致智能汽车预期功能或其实现不足的关键因素应被发掘和记录，具体可结合运行时未知风险监测、高风险或事故数据挖掘以及对环境、法规等外界影响因素变化的跟踪记录等方法实现。另外，基于关键数据反馈的系统更新迭代机制的建立和完善是充分解决所发现新问题的重要保障，如Tesla等公司在自动驾驶学习成长平台方面进行了一定探索，而持续学习等技术在机器学习等领域也表现出应对长尾场景的潜力。此外，OTA等远程升级技术可有效改善自动驾驶软件等的更新成本和效率。
在梳理现有SOTIF保障关键技术的基础上，综合研究不足与发展趋势，提出如下研究展望。
（1）加强SOTIF 保障基础理论研究。从SOTIF问题本质出发，研究SOTIF风险的产生、传播与演化机理。通过理论分析与实验验证，梳理智能汽车潜在功能不足、触发条件以及两者间的影响关系；结合智能汽车典型功能架构，探究不同模块间SOTIF问题的影响和传播机制，研究基于场景演变的风险动态演化理论；同时，针对AI等新技术存在的不确定性和黑盒问题，深入研究其导致系统功能不足的本质原因。此外，结合统计学、信息论等学科研究，构建SOTIF风险量化模型，为离线评估认证与在线风险防控技术的实施奠定理论基础。
（2）构建SOTIF风险防护技术体系。在理论研究基础上探索系统改进思路以降低整车SOTIF风险。结合SOTIF危害产生机理与风险模型，探究和优化智能汽车各模块功能改进技术，并进一步构建具有自我感知和自我调控能力的整车层SOTIF风险防护系统。如图13所示，综合系统内部状态（如AI模型）、外部运行环境（如ODD）以及其他约束（如交通法规）等信息进行监测，进而设计自适应安全决策模型以实现对SOTIF风险的防护。
（3）促进SOTIF保障技术的良性更新机制形成。当前智能汽车领域本身仍处于探索阶段，具有多种路线共存、技术更新迭代快等特点；与此同时，伴随技术发展、环境变化以及场景长尾问题的长期存在，新的未知不安全可能会不断出现。因此应建立SOTIF保障技术研究的良性更新机制，完善问题监控、反馈和更新的自动化流程，探究灵活快速可持续的自动分析、自学习成长与重认证体系，以实现SOTIF保障技术与智能汽车技术的同步发展。
总之，SOTIF研究对于智能汽车最终能否被社会接受具有重要意义。然而，当前该领域标准尚未健全，行业实践仍处于探索阶段且缺乏技术研究体系支撑。
来源：北京市高级别自动驾驶示范区
谈思实验室专注智能汽车信息安全、预期功能安全、自动驾驶、以太网等汽车创新技术，为汽车行业提供最优质的学习交流服务，并依托强大的产业及专家资源，致力于打造汽车产业一流高效的商务平台。
每年谈思实验室举办数十场线上线下品牌活动，拥有数十个智能汽车创新技术的精品专题社群，覆盖BMW、Daimler、PSA、Audi、Volvo、Nissan、广汽、一汽、上汽、蔚来等近百家国内国际领先的汽车厂商专家，已经服务上万名智能汽车行业上下游产业链从业者。专属社群有：信息安全、功能安全、自动驾驶、TARA、渗透测试、SOTIF、WP.29、以太网、物联网安全等，现专题社群仍然开放，入满即止。
扫描二维码添加微信，根据提示，可以进入有意向的专题交流群，享受最新资讯及与业内专家互动机会。
原文始发于微信公众号（谈思实验室）：智能汽车预期功能安全保障关键技术
