[USENIX Security 2024]浙江大学团队揭秘：ChatGPT在漏洞管理中的创新应用与自我启发式提示研究

1. 论文概述

研究背景

随着人工智能技术的快速发展，大型语言模型（LLMs）如ChatGPT在代码分析领域引起了广泛关注。ChatGPT展示了处理基础代码分析任务的能力，例如生成抽象语法树，这表明它有潜力理解代码语法和静态行为。然而，ChatGPT是否能够完成更复杂的实际漏洞管理任务，如预测安全相关性和补丁正确性，这需要全面理解包括代码语法、程序语义和相关手册注释在内的各个方面，这一点尚不清楚。

研究问题

本文探讨了ChatGPT在涉及完整漏洞管理过程的6个任务上的能力，这些任务包括：软件缺陷报告标题生成、安全缺陷报告预测、漏洞严重性评估、漏洞修复、补丁正确性评估和稳定补丁分类。研究的主要问题是：ChatGPT是否可以直接协助软件维护者在漏洞管理过程中执行多样化的任务？

主要贡献

• 首次对ChatGPT在漏洞管理任务上进行了大规模评估。
• 研究了不同的提示工程方法对ChatGPT性能的影响。
• 揭示了ChatGPT在漏洞管理任务中遇到的困难，并指出了提高ChatGPT性能的有前景的未来研究方向。

2. 方法与理论

方法论

本研究采用了大规模数据集，包含78,445个样本，对ChatGPT进行了六个漏洞管理任务的评估。对于每个任务，研究者比较了ChatGPT与当前最先进的方法（SOTA），并调查了不同提示的影响。

理论基础

研究基于以下理论：

• 漏洞管理过程：涉及识别、分类和缓解软件产品中的漏洞。
• ChatGPT和提示：ChatGPT是一个人工智能聊天机器人，通过提示（输入）来训练，以提供类似人类的回应。

创新点

• 自我启发式提示：提出了一种新的提示模板，通过让ChatGPT从示例中提取专业知识，并将其整合到提示中，以提高性能。

3. 实验与结果

实验设计

实验包括三个阶段：模板设计、最佳模板选择和大规模评估。研究者手动设计了基于现有策略的提示模板，并在训练数据集上进行了评估和完善。

数据集

使用的数据集包含11个SOTA方法的78,445个样本，总计27,284,148个标记。

评估指标

使用了多个评估指标，包括ROUGE-1、ROUGE-2、ROUGE-L、召回率、精确率、F1分数和AUC值。

主要结果

• ChatGPT在某些任务上的表现超过了SOTA方法，尤其是在与软件文档处理相关的任务上。
• 提示模板对ChatGPT的性能有显著影响，其中自我启发式提示在某些任务上表现突出。
• ChatGPT可能误解和误用提示中的信息，有效地指导ChatGPT关注有用信息而不是无关内容仍然是一个开放的问题。

4. 讨论与启示

主要发现

• ChatGPT在没有专门训练的情况下，就能在一些漏洞管理任务上达到或超过SOTA方法。
• 精心设计的提示对于提高ChatGPT的性能至关重要。
• 提供过多的信息可能会导致ChatGPT的误解和滥用。

批判性分析

• 尽管ChatGPT在某些任务上表现出色，但在需要深入领域专业知识的任务上可能仍然存在局限性。
• 提示工程是一个关键领域，需要进一步研究如何更有效地设计提示。

5. 局限性与未来工作

局限性

• 研究主要关注ChatGPT在特定任务上的表现，没有全面评估其在所有漏洞管理任务上的能力。
• 研究没有考虑ChatGPT在实际软件工程环境中的集成和应用。

未来工作

• 探索自动提示生成方法，以减少手动设计提示的工作量。
• 研究ChatGPT在实际软件开发和维护过程中的应用，以及如何与其他工具和流程集成。

6. 个人思考

优点

• 研究提供了对ChatGPT在漏洞管理领域潜力的深入理解。
• 实验设计严谨，使用了大规模数据集和多个评估指标。

缺点

• 研究可能过于依赖特定的提示设计，没有充分考虑ChatGPT的内在能力。
• 对于ChatGPT在实际环境中的表现和集成的探讨不足。

潜在改进方向

• 研究可以扩展到更多类型的漏洞管理任务，并考虑不同领域的软件项目。
• 可以探索ChatGPT与其他AI工具的协同作用，以提高整体性能。

对未来研究的影响

• 本研究为未来利用ChatGPT和类似LLMs进行漏洞管理的研究提供了基础。
• 它强调了提示工程的重要性，并为未来的研究提供了新的方向。

注1

本文提到的漏洞管理过程是指在软件开发生命周期中识别、分类和修复漏洞的一系列步骤。这个过程对于确保软件产品的安全性至关重要。以下是漏洞管理过程的详细说明，通常包括以下几个阶段：

1. 问题发现（Issue Discovery）：

• 在这个阶段，问题报告者通过错误跟踪系统或版本控制系统（如GitHub）报告问题。
• 一个分类器（triager）审查报告的问题进行详细评估。

2. 漏洞确认（Vulnerability Confirmation）：

• 分类器（通常是高级开发人员）负责初步确认报告的漏洞的存在。
• 确认后，根据严重程度将错误修复任务分配给适当的修复者。

3. 漏洞修复（Vulnerability Fixing）：

• 漏洞修复者生成补丁以修复分配的漏洞。
• 这个过程需要对代码上下文和底层逻辑有深刻的理解。

4. 补丁提交（Patch Committing）：

• 除了前面过程中生成的确认漏洞补丁，软件维护者也可能从第三方开发者那里收到补丁。
• 通常，软件补丁可以分为稳定（错误修复）补丁和功能增强补丁。

每个阶段都包含了一系列具体的任务和挑战：

• Bug报告摘要生成（Bug report summarization）：

• 为错误报告生成摘要，帮助分类器快速理解错误的本质。

• 安全错误报告识别（Security bug report identification）：

• 在大量错误报告中有效识别与安全相关的错误报告。

• 漏洞严重性评估（Vulnerability severity evaluation）：

• 对已确认的漏洞进行严重性评估，以优先处理更严重的安全风险。

• 漏洞修复（Vulnerability repair）：

• 修复者生成补丁以修复分配的漏洞。

• 补丁正确性评估（Patch correctness assessment）：

• 评估补丁是否正确修复了漏洞，同时没有引入新的问题。

• 稳定补丁分类（Stable patch classification）：

• 将补丁分类为稳定补丁或非稳定补丁，以确保软件的稳定性和安全性。

在本文中，作者探讨了ChatGPT在这些任务上的应用潜力，并评估了其性能。研究结果表明，ChatGPT在某些任务上能够达到或超过现有的最先进技术，尤其是在处理与软件文档相关的任务时。然而，作者也指出，ChatGPT在理解和应用提示信息方面存在局限性，这表明需要进一步的研究来优化提示设计，以便更好地利用ChatGPT的能力。

注2

文中提到的自我启发式提示是一种新颖的方法，旨在提高ChatGPT在需要领域专业知识的任务上的性能。这种方法通过以下几个步骤实现：

1. 提示模板的设计

自我启发式提示模板的核心思想是利用ChatGPT自身的能力来从示例中提取和总结专业知识，然后将这些知识整合到提示中。这样做的目的是让ChatGPT在处理特定任务时能够更好地理解和利用相关的领域知识。

2. 提取专业知识

• 选择示例：首先，研究者会选择一系列与任务相关的示例。这些示例应该覆盖任务的关键方面和复杂性。
• 使用ChatGPT进行总结：然后，这些示例被用作输入，要求ChatGPT阅读这些示例并总结出关键的专业知识点。这个过程实际上是一个自我启发的过程，因为ChatGPT被要求自己从给定的数据中学习并提炼信息。

3. 整合到提示中

• 构建新的提示：一旦提取出专业知识，研究者将这些知识整合到新的提示模板中。这意味着在给ChatGPT的任务描述中直接包含这些专业知识点。
• 调整和优化：研究者可能需要对提示进行调整和优化，以确保它们能够有效地指导ChatGPT的输出。

4. 实验验证

• 训练和测试：使用新的自我启发式提示，研究者对ChatGPT进行训练和测试，以评估其在特定任务上的性能。
• 性能比较：将使用自我启发式提示的ChatGPT的性能与使用传统提示的ChatGPT进行比较，以验证新方法的有效性。

5. 应用示例

在本文中，自我启发式提示被用于漏洞严重性评估任务。研究者可能提供了一系列关于不同漏洞和它们严重性的示例，然后让ChatGPT总结这些漏洞的特征和严重性评估的标准。这些总结出来的知识然后被整合到提示中，帮助ChatGPT更好地理解和评估新的漏洞样本。

优点

• 提高准确性：通过提供具体的领域知识，自我启发式提示可以帮助ChatGPT更准确地理解和完成任务。
• 减少误解：这种方法可以减少ChatGPT对提示信息的误解和滥用，因为它提供了更清晰、更具体的指导。
• 增强泛化能力：通过从示例中学习，ChatGPT能够更好地泛化到新的、未见过的数据。

局限性

• 示例的选择：如果示例不能很好地代表整个任务的复杂性，提取出来的知识可能会有偏差。
• 计算成本：生成和分析大量示例可能需要显著的计算资源。

自我启发式提示是一种创新的方法，它利用ChatGPT自身的学习能力来提高其在复杂任务上的性能。这种方法的成功实施可能会为未来利用大型语言模型解决专业领域问题提供新的视角。

注3

自我启发式提示是一种让ChatGPT从提供的例子中自我学习和提取规则或知识点，然后将这些知识点应用到解决具体任务的方法。以下是详细的步骤和例子，说明如何创建和使用自我启发式提示：

步骤 1: 定义任务

假设我们的任务是评估软件缺陷报告的严重性，我们需要ChatGPT能够根据缺陷报告的内容判断其严重性级别。

步骤 2: 收集示例

我们收集了一系列以往缺陷报告的例子，这些例子中包含了缺陷的描述以及对应的严重性评级。

示例数据：

报告1: "系统在高负载下崩溃，导致数据丢失。" - 严重性：高报告2: "用户界面上的字体颜色在夜间模式下不明显。" - 严重性：低报告3: "用户在执行交易时遇到冻结，但可以恢复。" - 严重性：中...

步骤 3: 使用ChatGPT提取知识

我们让ChatGPT处理这些示例，并要求它总结判断严重性的规律或关键词。

提示示例：

“阅读以下缺陷报告和它们的严重性评级，请总结出决定严重性的关键因素。”

ChatGPT输出：

“在评估缺陷报告的严重性时，应考虑以下因素：1. 是否影响系统稳定性；2. 是否导致数据丢失；3. 是否影响用户体验。”

步骤 4: 构建自我启发式提示

将ChatGPT总结出的知识整合到新的提示中，用于评估新的缺陷报告。

新的提示模板：

“根据以下总结的关键因素评估缺陷报告的严重性：1. 影响系统稳定性；2. 导致数据丢失；3. 影响用户体验。请阅读下面的缺陷报告，并判断其严重性。”

步骤 5: 应用提示

使用新的自我启发式提示来评估新的缺陷报告。

应用示例：

报告: "用户在输入信用卡信息时，应用程序无响应。"根据提示评估: 这个报告可能影响系统稳定性(应用程序无响应)，并且可能导致数据丢失(信用卡信息未成功输入)，因此严重性可能是高。

优点

• 适应性：ChatGPT通过自我启发式提示能够适应新的或未知的任务，因为它能够从示例中学习。
• 准确性：通过专注于关键因素，ChatGPT可以更准确地评估和分类缺陷报告。
• 效率：减少了人工干预的需求，提高了自动化处理的效率。

局限性

• 数据质量：如果示例数据不具代表性或存在偏差，ChatGPT提取的知识可能不准确。
• 泛化能力：ChatGPT可能过度拟合给定的示例，导致在未见过的新情况下表现不佳。

自我启发式提示是一种强大的方法，可以提高ChatGPT在需要领域专业知识的任务上的性能。通过从数据中自我学习，ChatGPT能够更好地理解和执行复杂的任务。

注4

本文通过对ChatGPT在漏洞管理任务上的应用进行了深入研究，得出了一系列有意义的结论。以下是对这些结论的详细说明：

1. ChatGPT的潜力

• 无需专门训练：研究表明，即使没有针对特定任务进行专门训练，ChatGPT也能够在一些漏洞管理任务上达到或超过现有的最先进技术（SOTA）。
• 文档处理能力：特别是在与软件文档处理相关的任务，如缺陷报告标题生成和安全缺陷报告预测等，ChatGPT展现出了显著的性能。

2. 提示工程的重要性

• 性能影响：不同的提示模板对ChatGPT的性能有显著影响。这意味着通过精心设计的提示，可以显著提升ChatGPT在特定任务上的表现。
• 自我启发式提示：提出的自我启发式提示方法，即让ChatGPT从示例中提取专业知识，并将其整合到提示中，是提高性能的一个有前景的方向。

3. 信息处理的挑战

• 信息误解和滥用：研究发现，如果提示信息过多或不相关，ChatGPT可能会误解和滥用这些信息，导致性能下降。
• 关注有用信息：有效地指导ChatGPT关注有用信息而不是无关内容，是提高其在复杂任务上性能的关键。

4. 漏洞管理任务的适用性

• 多样化任务：ChatGPT在漏洞管理的多个阶段都显示出了适用性，包括问题发现、漏洞确认、漏洞修复和补丁提交等。
• 特定任务的挑战：尽管ChatGPT在某些任务上表现出色，但在需要深入领域专业知识的任务上可能仍然存在局限性。

5. 未来研究方向

• 自动提示生成：探索自动生成提示的方法，以减少手动设计提示的工作量，并提高提示的适应性和有效性。
• 实际应用研究：研究ChatGPT在实际软件开发和维护过程中的应用，以及如何与其他工具和流程集成。

6. 局限性

• 任务依赖性：ChatGPT的性能在很大程度上依赖于提示的设计，这表明它在理解任务和应用知识方面可能存在局限性。
• 实际环境的挑战：研究主要在实验环境中进行，可能没有充分考虑ChatGPT在实际软件工程环境中的集成和应用。

7. 对未来研究的影响

• 基础研究：本研究为未来利用ChatGPT和类似LLMs进行漏洞管理的研究提供了基础。
• 新方向：它强调了提示工程的重要性，并为未来的研究提供了新的方向，特别是在自我启发式提示和自动提示生成方面。

这些结论不仅揭示了ChatGPT在漏洞管理领域的应用潜力，也指出了当前的挑战和未来的研究方向，为后续的研究和实践提供了宝贵的指导。

链接：https://arxiv.org/pdf/2311.06530

原文始发于微信公众号（为机器立心）：[USENIX Security 2024]浙江大学团队揭秘：ChatGPT在漏洞管理中的创新应用与自我启发式提示研究