基本信息
原文标题：PrompTrend: Continuous Community-Driven Vulnerability Discovery and Assessment for Large Language Models
原文作者：Tarek Gasmi, Ramzi Guesmi, Mootez Aloui, Jihene Bennaceur
作者单位：
Tarek Gasmi：University of Manouba, Tunisia
Ramzi Guesmi：University of Jendouba, Tunisia & LETI Laboratory, University of Sfax, Tunisia
Mootez Aloui：DataDoIt, Tunisia
Jihene Bennaceur：South Mediterranean University, Tunisia
关键词：LLM security, vulnerability assessment, community-driven discovery, AI safety, social platform monitoring, PrompTrend, PVAF, continuous threat intelligence
原文链接：https://arxiv.org/abs/2507.19185
开源代码：https://github.com/theconsciouslab-ai/Promptrend
论文要点
论文简介：随着大型语言模型（LLMs）在医疗、金融、教育和公共服务等关键领域的迅速部署，传统的静态漏洞评估方法已无法满足动态的社区驱动漏洞发现需求。PrompTrend是一种创新的系统，它通过跨平台收集漏洞数据，并利用多维评分框架进行评估，填补了正式安全研究与社区驱动漏洞发现之间的关键空白。PrompTrend的核心贡献在于：
（1）提供实时漏洞发现机制，弥补传统评估的“时间滞后”问题；
（2）提出首个结合技术特征与社交动态的多维评分框架PVAF；
（3）构建首个纵向社区驱动漏洞数据集；
（4）展示基于社区驱动的观测性研究如何补充传统安全评估方法。
研究表明，PrompTrend在198个社区发现的漏洞测试中，揭示了模型能力提升并不必然带来安全增强，心理操纵类攻击显著优于技术利用，平台动态塑造攻击有效性等关键发现。
研究目的：本文旨在解决当前 LLM 安全评估的三个关键问题：（1）现有方法无法捕捉社区驱动漏洞的演化过程；（2）传统漏洞评分系统（如CVSS）未能充分考虑漏洞的社交传播因素；（3）缺乏跨平台的系统性漏洞监测机制。
PrompTrend通过部署智能代理在多个平台上持续收集漏洞数据，并引入PVAF 评分框架，实现对漏洞的动态评估和风险分层。
研究目标包括：（1）验证实时社区驱动情报在LLM漏洞早期发现中的作用；（2）探索基于多维风险评分的评估方法如何提升LLM安全评估的鲁棒性；（3）比较社区驱动威胁情报与静态基准测试在模型鲁棒性评估中的优劣；（4）确定最能反映实际部署场景中漏洞评估框架有效性的指标。
研究贡献：本研究在 LLM 安全领域做出了四项主要贡献。
实时社区驱动漏洞发现框架：PrompTrend提出了一种新型的实时漏洞发现机制，弥补了传统评估方法在时间滞后、社交动态忽视和平台孤立方面的不足。该系统通过智能代理在 Reddit、GitHub、Discord 等平台上持续监测漏洞讨论，提供对新兴威胁的早期检测。
多维评分框架PVAF：PrompTrend引入了首个结合技术特征与社交动态的漏洞评分系统PVAF（PrompTrend Vulnerability Assessment Framework）。该框架不仅评估漏洞的技术复杂性，还考虑其社区采纳率、跨平台有效性、时间韧性等因素，从而更全面地反映漏洞的实际威胁水平。
首个纵向社区驱动漏洞数据集：PrompTrend构建了首个系统收集的社区驱动 LLM漏洞数据集，记录了漏洞的发现背景、传播模式和有效性轨迹。该数据集为分析漏洞的演化过程提供了前所未有的机会。
方法学创新：PrompTrend代表了网络安全研究的方法论进步，展示了在线社区的观测性研究如何补充传统的安全评估方法。该系统通过跨平台协调和语义指纹去重技术，实现了对漏洞传播路径的精确追踪。
引言
随着大型语言模型（LLM）广泛渗透到医疗、金融、教育及公共服务等关键行业，其安全性问题正在成为AI应用落地过程中的突出挑战。以往业界和学界多侧重于通过专业的红队测试、封闭实验室评测等方式主动发现模型漏洞，但在实际应用场景中，大量新颖且高危的攻击技巧、绕过路径往往率先由分布在Reddit、Discord、Twitter等社交平台的“民间”用户群体进行试验、扩散与持续迭代，而后才慢慢进入安全团队的视野。这使传统安全研究与现实攻防实践之间，逐渐形成了信息感知的时间差与认知死角。
近年来，模型安全评测方法不断推陈出新，典型如HarmBench、HELMSafety等数据集支撑下的红队评测及自动化对抗生成方法（如基于演化算法、强化学习的Jailbreak Prompt生成），极大促进了LLM安全基线的建立与提升。然而，静态基准与实验室方法难以捕捉真实社区中攻击的孵化、传播与演化规律。例如知名的“DAN”攻防技巧，早在多平台社区中反复迭代使用之后，才被正式文献和厂商安全报告记录。同类技术（如角色扮演、数据注入、语境逃逸等）也频繁上演“民间先行，研究后来”的循环。这种缺乏系统化监控与纵向数据积累的现状，导致低效的被动防御格局长期难以扭转。
此外，当前主流评估指标也面临诸多限制。无论是攻击成功率（ASR）还是基于CVSS的改进量表，往往只聚焦点状、孤立的技术特性评价，难以综合反映漏洞的社会传播能力、社区采纳度、平台间迁移与生命周期等关键属性。社区协力优化、变种进化、跨平台传播等现实过程，如不能被及时感知和有效量化，将极大削弱LLM防护的实时主动性与前瞻性。
鉴于上述挑战，论文提出PrompTrend系统，从架构、流程、指标体系等多层级重塑LLM漏洞的连续追踪与风控体系。通过分布式多平台采集、“语境+社会行为”元数据增强及多维度PVAF评估，PrompTrend不仅构建了LLM野生漏洞的系统数据集，还实现了对威胁演化、扩散规律的定量刻画。
论文核心聚焦四个科学问题：实时社区情报是否提升新漏洞发现能力？多维风险评估相较传统单指标对威胁判别有何改进？社区情报整合能否弥补静态评测的盲区？实用场景下哪些评测指标最具风险指示性？这一系列开放性研究为构建持续演进的AI安全治理体系提供关键支撑。
背景与相关工作
本文将LLM安全脆弱性的研究，与在线社区中真实威胁的涌现过程深度融合。以往LLM漏洞的研究，侧重通过API、prompt注入等特定技术范式，探讨模型内部机制对输入操作的脆弱性，例如角色扮演（jailbreak）、prompt injection等典型攻击场景。近年来，研究界已建立起较为系统的攻击与防御分类体系，覆盖字符级混淆、语义扰动、多轮操控、跨语言迁移乃至多平台传播等多种机制。同时，对于对抗方法的多样化研究，包括基于模型自适应生成的自动红队测试，以及演化搜索等多样性优化手段，不断提升了虚拟场景中的评测能力。
然而，这些研究大多局限于静态用例与受控环境，实际社区中漏洞发现与优化的社会动力和传播链路，长期未被纳入正式安全评价框架。平台生态的异质性（如Reddit用于早期发现、Discord用于小群体协作、GitHub和Twitter用于代码汇聚与扩散），导致攻击的真实性能与数据集迭代总是严重滞后。同时，现有的评估体系重技术特性、轻社会行为，无力应对威胁生命周期的动态特征，对现实安全态势的指导性大幅弱化。
Motivation层面，论文直面了这样一个核心痛点：当前红队评估、自动化Jailbreak生成虽不断进步，始终难以抹平与社区侧威胁发现的认知鸿沟。社区发现的攻击手法具备更快的演进、更高的多样性和更强的实际适应力。如果不将这些现实动态纳入LLM安全治理体系，防线建设始终被动无法赢得先机。因此，PrompTrend着力搭建联通技术与社会维度的连续评估框架，填补时间、信息和数据多维的关键空白。
PrompTrend 系统
PrompTrend代表了一种通过持续监控和评估在线社区中出现的威胁来评估LLM漏洞的新方法。本节介绍了系统架构、多代理数据收集框架和PrompTrend漏洞评估框架 (PVAF)，这些共同实现了实时威胁情报和风险评估。
系统架构概述
PrompTrend实现了一个三阶段流水线架构，将原始社交媒体内容转化为可操作的漏洞情报。该系统在可扩展性、适应性和容错性原则上运行，每天处理数百万条帖子，同时保持高精度的漏洞识别。
如图3所示，该架构由三个集成阶段组成。第一阶段通过分布式代理实施自动化收集，这些代理持续监控多个平台上的漏洞讨论。这些代理采用自适应采样策略，根据历史发现率优先选择高价值来源，减少数据量73%，同时保持94%的显著讨论覆盖率。第二阶段通过时间上下文、社会信号和关键技术指标丰富过滤后的内容，为全面评估提供必要的上下文。第三阶段应用PVAF评分框架进行实时和批量评估，使关键威胁的即时响应和纵向分析成为可能。
图4详细展示了第二阶段的丰富过程，其中过滤后的漏洞数据通过四个维度（时间上下文、社会信号、技术指标和内容保留）进行并行处理，然后通过NLP基础的整合产生每个漏洞具有47个元数据字段的结构化数据集。这种丰富的数据集提供了第3阶段进行的复杂多维分析所需的上下文基础。
该系统的分布式性质确保了弹性和可扩展性。平台特定的代理独立运行，同时通过集中控制器协调，该控制器管理重复数据删除、优先级排队和资源分配。这种设计使PrompTrend能够实施三级过滤级联：从所有平台上每天处理的大约210万条帖子中，通过43,000条候选内容，最终筛选出2,800个独特的漏洞进行详细的PVAF评估。98%的过滤效率确保了计算可行性，同时保持了显著漏洞讨论的全面覆盖。
2. 多代理数据收集框架
数据收集框架部署了优化平台特定特征的专用代理，同时保持统一的输出标准。每个代理实现平台特定的收集策略，同时适应社区行为。
（1）代理架构与部署
PrompTrend使用分层代理结构，其中平台代理形成主要收集层。Reddit 代理监控高活动子版块，包括r/ChatGPT、r/PromptEngineering和r/LocalLLaMA，实施两阶段过滤，结合关键词匹配和 LLM 基础的相关性评估。GitHub代理处理包含LLM安全研究、漏洞数据集和概念验证实现的存储库，使用并行收集跨代码、问题和讨论。Discord代理在公共AI实验服务器上运行，具有权限感知监控，而Twitter/X代理通过双流收集跟踪安全研究人员和漏洞讨论。
图5说明了分层部署，其中每个代理实现平台特定的优化，这对于有效收集至关重要。Reddit代理优先考虑高参与率（评论/点赞>0.3）的线程，认识到社区验证通常表示重要发现。GitHub代理结合静态模式分析和语义代码评估，以识别嵌入在存储库中的安全漏洞。Discord代理根据技术活动水平进行频道优先级排序，而Twitter代理专注于对话线程而不是孤立的推文，以捕捉完整的漏洞讨论。
所有平台上的数据收集过程遵循统一的方法论框架，确保一致性，同时适应平台特定的调整。该框架从预定义的来源（子版块、存储库、Discord频道或Twitter账户）开始有针对性的内容收集，每个来源根据其与LLM安全讨论的历史相关性进行选择。收集过程在精心校准的参数内运行，包括动态演变的关键词词典，捕获新兴漏洞术语和过滤信号与噪声的预定相关性阈值。
在内容检索后，每个代理采用复杂的两阶段过滤机制。初始阶段应用关键词相关性评分，计算收集内容中安全相关术语的密度和上下文。只有超过预定相关性阈值的内容才能进入第二阶段，在此阶段，LLM基础的多维分析评估材料的多个安全维度。这种分析利用高级语言模型评估发现内容的技术相关性到LLM安全漏洞，并评估潜在的安全影响和漏洞存在。
LLM驱动的分析代表了我们方法中的关键创新，超越了简单的模式匹配，理解发现内容的语义上下文和含义。对于每条内容，系统准备全面的分析上下文，并提示专用语言模型评估不同方面：技术复杂性、安全相关性、潜在危害类别和实现可行性。这些个别评估然后通过加权组合函数合成，产生最终的相关性评分，确保只有满足严格质量标准的内容进入漏洞数据库。
这种统一而灵活的方法使PrompTrend能够在不同平台上保持漏洞识别的一致性，同时尊重每个在线社区的独特特征。框架的适应性使平台特定的实现能够优化内容收集策略、元数据提取方法和上下文分析方法，而不会损害整个系统的连贯性。结果是一个稳健的收集机制，完整地捕捉漏洞讨论的全谱，包括发现上下文的丰富元数据，这对于下游分析至关重要。
（2）跨平台协调与去重
跨平台协调组件是连接我们多样化代理网络的中枢神经系统，将孤立的监控转化为集成的漏洞情报网络。与以前专注于孤立平台的方法不同，我们的系统实施了三项关键机制来跟踪跨数字生态系统的漏洞。
系统通过语义指纹去重保持上下文，即使在不同平台上以不同方式表达，也能识别概念上等效的漏洞，同时保持完整的来源信息。这种方法可以区分独立发现和跨平台发布的漏洞，保留传统去重方法会丢失的关键传播上下文 。
跨平台传播分析构成了我们协调策略的第二支柱。系统通过时间标记跟踪漏洞讨论，分析发现起源和传播模式。通过分析平台特定的传输特征，我们识别加速漏洞传播的桥节点——使更针对性的监控成为可能。这一能力对于理解漏洞在技术社区和主流社区之间移动时如何演变至关重要。
协调系统还维护一个自适应词典，根据所有监控平台上的新兴模式进行演变。当一个代理发现新的越狱术语时，这种知识会传播到所有代理，增强系统范围的检测能力。漏洞评估进一步增强跨平台上下文，提供比任何单一平台分析更全面的潜在影响理解。
如图6所示，系统架构包括通过时间标记和平台特定传输特征跟踪漏洞传播的能力。系统设计为通过传播模式分析在未来部署中识别桥节点——加速漏洞跨平台传播的用户或社区。这种情报使关键影响点的目标监控和新兴威胁的早期检测成为可能，避免广泛采用。
如图7所示，系统架构包括通过时间标记和平台特定传输特征跟踪漏洞传播的能力。系统设计为通过传播模式分析在未来部署中识别桥节点——加速漏洞跨平台传播的用户或社区。这种情报使关键影响点的目标监控和新兴威胁的早期检测成为可能，避免广泛采用。
方法论
PrompTrend在Reddit、Discord、GitHub、Twitter/X及安全论坛等五大主流平台部署多代理采集体系，针对AI安全高频子社区（如r/ChatGPT、r/PromptEngineering）设定动态采集策略与过滤机制，自动采集并解析漏洞相关线索，实现了198条高可信、独创性强的社区攻击手法的系统提取。Discord以43%贡献成为最主要漏洞孵化平台，其次为Reddit（31%），GitHub侧重技术复现与工具化实现。
在内容采集环节，每个平台设立专用代理，并根据API接口、网页抓取等手段严格遵循平台政策和速率限制。主要采用两级过滤流程：第一步用127项涵盖主流与新兴安全术语的动态词表进行关键词过滤，第二步由LLM模型多维评估技术相关性和潜在危害（语义评分）。经语义查重和元数据处理后，最终形成涵盖43,000条候选、198条独特、可用的有效漏洞样本集，覆盖心理操纵、技术混淆、跨语言变体等多类别。
实验评测阶段，论文系统检验了9款市面主流LLM（含OpenAI和Anthropic两大阵营），通过198条漏洞×71种变换（情感操纵、语义混淆、编码转换、角色扮演、技术规范模拟、多语言等八大策略）交叉组合，理论测试126,414组，实际执行199,368次API调用，确保了实验结果的广泛性和系统性。每次输出根据BLOCKED（明确阻断）、FAIL（成功攻破）、NEUTRAL（部分响应但未明确突破）、ERROR（通信或模型故障）四类分层结果自动判别。评分和风险分层均以PVAF为核心，实验还通过手工部分复核（Cohen’s κ=0.76）和多安全专家间交叉验证，确保评分和判读的公正性与一致性。
研究严格遵循AI安全伦理规范与公开数据政策，对潜在高危漏洞进行匿名处理，并向厂商及时披露，整体实验获得伦理豁免许可。
结果
PrompTrend对我们数据集在九个商业语言模型上的评估揭示了一个复杂的安全部景，挑战了关于LLM防御的传统假设。通过使用71种变换策略进行全面测试，我们的分析揭示了关键漏洞、平台动态和模型特定弱点，这些发现为当前的安全关注和长期防御策略提供了信息。
整体漏洞图景
对众包漏洞的全面评估揭示了商业LLM之间漏洞率的显著差异，漏洞率相差近一个数量级。图11a显示，Claude4 Sonnet的漏洞率最高，为4.1% ($\\pm 0.3%$)，而GPT4.5的漏洞率最低，为0.6% ($\\pm 0.1%$)——相差七倍，这挑战了关于AI安全性统一进步的假设。
或许最令人担忧的是图11b揭示的时间演变：虽然OpenAI模型随着时间推移显示出一致的安全性改进（GPT-4o在2024年5月的1.9%改进到2025年2月的GPT-4.5的0.6%），Claude家族则表现出相反的模式。Claude的漏洞率从Haiku的0.9% 和Claude 3.5 Sonnet的1.3%显著增加到最新的Claude4模型的3.7-4.1%，表明在Claude家族中，最新模型的漏洞率比其前身更高，尽管这一观察仅限于我们的五个月研究期。
攻击结果的分布（表 1）揭示了当前LLM安全性主要存在于模糊地带。44.9%的所有尝试导致中性响应——既不是明确拒绝也不是完全合规——模型存在于灰色区域，这使安全评估变得复杂。这种现象在脆弱模型中尤为明显，如图11c所示，Claude 4 Sonnet 和Opus的中性响应率分别为59.0%和57.9%，而GPT-4.5的中性响应率为29.0%。
表 1：全面的攻击结果分布
图11c中的漏洞指数可见的高中性率与漏洞率之间的相关性表明，宽松的响应生成可能是完全越狱的前兆。漏洞率较高的模型表现出较不明确的安全边界，可能为对手提供更多通过迭代提示改进攻击的机会。图11a中的置信区间确认了这些差异具有统计意义，大多数模型对之间的置信区间不重叠。
统计分析确认了这些模式不是测试方差的产物。模型漏洞层次（图11a）显示了显著的分层（Friedman $\\chi^2=47.82$，$p<0.001$），成对McNemar检验确认了排名中所有相邻模型之间的显著差异（所有 在Bonferroni校正后）。Claude和OpenAI模型家族之间的显著差异（表1）表明，Claude平均失败率为2.5%，而OpenAI为1.3%（$\\chi^2=892.4$，$p<0.001$）。< p="">
这些发现挑战了新模型本质上提供更好安全性的假设。Claude和OpenAI模型的相反轨迹（图11b）表明，平衡能力和安全性的方法可能根本不同，这对高风险应用中的部署决策可能产生深远影响。
2. 变换策略有效性
对变换策略的全面评估直接为PVAF评分框架中的利用复杂度组件提供信息，因为这些技术代表了社区识别威胁绕过模型防御的主要机制。变换策略分析揭示了心理操纵技术显著优于技术混淆方法，不同模型家族的有效性差异显著。71种测试变换显示出由Cochran的Q检验验证的清晰层次模式（$Q=892.4$，$p<0.001$）。< p="">
表2：按类别划分的变换策略有效性
表2按类别总结变换有效性，揭示心理学方法作为主要攻击向量，情感操纵达到最高个体成功率。心理学和方法之间的对比在所有模型家族中都非常显著，尽管在详细分析中出现了模型特定的漏洞。
图12显示了完整的变换-模型漏洞矩阵，揭示了被聚合统计数据掩盖的关键模式。Claude4模型在心理学方法上表现出异常的脆弱性，尤其是角色扮演和情感操纵，而在技术攻击上保持相对抵抗力。这种漏洞模式在OpenAI模型中反转，后者在心理学防御上表现更强，但在特定技术弱点上表现出漏洞——最明显的是AzureGPT-4对Base64编码的独特易感性。
热图可视化揭示了三个不同的漏洞集群。Claude4 Sonnet 和Opus形成一个高漏洞集群，多个变换类别失败率超过5%，尤其是心理学方法。一个中等漏洞集群包括Claude 3.7 Sonnet和几个OpenAI模型，其特点是特定变换类型的易感性。高防御集群由Azure GPT-4.5组成，其整体失败率最低，在所有类别中表现出一致的抵抗力。
跨模型可转移性分析表明，成功的攻击中只有16.9%在多个模型家族中达到有意义的成功率 ($>$2%)，表明有效的越狱往往利用模型特定的特征而不是通用漏洞。高可转移性变换共享三个关键特征：利用共同的训练数据偏差、操纵基本的指令跟随机制和足够的复杂性以逃避模式匹配。
模型家族之间——甚至家族内部版本之间——的截然不同的漏洞特征挑战了通用越狱防御的假设。Claude家族中能力和安全性的反向关系表明，模型能力的提升可能无意中扩大攻击面。这些发现强调，全面的LLM安全需要模型特定的评估和定制的防御策略，而不是一刀切的解决方案。
3. 平台动态与漏洞起源
对评估漏洞的分析揭示了发现和有效性方面的显著平台特定模式（表3a）。Discord在数量（42.9%）和有效性（2.8%成功率，$p<0.01$）上占据主导地位，显著超过2.0%的总体平均成功率。这种优势与discord的实时协作环境加速攻击改进有关，特别是心理方法占discord来源漏洞的52%。< p="">
表3：按来源平台划分的漏洞有效性
平台有效性因目标模型家族而异（表4），揭示了关键的交互效应。Discord来源的漏洞对Claude模型的有效性是OpenAI模型的2.4倍（3.9%对1.6%，$p<0.001$），与Claude对心理学操纵的记录易感性一致。相反，GitHub的技术攻击显示出相反的有效性，对OpenAI模型的成功率为1.8%，而对Claude仅为 0.9%（$p=0.031$）。
表4：按模型家族划分的平台成功率
这些平台-模型交互（$\\chi^2=89.7$，$\\mathrm{df}=3$，$p<0.001$）表明，漏洞有效性不仅取决于发现来源，还取决于攻击方法与模型架构之间的对齐。Discord的心理攻击利用了Claude的对话训练，而GitHub的基于代码的方法更好地绕过了OpenAI的技术防御。Reddit在两个家族中保持中等有效性，与其多样化的攻击投资组合一致。尽管这些平台-模型交互具有统计显著性（$\\chi^2=89.7$，$\\mathrm{df}=3$，$p<0.001$），但效果大小较小（所有Cohen"s $\\mathrm{~h~<~} 0.2$），表明尽管模式一致且可靠，但差异的实际大小是适度的。
这些发现强调，有效的LLM安全性需要平台感知的监控和模型特定的防御。部署 Claude模型的组织应优先监控Discord，因为其成功率高达3.9%，而OpenAI部署面临 GitHub技术仓库带来的更大风险。这种平台-模型特定的漏洞有效性表明，保护不同LLM架构的通用安全方法是不够的。
4. PVAF 框架性能与风险分层
PrompTrend漏洞评估框架在其0-100分范围内展示了稳健的风险分层能力。对22,152次测试执行的分析揭示了明确的风险进展，验证了该框架在漏洞评估中的预测效用。
表5显示了风险类别的实证验证结果。该框架成功地区分了不同级别的漏洞风险，中等风险漏洞（PVAF 34-66）的成功率比低风险漏洞（PVAF 0-33）高出50%，分别为16.90%和11.27%（$\\chi^2=147.3$，$p<0.001$）。我们语料库中没有高风险漏洞（pvaf>66）的事实表明，真正严重的威胁在公共论坛中仍然罕见，验证了框架的区分范围和众包漏洞的总体中等性质。
表5：PVAF 风险分层与实证验证
图13可视化了PVAF分数的分布及其相应的成功率。直方图显示，社区来源的漏洞主要集中在0-47范围内，峰值密度出现在PVAF 35-39之间。叠加的成功率线显示了从低到中等风险类别的一般增加趋势，证实了框架区分威胁级别的能力。值得注意的是，PVAF 48-100的空范围说明了框架为未来可能出现的更严重漏洞保留的评分能力。
图13：PVAF 分数分布与成功率
PVAF分数与越狱成功率之间的相关性（$r=0.318$，$p<0.001$）在观察范围内确认了正相关。线性回归显示，PVAF每增加10分，越狱概率增加2.8%（$\\beta=0.028$，95% CI: 0.024-0.032），支持框架在低到中等风险范围内的校准准确性。图14提供了通过分类性能指标的额外验证。面板 (a) 显示了二元越狱分类的接收者操作特征 (ROC) 曲线，曲线下面积 (AUC) 为0.72。这表明良好的区分能力，显著优于随机分类（AUC=0.50）。面板 (b) 显示了预测与观察风险在 PVAF 十分位数之间的校准图。与对角线参考线的紧密对齐直到PVAF 50表明在观察的漏洞范围内具有良好的校准，仅在最高观察分数中样本量减少时出现轻微偏差。
图14：风险分类性能指标
混淆矩阵分析（未显示）显示，低风险与中等风险分类的总体准确率为78%，其中低风险漏洞的正确识别率为82.0%，中等风险漏洞的正确识别率为75.8%。这种在各类别中的平衡性能表明，PVAF 阈值有效地将漏洞分为操作上有意义的风险等级。
平台特定分析确认了漏洞来源的持续风险分层。Discord来源的漏洞平均PVAF为31.2，Reddit 为24.7，GitHub 为19.3，但在每个平台内，更高的PVAF分数与增加的成功率相关（所有 $p<0.01$）。这种跨不同发现环境的一致性验证了框架的通用性，并表明 PVAF 评分捕捉了与发现源无关的基本漏洞特征。
分布分析显示，社区来源的漏洞平均PVAF为23.7（$\\sigma=11.2$），99.7%的分数低于50。这种集中模式与预期一致：复杂、高影响的漏洞可能保留在私人研究或犯罪论坛中，而不是公共社区讨论中。因此，框架在保留显著评分能力的同时，有效地将当前威胁分层。
PVAF框架实现了其主要目标：为漏洞提供可操作的风险分层。虽然当前数据未测试完整的0-100范围，但表5和图13中显示的评分与成功率之间的单调关系，以及图14中显示的强分类性能，支持框架在操作性LLM部署中的安全优先级和资源分配效用。
论文结论
本文开创性提出PrompTrend系统，实现对大型语言模型在真实社区环境中野生漏洞的连续采集、分层风险评估与传播机制揭示。大规模社区实证验证了三大重要事实：其一，模型能力提升与安全性提升往往相悖，Claude 4作为新一代高性能LLM反而出现脆弱性逆转；其二，心理和社会工程类攻击对LLM形成主导威胁，远超传统技术混淆手法；其三，平台生态（如Discord）在攻防演进中扮演极为关键的漏洞孵化和传播节点。PrompTrend的多维PVAF评分突破现有ASR等局限，真正实现了风险排序、适应性调参和纵向演进监控，为安全实务和攻防前瞻决策提供了全新工具。
论文同样指出，当前仅有的社区公开数据主要集中低-中风险区，极高危（如国家级APT）攻击未能系统采集；横断面实证尚待后续纵向全周期追踪补充。未来研究需关注高危闭环社区、非英语及跨平台深度耦合情报，以及LLM行为心理学在对抗安全中的机制作用。技术防线唯有融入社会、持续演进，方可应对千变万化的AI安全新生态。
声明：本文来自安全极客，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
