“捕鱼”可能不是捕鱼，“溜冰”也可能不是运动。在黑灰产生态中，地下产业用黑话隐藏真实业务，如将“博彩”写成“菠菜”、“bo/彩”甚至“卜余”。随着平台审核升级，这些黑话也越来越隐蔽，从简单的同音替换演变为拼音混写、符号拆分、视觉混淆等多策略组合。真实世界中的黑话远比实验室合成的样本更复杂，本文系统性刻画了这种“真实世界对抗性黑话”的特征，并提出了相应的检测方案。
原文标题： Breaking Free from Ivory Tower: Evaluating and Enhancing Real-world Chinese Underground Adversarial Jargon Detection
原文作者： Zhifan Jiang, Mingxuan Liu, Yue Qin, Baojun Liu
原文链接： https://doi.org/10.1109/SP63933.2026.00233
发表会议： 2026 IEEE Symposium on Security and Privacy (S&P 2026)
1、真实黑话的威胁与数据基础
在黑灰产生态中，地下产业黑话是一类被广泛使用的隐蔽表达，常见于非法赌博、色情引流、毒品交易、诈骗推广等场景。它们通过暗语、代称和变体词隐藏真实业务含义，帮助黑灰产群体绕过主流平台的文本内容审核。
更具挑战的是，现实中的攻击者还会持续对这些黑话进行对抗性变形。他们可能将“博彩”替换为发音相近的“菠菜”，将“捕鱼”改写为“卜余”，也可能结合拼音混写、符号插入、Emoji替换、字符拆分、视觉混淆和语义迁移等方式，构造出更加隐蔽的表达形式。这类变形既保留了面向圈内人的可理解性，又显著破坏了检测模型赖以判断的词形、语义和上下文线索。
图1：黑话与对抗性黑话示例
过去，许多对抗文本防御方法主要依赖算法生成样本进行训练，默认攻击方式有限、扰动幅度可控。但真实世界的地下对抗黑话并不遵循这些“实验室假设”：它们往往由人工精心设计，混合多种扰动策略，不受固定扰动预算限制，并深度依赖圈内语义和领域知识。
为研究真实世界中的地下对抗黑话，本文与国内安全公司合作，构建了大规模真实世界数据集。研究聚焦六类主要地下业务场景：赌博、色情、毒品、诈骗、危险品和非法推广。研究团队收集了70,000条用户举报并经过初步人工核验的垃圾短信，并从公开黑话手册、安全报告和互联网公开内容中整理黑话种子词，构建出高质量的中文地下黑话词典。最终形成的数据集包含1,020个黑话和8,576个去重后的真实对抗变体，覆盖10种主要扰动类型。
2、真实黑话的三重特征
将真实样本与算法生成的对抗样本进行对比后，本文发现真实黑话具有三个显著特征。
第一，真实黑话的扰动强度远超实验室样本。 算法生成样本通常只做轻量级替换，例如将“博彩”改成“菠菜”。但真实黑灰产会同时叠加多种混淆手段，例如把“博彩”写成“bo/彩”，同时混入拼音、符号和视觉噪声；甚至会将“枪支”替换为“狗”这类语义距离较远、但圈内人能够理解的暗语。这样的表达不只是“换个字”，而是在有意切断文本表面形式与非法含义之间的联系。
第二，真实黑话的扰动形态更加丰富多样。 论文从真实数据中总结出10类主要扰动方式，包括同音替换、拼音混写、英文替换、形近字替换、字符拆分、同义替换、语义转移、符号插入、Emoji替换和序列重组。相比之下，传统算法生成方法往往只会覆盖少数几类规则化扰动，难以模拟真实地下产业从业者灵活组合、多策略混用的行为模式。
第三，真实黑话会造成更严重的结构破坏。 地下产业从业者可能通过字符交换、不规则符号插入、碎片化组合和顺序重排破坏文本结构。例如，“斗地主，龙虎”在算法样本中可能被改成“抖地主，笼虎”，仍然保留较清晰的词语结构；但在真实场景中，它可能变成“斗｜龙地｜主琥｜”，使词边界和语义结构都变得支离破碎。
这种高强度、多形态、结构破碎的真实扰动，会直接导致两个问题：可读性退化和分词崩溃。实验表明，真实黑话语料的困惑度和语法错误数明显高于算法生成语料；同时，主流中文分词工具在真实黑话数据集上表现很差，即使最好的分词器F1分数也不足46%，远低于其在标准语料数据集上的表现。
图2：对抗性黑话扰动策略分类
3、大模型能理解真实地下黑话吗？
大语言模型具备较强的上下文理解、语义推理和跨领域泛化能力，因此常被认为有望应对复杂的文本安全问题。为验证其在真实地下对抗黑话场景中的能力边界，论文评估了10个主流大语言模型在真实中文地下对抗黑话上的表现，包括GPT-4o、GPT-3.5-Turbo、DeepSeek-R1、DeepSeek-V3、GLM-4-Plus、Doubao、Claude-Sonnet-4、Llama-3.1-70B和ERNIE-4.5等。
评估围绕三个任务展开：一是识别文本中是否存在被扰动的地下黑话；二是将这些黑话恢复为规范形式；三是进一步判断文本是否包含赌博、诈骗、毒品等地下业务意图。
结果显示，即使是先进大语言模型，也难以完全理解真实对抗黑话。
例如，GPT-4o在黑话检测、黑话恢复和非法语义识别上的准确率分别为88.16%、62.74%和76.05%；而GPT-3.5-Turbo和Llama-3.1-70B等模型的恢复成功率甚至低于20%。这表明，真实对抗黑话不仅能够绕过传统检测器，也进一步暴露了现有大语言模型在隐蔽的对抗黑话理解方面的能力边界。
此外，研究还发现不同扰动方式对模型的影响也并不相同。其中，序列重组最具破坏性，几乎会让所有模型在检测和恢复上失效；符号插入会破坏词语边界，使模型难以识别原始黑话；同义替换则因为表面表达较为自然，更容易让模型误判为正常文本。Few-shot提示、多轮恢复和模型路由等常见增强方法虽然可以带来一定提升，但仍无法彻底解决问题。
图3：不同大模型在真实对抗性黑话理解任务上的性能表现
4、JADE：面向真实对抗黑话的检测框架
针对真实对抗黑话这类现实挑战，本文提出JADE，一个面向中文地下对抗黑话的端到端检测与恢复框架。JADE的核心思想是：将真实黑话扰动模式组织成分类体系，并结合外部知识检索和内部参数高效微调，提升大语言模型对隐蔽黑话的理解能力。
JADE主要包括三个关键模块。
黑话分类体系构建与扩展。 本文按照赌博、色情、毒品、诈骗、危险品和非法推广六大领域组织黑话知识，将规范黑话、对抗变体和扰动类型连接起来，形成“领域—规范词—对抗变体”的层次结构。为了缓解不同领域样本分布不均的问题，JADE还利用GPT-4o从真实样本中归纳扰动规律，并针对低资源领域和难检测扰动类型进行数据增强。
外部知识检索。 当输入文本中出现疑似对抗黑话时，JADE会利用中文的字符、拼音、字形和语义信息，从知识库中检索相似样例。这样，大语言模型在判断时不仅依赖自身参数，还能参考真实黑话案例，包括某个变体可能对应的规范词、出现过的上下文以及扰动方式，从而提高识别和恢复准确率。
内部参数高效适配。 JADE使用LoRA对指令微调模型进行轻量化适配，让模型学习“对抗黑话”到“规范黑话”的映射关系。相比全量微调，LoRA训练成本更低、更新更灵活，也更适合应对地下黑话不断演化的现实场景。
在最终推理阶段，JADE采用三阶段流程：第一步，将文本中的对抗黑话恢复为规范形式；第二步，定位原文中的对抗片段，并与恢复结果进行语义对齐；第三步，基于恢复后的文本判断其是否包含地下业务意图。通过这一流程，JADE不仅能判断文本是否存在风险，还能解释风险来自哪些黑话表达及其真实含义。
图4: JADE 面向对抗性黑话检测的整体框架
5、JADE的检测效果与泛化能力
实验结果表明，JADE显著优于商业大语言模型和普通微调模型。在真实黑话数据集上，JADE实现了98.59%的黑话检测准确率、95.91%的黑话恢复准确率和97.99%的非法内容检测准确率。这意味着，JADE不仅能更准确地发现文本中的对抗黑话，也能更好地还原其真实含义，并进一步判断文本是否涉及赌博、诈骗、毒品、色情引流等地下业务。
与最佳基线方法相比，JADE在检测和恢复任务上都有明显提升。消融实验也表明，JADE的性能提升来自多个模块的协同作用：外部知识检索为模型提供真实样例参考，内部参数适配帮助模型学习黑话变形规律，而分类体系引导的数据增强进一步提升了模型对长尾领域和复杂扰动类型的覆盖能力。
此外，JADE还展现出较好的泛化能力。在新的真实短信数据上，JADE仍保持97.90%的检测率和94.95%的恢复率；在有害文本检测和诈骗检测任务上，也分别取得0.9325和0.9433的F1分数。这说明JADE并不只是针对某个数据集“刷分”，而是能够迁移到其他中文对抗文本检测场景。
6、总结与展望
论文围绕真实世界中文地下对抗黑话展开系统研究，构建了大规模标注数据集，并揭示了真实黑话与算法生成样本之间的关键差异：真实黑话扰动更强、形态更多、结构更碎，不仅会降低文本可读性、破坏中文分词，还会显著削弱现有大语言模型的检测和恢复能力。
为应对这一挑战，本文提出JADE检测框架，将真实黑话扰动模式组织为分类体系，并结合数据增强、外部知识检索和LoRA参数高效适配，实现对地下对抗黑话的识别、恢复与非法内容判定。实验结果表明，JADE能够在真实场景中更准确地识别隐蔽黑话，并具备较好的泛化能力。
这项工作不仅为黑灰产内容治理提供了新的数据集和技术方案，也进一步说明：真实世界中的对抗文本远比实验室样本更加复杂。面对不断演化的地下黑话和规避手段，安全社区需要更多关注真实场景中的攻击行为，并构建能够持续学习、动态更新和跨场景迁移的内容安全防御体系。
数据集公开
本文构建的真实黑话数据集已部分公开，研究人员可通过以下方式获取：
• 访问项目主页获取标注样本和扰动分类体系：https://github.com/jzf1231/JADE
• 完整数据集因涉及真实黑灰产内容，需向以下邮件提交研究用途申请后获取：jiangzf1231@zju.edu.cn，请同时抄送lbj@tsinghua.edu.cn，liumx@zgclab.edu.cn
作者简介
姜知繁，浙江大学工程师学院硕士研究生，主要研究方向为地下产业检测治理与网络测量。以第一作者身份在国际顶级会议 IEEE S&P 发表论文1篇，已累计获得多个 CNVD 漏洞编号。
刘明烜，中关村实验室副研究员。科研方向聚焦于数据驱动的网络空间安全研究，具体包括人工智能安全、网络犯罪检测与网络测量。在CCS、NDSS、USENIX Security、SP、TDSC、ACSAC、RAID、ESORIS等国际网络及安全领域国际顶级会议和期刊上发表20余篇论文（含网络空间安全四大领域顶会论文10余篇），曾获得NDSS 26的最佳论文奖（Distinguished Paper）以及Ethics22的最佳学生论文奖（Best Student Paper），研究成果推进一项IETF标准草案，研究成果取得10余个CNVD、CNNVD、CVE等高危漏洞编号，相关研究成果均落地产业界，获得百度、阿里、腾讯、奇安信等知名企业的应用致谢。
参考文献
[1] Su, Hui, et al. “Rocbert: Robust chinese bert with multimodal contrastive pretraining.” Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2022.
[2] Xiao, Yunze, et al. “ToxiCloakCN: Evaluating robustness of offensive language detection in Chinese with cloaking perturbations.” Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024.
[3] Tang, Min, et al. “CHIFRAUD: A Long-term Web Text Dataset for Chinese Fraud Detection.” Proceedings of the 31st International Conference on Computational Linguistics. 2025.
文案：刘明烜，姜知繁
排版：周航
审核：张一铭
声明：本文来自NISL实验室，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
