文 | 北京科技创新中心研究基地副主任、北京航空航天大学法学院副教授 赵精武；北京科技创新中心研究基地 李书雁
人工智能的发展改变了信息的传播和交流方式，在提升信息生成和传播效率的同时，也催生了新型网络暴力形态。在这一背景下，网络暴力信息在持续传播和群体互动中危害不断放大，侵蚀了网络空间的正常交流秩序，成为网络空间治理中需要高度关注的问题。
网络服务提供者的治理责任并非因网络暴力治理而新设。在长期实践中，平台已承担用户身份核验、内容违法性审查、配合监管、信息处置等多项义务。在网络暴力治理领域，多主体协同共治的格局已经形成，平台的一般性责任同样构成网络暴力治理的基础。《中华人民共和国反网络暴力法（征求意见稿）》（以下简称“征求意见稿”）在既有制度基础上，进一步细化了网络服务提供者在网络暴力治理中的相关义务，在风险监测、识别、处置以及受害人保护等方面作出了具体规定，强化了其风险预防与控制责任。
一、
人工智能时代网络暴力的新特征
随着人工智能技术的发展，网络暴力在实施成本、传播效率以及侵害方式等方面呈现新特征。
其一，在生成环节，网络暴力信息得以批量化生成和传播。大模型的发展和普及，使批量生成攻击性文本、虚假信息等行为变得十分容易，网络暴力的实施成本随之降低。传统网络暴力是“利用网络平台向特定对象发起的群体性的、非理性的、大规模的、持续性的舆论攻击，以造成对被攻击对象人身权益损害”，其主要依赖个体或群体主动制作、发布和传播攻击性内容。然而，在人工智能技术的介入下，网络暴力行为人可以在短时间内生成大量具有攻击性或误导性的内容。此类内容经过技术加工更具迷惑性，往往夹杂虚假信息，更容易引发误解和情绪扩散，损害范围更广。这种低门槛、低成本的网络暴力实施方式，使依赖用户举报或事后处理的治理模式难以及时应对。
征求意见稿第十三条规定，网络服务提供者发现存在网络暴力风险的，不得利用算法推荐等技术推送相关信息。算法在网络信息服务中具有双重作用：一方面，其可以通过技术识别和筛选辅助网络暴力的治理；另一方面，该技术也可能会增加网络暴力的发生风险。算法技术在网络服务中的运行主要以收集到的用户的数据为核心依据，据此个性化推送内容和不断调整推送内容。相关平台借助不同类型的算法技术实现了内容的个性化分发。网络服务提供者也可能基于盈利、引流等商业考量，对某类信息扩大推送，而忽视潜在网络暴力发生的可能性。
其二，在传播环节，网络暴力信息受算法推荐机制影响，其传播范围持续扩大。平台对于信息的传播并非被动的载体，而是在很大程度上参与了信息的传播和影响力的提升。平台会根据用户兴趣画像对点击率、浏览量上升的高关注度、高互动的相关内容进行多次叠加推荐，在一定程度上可能放大网络暴力影响的范围，引发更持续性、更大规模的舆论压力，加剧侵害。因此，算法是否被合理运用，也应成为网络服务提供者是否履行治理责任的重要因素。
其三，在损害环节，网络暴力信息所附带的虚假信息更加难以辨别。实践中，人工智能生成图片、视频等内容的技术不断成熟，生成内容的逼真程度持续提高。区别于传统网络暴力主要表现为用户自主生产的信息，在人工智能时代，行为人还可以批量制作虚假影像和伪造内容，对被害人实施网络暴力。因此，平台不仅需要防范表达中的攻击性内容，还应当防范人工智能生成的相关具有混淆性的虚假内容，这使得网络暴力行为中所治理的对象进一步复杂化。
二、
人工智能时代平台网络暴力治理义务内容的拓展
人工智能不仅改变了网络信息的生产和传播，也进一步影响了网络信息服务提供者参与网络治理的方式。征求意见稿在既有网络暴力治理规定的监测预警和处置制度基础上，细化了人工智能风险防范、受害者保护和责任追究规则，推动平台治理从以事后处置为主、事前义务相对笼统的状态，向风险预防和全流程干预发展。同时，平台责任的强化也带来了治理边界方面的新问题。
（一）平台义务内容的整体性延伸
在网络暴力治理领域，传统网络服务提供者的义务主要集中在违法信息的处置、对用户的管理以及侵害发生后的及时响应。在“源头防范、防控结合、标本兼治、协同共治”的网络暴力治理要求指引下，治理重心正在逐步从事后处置向事前风险防控转变。现行《网络暴力信息治理规定》已经要求平台建立监测预警和风险处置机制，强化对网络暴力风险的早期识别。征求意见稿则提升了相关义务的规范层级，拓宽平台的治理对象范围，完善各项制度之间的责任衔接，推动平台落实全流程的治理职责。当前，网络暴力行为具有传播速度极快，且参与主体呈现以“水军”等为代表的群体化、组织化、产业化特征。当网络暴力规模化传播之后，仅靠事后删除等措施往往难以消除影响，因此，有必要将网络暴力治理的起点前置。
在智能经济时代，平台基于用户画像和算法推荐机制管控信息传播和用户接收范围，已经成为较为普遍的商业运营模式。平台掌握海量用户数据并以此开展信息处理活动，其借助算法技术具备干预信息分发、管控内容传播的能力，相较于行政监管部门的外部治理，平台在实践层面更有条件在自身生态内识别、干预网络暴力风险。
此外，征求意见稿第二章在原有平台建立网络暴力预警模型的法定义务基础上，进一步要求平台构建网络暴力特征库与样本库，强制性要求建设人工智能技术与人工审核相结合的协同监测识别机制，推动对网络暴力行为的监测、识别、干预工作常态化运行。并且，平台还应当依据风险等级差异，分级采取风险提示、限制内容传播、账号处置管理等措施。这种义务内容调整不能简单理解为对干预时间的调整，而应解释为形成覆盖风险预防、发现、传播控制和损害救济的全流程责任体系。
当然，这一转变也对网络服务提供者提出了更高的要求，平台应当在某种行为的动态形成过程中判断是否可能演变为网络暴力并采取相应措施。但在具体场景中，正常表达与网络暴力信息的区分和识别仍可能存在困难。例如，征求意见稿第五十九条规定“依法通过网络检举、揭发他人违法犯罪，或者实施舆论监督的，不适用本法”。这类情形提高了风险识别的难度，也增加了对正常表达和网络暴力进行区分的复杂性。此外，在征求意见稿中第十三条第一款要求网络服务提供者利用人工智能、大数据等技术手段加强监测、识别和预警，意味着平台需要投入更多的资源开展内容管理。但人工智能技术尚不能完全准确识别网络暴力风险，平台仍然需要结合人工审核作出判断。
（二）平台义务履行方式的调整：事前风险预防
网络服务提供者的义务，既包括通知后采取必要措施的义务，也负有事前的资质核验、对内容的一般性审查等知道或应当知道侵权之时主动采取必要措施的义务。但这些规范总体而言仍较多关注事后的处置和信息内容本身，对于信息在传播过程中可能产生的风险关注相对笼统。
网络暴力事件的发生并非单纯由信息本身造成，而是在群体非理性参与下，在持续的信息传播和互动中逐步形成。因此，平台治理的对象也不应局限于已经达到违法程度的信息。部分表达单独来看可能尚未达到违法标准，但在特定语境和集中传播中可能呈现出明显侵害指向，持续传播后则可能演变为网络暴力。平台由此需要关注的不仅是信息是否违法，还包括信息是否具有侵害风险。在这种情境下，停留在形式层面的消极义务并不能保障用户的合法权益，难以有效应对这种具有持续性、系统性损害的网络暴力行为。此外，网络服务提供者作为商业性质的平台，其流量导向的运营逻辑也会在很大程度上影响信息的传播。在部分情况下，具有争议性和攻击性的内容更容易获得关注和流量，因此，平台若忽视社会责任，就可能放大、激化网络暴力。
征求意见稿在禁止平台在重点位置展示网络暴力信息的基础上，增加了新的义务，即平台对相关信息进行常态化监测的义务、不得利用算法技术为有风险的内容进行推流的义务，并要求平台对于存在暴力风险的信息实施限制推送、删除内容、关闭账号等处置措施。这些规定旨在强调网络服务提供者对网络暴力治理的参与，使其治理对象拓展至信息传播过程中可能形成的网络暴力风险。在此规定下，平台的审查义务向实质的风险治理持续转变，平台的事前注意义务重点由关注用户发布内容的合法合规性，进一步转向对信息传播过程中是否具有风险进行判断并采取相关措施。同时，这一制度设计有助于约束平台因追求流量而放任攻击性内容传播的行为。
需注意的是，这种转变也对网络服务提供者提出了新的挑战。一方面，信息是否违法需要结合信息的传播、互动和背景情况进行判断，这相应增加了风险识别的难度。另一方面，平台治理范围的扩张意味着平台拥有更强的对内容和账号的控制能力。因此，在扩大权限的同时，也要防止治理范围过大可能带来对用户正常信息和表达的不当限制，或是因识别偏差，将正常意见表达和网络暴力相混淆。
（三）平台义务履行方式的创新：人工智能工具介入
人工智能算法技术既可以作为生成网络暴力内容的工具，也可以作为治理网络暴力的技术手段，其双重作用要求网络服务提供者对智能技术所生成内容予以管理的同时，积极提高运用人工智能技术对网络暴力进行治理的能力。征求意见稿第十三条拟规定平台应当具备防范治理义务、信息溯源和风险报告义务，要求平台在内容生成环节落实《人工智能生成合成内容标识办法》合规要求、信息分发环节要求健全信息溯源机制。同时，要求平台利用人工智能、大数据等提高管理效率，加强监测、识别和预警，并根据风险程度采取相应处置措施，使技术手段成为履行平台义务的重要辅助方式。
但是，人工智能技术的介入并不意味着平台可以完全依赖技术，其局限性也应当被注意。一方面，相关模型的识别效果不仅受制于模型能力本身，而且高度受语境因素影响，而网络暴力往往具有复杂的语境或极强的情境性，例如，隐喻、谐音等攻击性表达可能难以被准确识别，导致出现识别不清或者判断错误的问题。另一方面，网络暴力还涉及传播的效果以及行为影响等，单纯依赖人工智能的机械化、标准化的技术判断，难以适配复杂的网络暴力治理场景。
三、
人工智能时代平台网络暴力治理义务的边界认定
征求意见稿强化了网络服务提供者在网络暴力治理中的责任，但是网络服务提供者的基本属性并未因此而完全改变，网络服务提供者的责任承担仍然需要限定在合理范围内。因此，应当进一步关注并分析平台在具体履行注意义务过程中值得注意的问题。
（一）平台治理义务的履行边界
征求意见稿中通过设置平台的相关义务，对平台参与网络暴力治理作出专项规定，使其成为多主体协同共治体系中的关键一环。在此规定下，一方面，网络服务提供者需要在网络暴力风险的形成过程中发挥更积极、更主动的作用。对于有网络暴力风险的内容，应当及时按照法律规定采取相应的措施。另一方面，当网络暴力行为已经发生或者在传播中产生风险，应当及时采取限制传播、删除相关信息等措施，防止损害进一步扩大，并为用户的依法维权提供便利。
但是，平台治理责任强化也应当考虑网络服务提供者的主体责任限度，平台应当承担与其服务类型、控制能力和风险相适应的主体责任，同时依法履行配合监管、协助取证等义务。网络服务提供者虽然掌握大量的用户相关数据，并通过技术机制影响信息传播，尽管其不能控制网络暴力信息的直接生产，也无法完全控制用户表达，但可以在产品设计、发布提示、内容分发和账号管理等环节实施防范治理。同时，网络服务提供者作为市场主体，不具备行政机关的监管和执法职能，治理权限和治理范围均有法定边界。若平台责任过大，则可能会弱化网络暴力实施者作为直接侵权人的责任承担，不利于合理划分侵权责任，同时也不利于数字平台产业发展。
综上所述，网络服务提供者义务的具体范围应当进一步明确，建立相对明确的标准，以平台是否已经合理履行监测、识别和处置义务作为判断责任承担的依据，不能以网络暴力结果的发生即认定平台治理的失效。通过明确责任范围，既能够避免因平台责任过轻导致治理效果不足，也能够防止因网络暴力结果发生而简单认定平台承担责任，实现平台治理责任与各方责任之间的合理划分。
（二）人工介入治理的程度边界
征求意见稿要求网络服务提供者利用人工智能、大数据等技术设立与人工审核相结合的监测识别机制，构建人机协同的复合治理模式。人工智能技术的运用可以提高平台的工作效率，有助于平台发现风险信息。但是，平台不得以智能技术完全代替人工判断，不得以智能识别结果作为最终处置依据。同时，技术应用本身也不能替代平台责任的承担，平台选择利用人工智能开展监管，也意味着其应对技术识别结果进行合理审查，不能仅以算法识别错误作为完全免责的理由。因此，在利用人工智能开展网络暴力治理的过程中，应当关注人工审核的必要作用，确保处置措施符合合理注意义务要求。
在此机制下，应当明确人工智能与人工审核之间的配合。在风险识别阶段，平台可以利用人工智能技术对海量信息进行初步筛查，提高风险识别的效率，对于高风险、语境判断复杂或拟采取重大限制措施以及用户申诉的情形，应当设置相适应的人工复核机制。此外，为保护用户人格权益，在人工智能识别预警后、人工审核作出最终处置结论的间隔周期内，平台应当采取临时性保护措施管控风险，防止损害扩大。
（三）用户权益保障的平衡边界
征求意见稿中将平台在网络暴力下的治理责任予以强化，同时涉及与用户合法权益之间的平衡。平台限制传播、删除信息、管理账号等措施，可能会对用户正常的表达和活动产生影响。因此，在强化平台治理的同时，还需要进一步规范处置程序以保障用户的合法权益。
首先，平台治理的相关规则应当公开透明，涉及网络暴力监测、处置等规则和措施，应当通过用户服务协议和使用说明等方式向用户予以明示。其次，平台依据管理规则对用户发布的内容采取相应措施时，应当明确说明具体理由，告知必要的申诉渠道，方便用户提出异议并及时予以回应。尤其是在人工智能辅助判断情况下，应当避免因算法误判导致用户无法正常表达或者使用服务。最后，当网络暴力行为发生后，平台还应为受害人的维权提供必要的支持，通过依法保存相关数据、提供便捷取证渠道等，降低受害者维权的难度和成本。
此外，平台利用用户数据开展网络暴力风险识别，也可能会不当扩大个人信息处理范围。为完成内容筛查和风险研判，平台需要调取用户的浏览记录、评论内容、账号行为等多类数据，其中不乏敏感个人信息。因此，平台开展相关治理活动，应当严格遵守个人信息保护的相关要求，明确数据收集、使用的目的、方式和范围，划定个人信息的访问权限与保存期限。涉及敏感个人信息、未成年人信息以及跨平台共享的信息，应当依法取得用户知情同意，落实最小必要原则，不得以网络暴力治理为由过度处理个人信息，并防范治理过程中衍生个人信息泄露的风险。
四、
结 语
人工智能技术正深刻改变网络空间内容的生产、传播方式和互动形态，也使网络暴力呈现技术化、复杂化和快速化的新风险，使以事后救济为主的被动治理面临新挑战。因此，网络暴力治理应更加注重全过程防范。征求意见稿在既有规范基础上，细化了网络服务提供者在风险监测、识别、处置和受害人保护等方面的责任，推动平台治理向风险预防和全过程治理发展。未来，网络暴力治理应当在强化风险预防的同时坚持多主体协同，在提升治理效果与保护用户合法权益之间实现平衡，逐步构建技术赋能和法治保障相结合的网络暴力治理体系。
（本文刊登于《中国信息安全》杂志2026年第9期）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
