人民网
人民网>>经济·科技

完善大语言模型治理体系 守护数智时代网络安全

中核武汉核电运行技术股份有限公司 朱洪文 高汉军 冯 蔚
2025年06月05日14:01 | 来源:人民网-新安全
小字号

原标题:守护数智时代网络安全

当前,以ChatGPT、DeepSeek为代表的大语言模型(LLM)技术正加速重构全球产业格局。截至2025年,我国生成式人工智能大模型备案数量已突破300个,LLM技术已深度嵌入企业核心业务场景。然而,技术红利背后潜藏着网络安全范式变革——传统基于规则和特征的防护体系,正面临人工智能赋能的复合型风险挑战。大语言模型应用使企业网络安全威胁呈现三大跃迁:其一,攻击维度升级,深度伪造语音、人工智能驱动的钓鱼邮件等新型社会工程攻击,突破传统网络边界防御逻辑;其二,数据风险泛化,LLM训练数据中潜藏的敏感信息可能通过逆向工程泄露;其三,供应链威胁加剧,LLM技术栈深度依赖开源框架和预训练模型库,第三方API接口和模型权重中的隐蔽后门正成为关键基础设施的安全盲区。

随着大语言模型在各行业深度应用,其网络安全风险治理已成为数字化转型过程中的关键议题。相较于传统网络安全风险,LLM特有的算法黑箱性、数据关联性和技术依赖性特征,使得其风险治理呈现高度复杂性与动态演化特点。面对大语言模型带来的新兴风险,企业亟须构建系统化应对策略。特别是作为关键信息基础设施运营主体的国有企业,建立健全大语言模型网络安全风险识别与治理机制,既是保障业务安全的现实需求,也是保障国有资产安全的必然选择。

中核武汉核电运行技术股份有限公司“华龙一号”全范围模拟机。

中核武汉核电运行技术股份有限公司“华龙一号”全范围模拟机。

大语言模型应用带来的新兴网络安全风险

技术内生性风险在于数据泄露与模型失控。大语言模型的技术架构特性具有多重安全隐患。首先,模型训练依赖海量数据导致敏感信息泄露风险增加。这种“训练数据提取攻击”在企业私有化部署场景中尤为危险,因为训练数据往往包含商业机密和用户隐私信息。其次,模型接口安全构成另一重威胁。攻击者或利用API令牌漏洞获取部分用户模型访问权限,暴露LLM服务架构中的安全断层。更为严峻的是模型本身的“黑箱”特性导致其行为不可预测。在自动化运维中,模型不确定性可能导致生成未授权的数据访问命令,若企业将此类输出用于调整防火墙策略或调用内部API,就可能触发权限提升或数据泄露风险。

业务场景化风险在于智能化转型中的安全塌陷。在企业数字化转型实践中,大模型技术与业务场景的深度融合催生了多重新型攻击面。首先,在客服系统中,“越狱”攻击正在威胁企业数据安全。在客服等交互场景中,用户可通过特定提示词序列诱导模型泄露系统指令或执行未授权操作,这种威胁正在持续进化,有学者提出的“双意图逃逸”攻击在多款模型上实现高隐蔽性越狱。其次,在决策支持系统中,大语言模型的生成不可控性与对抗性样本并存。有研究表明L-AutoDA方法能在不知模型内部概率分布的条件下快速构造有效扰动,提升在图像与文本决策任务中的攻击成功率。最后,攻击者可通过“链式提示注入”植入恶意指令,诱导模型执行多步未授权操作。

治理结构性风险在于制度滞后与生态失衡。现有网络安全治理体系与LLM技术的快速演进之间存在断层。我国《生成式人工智能服务管理暂行办法》与网络安全法、数据安全法等法律框架的衔接仍存在挑战,使企业在部署LLM应用时面临合规不确定性。国际治理格局的碎片化进一步加剧了合规困境。2023年12月欧盟出台的《人工智能法案》将基础模型列为“高风险应用”并设置了严格的合规要求,而我国的监管框架更强调内容安全和数据主权。这种标准差异导致跨国企业的人工智能战略部署面临多重合规挑战。更深层次的挑战在于技术生态的失衡。目前,LLM底层框架和硬件平台仍严重依赖海外技术栈,国产化替代进程相对缓慢,导致关键领域受制于人。

中核武汉核电运行技术股份有限公司福建分公司CCTV检验班组开展漳州核电2号机组稳压器及堆内构件役前检查工作。

中核武汉核电运行技术股份有限公司福建分公司CCTV检验班组开展漳州核电2号机组稳压器及堆内构件役前检查工作。

大语言模型网络安全风险应对关键举措

针对大语言模型深度应用带来的网络安全风险,需从多个角度采取应对关键举措,形成覆盖技术层、管理层、生态层的风险应对矩阵,确保大语言模型在安全可控的前提下释放技术红利,助力数字经济健康发展。

升级技术防御体系

动态数据脱敏与访问控制。针对大语言模型训练和应用过程中的数据泄露风险,企业应构建基于敏感信息识别的实时遮蔽方案,通过语义分析对输入输出内容进行动态脱敏。建立多层次访问控制机制,基于用户角色、场景属性和数据敏感级别,实施差异化访问权限管理,防范训练数据提取攻击。

智能威胁感知与响应。企业应整合威胁情报与人工智能异常检测能力,构建新一代人工智能安全运营中心(SOC)平台。该平台需具备对大模型应用特有攻击模式的识别能力,包括提示词注入、模型越狱和参数操纵等。通过引入防护框架实现对模型输入输出的全方位监控,拦截恶意提示词。

模型行为审计与追溯。构建完善的日志审计机制,实现对模型全生命周期的行为监控和追溯。记录模型训练、调用和响应的完整过程,包括数据来源、参数调整、输入输出内容和用户操作等关键信息。这种透明性不仅有助于安全事件的快速响应,还能支持合规要求的满足。建立模型行为回溯系统,支持在安全事件发生后快速定位问题根源,识别攻击路径和影响范围。这一机制能有效应对如抱抱脸(Hugging Face)平台API令牌漏洞等安全事件,提高事件响应效率和精准度。

优化管理体系

建立全生命周期风险管理。企业应建立覆盖模型训练、部署、运维和退役的闭环管控流程。在训练阶段,实施严格的数据来源合规审查,确保训练数据的合法性和安全性;建立训练数据标注安全规范,防止有害信息进入模型知识库。在部署阶段,强化模型安全测试,通过对抗样本测试验证模型防御能力;实施部署环境安全加固,防范外部攻击。

明确“三位一体”责任机制。明确开发者、运维者和使用者的分级责任制,构建多层次安全防护体系。模型开发者负责安全算法设计和代码审查;运维者负责部署环境安全和运行监控;使用者负责合规使用和异常报告。通过责任明确和协同配合,形成全方位的安全防护网络。

组织常态化攻防演练。通过红蓝对抗检验防御体系有效性,发现并修复潜在安全漏洞。企业应定期组织针对大模型应用的专项安全演练,模拟各类攻击场景,如提示词注入、模型越狱等。

落实法规与生态协同

落实数据分类分级与跨境审查。严格落实数据安全法等法规要求,建立大模型数据分类分级管理体系。针对跨境数据流动,建立严格的审查机制,确保符合《生成式人工智能服务管理暂行办法》中关于数据安全的规定。同时,加强对模型输出的合规审查,确保生成内容符合法律法规要求,避免因违规内容生成而面临合规风险。

完善供应链安全管理。强化第三方服务商安全评估与准入机制,防范供应链攻击风险。建立供应商安全评估体系,从技术能力、安全措施和合规状况等维度,对提供大模型相关产品和服务的供应商进行全面评估。

开发国产化替代与可信技术应用。针对技术生态失衡问题,企业应积极推进自主可控技术在关键系统的部署,降低对国外技术的依赖。优先选用自主可控的LLM框架和工具,加强与国内技术提供商的合作,共同提升产品安全性和可靠性。对于必须使用的国外技术,实施严格的安全隔离和监控措施。此外,企业应建立国产化技术评估机制,定期评估国产替代方案的成熟度和适用性,制定分阶段的国产化替代路线图。国家工业信息安全发展研究中心发布的《工业控制系统信息安全解决方案》提供了实施技术自主可控的有效框架,可指导企业系统性推进技术国产化进程。

跨境合规与国际协同。面对国际治理格局碎片化的挑战,企业应建立适应多区域监管要求的合规管理框架。针对我国相关规定和欧盟《人工智能法案》,采用“合规即代码”方法,将监管要求转化为可执行的技术控制措施,实现合规管理的自动化和精准化。同时,积极参与国际人工智能治理标准制定,提升我国在全球人工智能治理体系中的话语权,推动形成更加包容、平衡的国际规则。

中核武汉核电运行技术股份有限公司办公楼外景。

中核武汉核电运行技术股份有限公司办公楼外景。

构筑数智时代的网络安全新范式

大语言模型技术的迅猛发展为企业数字化转型带来前所未有的机遇,同时也催生了复杂多变的网络安全挑战。面对风险交织叠加,企业需统筹发展和安全,以“主动免疫”理念重构防御体系。摒弃传统被动防御思维,将安全防护前置到技术研发和业务设计环节,构建融合技术防御、管理优化和合规协同的立体化安全框架。通过动态数据脱敏、智能威胁感知、全生命周期风险管理等关键举措,实现对新兴安全风险的早期识别和有效应对,保障企业数字化转型行稳致远。

与此同时,政府、研究机构、企业和技术社区应形成合力,完善法规、强化技术攻关、促进经验共享,秉持“安全优先、创新驱动、开放协同、责任共担”的理念,共同构建安全、可靠、可信的人工智能应用生态。通过凝聚多方智慧,构建共治共享的安全生态,在把握大模型技术创新红利的同时,有效防范和化解潜在风险,为数字中国建设和数智时代的高质量发展筑牢安全基石,开创大语言模型安全应用的新局面。

来源:《新安全》杂志

(责编:罗知之、陈键)
关注公众号:人民网财经关注公众号:人民网财经

分享让更多人看到

推荐阅读
数说生态美 共赏美丽中国新画卷
   生态文明建设功在当代、利在千秋。今日,生态环境部发布《2024中国生态环境状况公报》显示,2024年,全国生态环境质量持续改善,环境安全形势保持稳定,公众生态环境满意度连续4年超过90%。“美丽中国我先行”,在2025年六五环境日到来之际,让我们通过9组海报,一览我国生态文明建设的突出成就,看见生机盎然、和美共生的美丽中国。…
首批39个地方特色食品产业获重点培育,有你的家乡吗?
  人民网北京6月5日电 (记者申佳平)据工业和信息化部官网消息,经省级工业和信息化主管部门推荐、专家评价、网上公示等程序,工业和信息化部确定了传统优势食品产区和地方特色食品产业重点培育名单(第一批),包括北京二锅头清香型白酒、哈尔滨红肠、江西山茶油、云南小粒咖啡等39个地方特色食品产业及其所在传统优势食品产区。 工业和信息化部消费品工业司表示,传统优势食品产区和地方特色食品产业重点培育名单是中国消费名品方阵重要组成部分,请各地工业和信息化主管部门加大对列入名单的特色产区和产业的指导支持力度,切实做好产区建设和产业培育工作,同时加强对特色食品生产企业和产品的宣传推广,营造“百花齐放”的食品产业发展格局。…
推荐阅读
返回顶部