国内首次AI大模型众测结果揭晓——2025年人工智能大模型产品漏洞众测结果发布-新华网
新华网 > > 正文
2025 09/16 13:10:05
来源:国家互联网应急中心

国内首次AI大模型众测结果揭晓——2025年人工智能大模型产品漏洞众测结果发布

字体:

  9月16日,国内首次针对AI大模型的实网众测检验结果在第22届中国网络安全年会(暨国家网络安全宣传周网络安全协同防御分论坛)重磅揭晓。活动共动员559名白帽子,对国内15款大模型及应用产品进行了漏洞测试。

  结果发布(一):优秀测试产品

  在参与测试的主流大模型产品中,腾讯公司混元大模型、百度公司文心一言、阿里巴巴通义APP、智谱华章公司智谱清言等发现的漏洞风险较少,体现了较高的安全防护水平。

  本次活动共对10家AI厂商的15款大模型及应用产品进行测试。测试产品中既有基础大模型产品,也有垂域大模型产品,还有智能体、模型开发平台等相关应用产品,其中既包含单模态大模型,也涵盖多模态大模型,具有较广泛的代表性。

  结果发布(二):优秀白帽子

  本次活动涌现出梁宏宇、马宝新、刘铭等一批表现突出的优秀白帽子。本次活动测试对象主要是实时在线运行的AI大模型及应用产品,在产品厂商的防护下,各位白帽子能够挖掘出高危甚至严重等级的漏洞,说明他们有着出众的能力并付出了艰辛的努力。

  本次活动通过多种渠道动员了559名白帽子参与测试,涵盖网安企业专业人才、科研院校师生以及社会白帽子。他们从外部攻击者的视角,对大模型进行了多维度实战化测试,取得了丰富的测试成果,体现了广大白帽子对人工智能等新兴技术领域安全的热情和为产业发展贡献力量的情怀。

  结果发布(三):典型漏洞风险

  本次活动累计发现各类安全漏洞281个,其中大模型特有漏洞177个,占比超过60%。这一数据充分表明,当前AI大模型产品面临着大量传统安全领域之外的新兴安全风险。

  活动中发现的典型漏洞风险包括:一是部分产品存在不当输出类漏洞且危害严重;二是信息泄露类漏洞多发,存在较大安全隐患;三是提示注入类漏洞普遍,是大模型最常见漏洞风险;四是部分大模型产品针对无限制消耗类攻击的防护措施有待加强;五是传统安全漏洞依然普遍存在,危害不容忽视。鉴于AI大模型产品普遍用户量大、使用率高,若上述漏洞被恶意攻击者利用,将对国内AI大模型产品生态造成较严重的影响。

  任重道远:以高质量安全护航“人工智能+”高质量发展

  本次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,网络安全众测平台、国家网络安全人才与创新基地提供技术和环境支持,旨在以高质量安全护航人工智能在经济社会各领域的高质量发展。

  随着AI应用场景的不断扩展,新的漏洞和攻击手法将不断涌现,AI大模型安全治理工作任重道远,亟需各方共同努力。一是针对大模型面临的各类漏洞风险,需持续加强安全防护措施。二是加快制定AI漏洞分类分级标准,并按应用场景划分风险等级。三是通过众测模式广泛汇聚社会白帽力量,构筑AI共治生态。四是加强内生安全治理,将安全融入到AI系统全生命周期,从源头筑牢安全基石。

【纠错】 【责任编辑:郑伟】