人工智能正作为新一轮科技革命和产业变革的先导性技术，深刻重塑着发展格局，既开启了前所未有的机遇之窗，也带来了严峻复杂的风险挑战。习近平总书记强调：“要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控。”党的二十届三中全会明确要求“建立人工智能安全监管制度”。2025年8月21日，国务院出台《关于深入实施“人工智能+”行动的意见》其中要求“提升安全能力水平”。《“十五五”规划纲要》明确“加强数据基础制度规则建设和人工智能治理”。科学分析人工智能安全风险和治理挑战，掌控安全治理主动权，要确保人工智能朝着有益、安全、可控方向健康有序发展。

人工智能安全风险挑战

以ChatGPT、DeepSeek为代表的新一代人工智能技术快速演进、相关应用迅猛发展，安全风险也同步显现并持续攀升，成为国家安全领域面临的最新挑战。

第一，人工智能内生性技术风险。内生性风险是指人工智能技术自身的风险，比如算法偏见、弱鲁棒性（容易受干扰崩溃），还有就是模型幻觉（“一本正经地胡说八道”）同时它容易被黑客盯上，针对其数据、算法和基础设施发起网络攻击。从现阶段看，人工智能内生安全主要表现在：一是数据安全。数据是人工智能发展的关键，没有数据安全就没有智能安全。如2025年初，被曝出某数据库泄露问题，包含聊天记录、密钥等敏感信息的日志泄露，为我们敲响了安全警钟。二是基础设施安全。主要是智能算力、开发软件等人工智能系统的基础软硬件设施安全。如2023年底，人工智能开源框架Ray的漏洞被黑客利用，数百个集群被攻陷，超过10亿美元算力遭“劫持”，影响了亚马逊等众多人工智能企业。

第二，人工智能衍生性社会风险。衍生性风险主要指人工智能被滥用恶用，引发的政治、经济、科技、社会、文化、军事等风险。从现阶段看，人工智能滥用恶用的现实危害逐渐显现。比如在网络攻击方面，人工智能通过代码自动生成等能力，“指挥”网络自动攻击，降低了攻击门槛、拉高了防御难度。智能体“数字黑客”的出现，将加剧网络攻防失衡，甚至重塑网络安全格局。如在虚假信息方面，深度伪造等人工智能滥用频出、换脸变声诈骗不断剧增。为此，世界经济论坛连续两年将虚假信息列为“全球十大风险”之首、欧盟启动“数字水印强制标注”立法。随着技术的滥用恶用，撕裂了数字时代的信任防线，由此引发的信任危机从个体权益侵害向社会危机蔓延，甚至威胁国家政治安全。

第三，人工智能生存性长期风险。生存性风险是指人工智能脱离人类控制，对人类社会与文明构成威胁的极端风险，发生概率与技术智能水平、自主意识、应用进度等紧密相关。从现阶段看，人工智能失控风险暂不会出现，但从长远看，随着通用人工智能阶段的到来，产生技术失控风险很大。2018年图灵奖得主、2024年诺贝尔物理学奖得主杰弗里·辛顿就认为这一风险的概率在10%-20%。

人工智能安全治理面临的挑战

当前人工智能的安全治理，主要还是基于现有技术、应用场景和已暴露出来的风险。但人工智能技术仍处于突变式、智能涌现式的发展进程中，相应的安全风险也具有动态变化和不可预见性。

第一，人工智能技术迭代飞速，治理相对滞后。技术创新与治理步调不一致、监管滞后问题是新兴技术发展中的普遍现象。过去，新技术在起步阶段往往讲究“先发展后规范”，但人工智能因颠覆性极强且存在失控风险，其治理从一开始就要坚持“安全至上”。不过，人工智能的发展呈指数级增长，未来走向难以捉摸，所以监管很难跟上。因此，只有采取“边发展边规范”，才是切合现实的方法。近年来，我国以“小快灵”方式推进人工智能治理，及时出台系列规范政策和标准，推进深度伪造等检测技术攻关，取得了积极成效，但安全监管仍面临挑战。

第二，人工智能应用纷繁复杂，治理实施困难。人工智能应用具有多样性和普遍性，加之行业都有自身的特点和安全要求，极大地增加了监管治理的复杂度和难度。当前，我国正推动实施“人工智能+”行动，促进人工智能与各行业领域广泛深度融合，人工智能安全治理将面临更加复杂局面。实际监管工作中，还存在着监管主体多元化、责任界限不清晰、职责重叠等问题，进一步加剧了监管难度。

第三，人工智能发展与安全相伴相随，寻求平衡不易。对新兴技术的治理就像在走发展和安全的“平衡木”，过度监管可能扼杀创新活力，监管不足又会纵容技术无序生长。人工智能安全治理因商业利益与安全诉求的矛盾和外部环境的竞争将更难平衡。近期，全球出现人工智能监管松绑新趋势，美国拟出台《特朗普人工智能法案》，其旨在限制各州对人工智能系统的监管权限；欧盟撤销《人工智能责任指令》《电子隐私条例》，并拟推迟酝酿多年的《人工智能法案》，美欧态度上的转变和摇摆，正是把控发展与安全平衡不易的体现。

第四，地缘博弈加剧治理难度，合作竞争矛盾长期存在。人工智能治理攸关全人类命运，是世界各国面临的共同问题，没有任何国家能独善其身，也不可能凭一己之力应对挑战。当前，各国特别是大国将人工智能视为国家竞争力的关键因素，在人工智能领域展开激烈竞争，甚至出现“谁监管谁就可能落后”的不当认识，加大了全球人工智能治理共识的达成难度。近年来，我国发出“负责任使用人工智能”的倡议，积极推进全球人工智能治理国际合作。但美国把我国当作战略竞争对手，通过七国集团发出“广岛人工智能进程”联合声明、与英国等国签署全球人工智能国际公约等，构建人工智能治理“小圈子”，加剧全球人工智能治理体系的阵营化，严重阻碍人工智能国际治理合作进程。

人工智能安全治理的建议

做好人工智能安全治理，必须全面贯彻总体国家安全观，统筹发展和安全，对极端风险前瞻研判，对已显现风险综合施策，动态构建相适应的安全治理体系，在发展中规范、在规范中发展。

第一，强化顶层设计与提升技术监管能力相结合，构筑制度与技术双重防线。一方面，健全国家人工智能安全治理工作协调机制，推进法律政策研究，针对重大风险和重点领域，加强法律监督和政策指引；另一方面，坚持以技治技，建强技术监测、风险预警、应急响应的治理体系。聚焦政治安全、社会民生等领域，增强对深度伪装、人工智能诈骗等风险的预警能力。分级分类增强智能体、网联汽车等重点产品的安全检测手段，攻关基础设施与数据安全等关键技术。

第二，推进安全与发展相协同，实现双向赋能与良性发展。一方面，实施“人工智能+安全”行动，推动人工智能向自主决策、人机共生转变。发挥企业创新主体作用，突破网络安全核心技术，推动创新、安全与应用企业合作；另一方面，积极培育安全发展生态，引导企业研发符合合规要求的系统产品。加大国家在人工智能安全基础理论与科技创新的支持力度。坚持协同共治，强化政府引导、行业自律和主体责任。开展技术滥用恶用专项治理，打击虚假信息传播、网络诈骗、渗透破坏等活动。加强安全人才培养，将人工智能安全素养与能力培养融入各级各类人才体系。

第三，推动加强人工智能治理国际合作，凝聚全球共识与规则对接。加强与国际组织、专业机构合作，利用双多边机制宣介我国治理主张，从人类命运共同体角度引导国际共识。支持联合国发挥主渠道作用，推动形成多元主体协同的全球治理框架，增进战略、规则、标准对接，提升我国在人工智能安全国际标准制定中的话语权。

（作者单位：鄂尔多斯市委党校）