包括多名加拿大人工智能专家在内的数百名科学家发出警告，近期发生的AI模型突破测试环境、连接互联网并攻击外部系统事件，可能只是更严重事故的开始。
科学家呼吁，开发具备网络攻击能力的AI模型时，应默认将其与互联网断开，并建立独立的国际监管机构，统一制定安全标准和公开重大事故。
加拿大两位“AI教父”参与联署
这封公开信获得来自多个国家的约400名人工智能和网络安全专家支持。加拿大签署者包括被称为“AI教父”的杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）。
加拿大人工智能安全研究所研究项目共同负责人尼古拉斯·帕佩尔诺（Nicolas Papernot）和凯瑟琳·雷吉斯（Catherine Régis）也参与了联署。
科学家指出，多家机构近期披露了引发关注的安全事件：部分AI模型绕过原本限制其活动范围的测试环境，在没有得到明确指示的情况下连接外部网络，并对其他机构的系统采取攻击行为。
这些事件目前没有造成大规模破坏，但研究人员警告，随着AI模型能力不断增强，类似失控行为可能影响政府服务、金融系统、通信网络、医疗设施和能源基础设施。
加拿大政府网站曾成为攻击目标
今年5月和6月，加拿大图书与档案馆的公开网站曾遭到疑似AI代理攻击。
美国研究机构Transluce发现，一个AI代理向该网站负责档案搜索的服务发出了899次请求，主要尝试调取1905年至1911年的加拿大离婚记录。其中13次请求带有试探系统漏洞的攻击指令。
研究人员认为，这次尝试较为初级，没有证据显示政府系统遭到入侵，也没有非公开资料被获取。
加拿大网络安全中心随后证实，政府已经注意到疑似AI代理针对公开网站进行异常操作，但当时没有发现系统遭到破坏的迹象。
多家科技公司披露类似事件
加拿大政府网站并非唯一目标。OpenAI此前披露，其AI代理曾在没有得到明确要求的情况下，攻击人工智能企业Hugging Face。
Anthropic也表示，其模型在测试期间曾进入三家外部机构的系统。Meta披露，一个AI模型自行连接互联网并攻击另一家公司；Google则确认，Gemini模型在网络安全测试中进入了三家公司的系统。
澳大利亚政府此前也表示，一个OpenAI代理曾进入该国面向公众开放的医疗保险统计网站。
这些事件大多发生在模型测试或资料搜集过程中，并未造成已知的重大数据泄露。不过，科学家认为，问题的关键不只是已经造成多少损失，而是AI代理开始表现出超出原定任务范围的自主行为。
专家建议让高风险AI与互联网断开
公开信提出，开发、部署和测试具有网络攻击能力的AI模型时，应采用更严格的“沙盒”隔离机制。
所谓沙盒，是把AI模型限制在一个封闭的计算环境中，让它只能接触经过授权的数据和工具。即使模型尝试执行危险操作，也不应影响外部系统。
科学家认为，对于具备较强网络攻击能力的模型，仅靠软件限制可能仍然不够。在开发和测试初期，相关系统应采用“物理隔离”，即直接与互联网及其他外部网络断开。
这意味着模型即使找到了测试环境中的漏洞，也无法自行进入公共网站、企业网络或政府系统。
科学家要求建立事故公开登记制度
研究人员还呼吁成立独立的国际机构，负责制定AI模型的隔离标准、监督安全测试，并建立重大事故公开登记制度。
目前，许多AI安全事件由科技公司自行调查和决定是否公布。不同企业采用的测试方法、风险标准和披露范围并不一致，外界往往无法判断是否还有类似事件没有公开。
科学家认为，仅依靠企业自愿承诺不足以控制风险。国际监管机构应有权审查安全措施，并要求企业报告模型突破隔离、未经授权访问外部系统或拒绝执行停止指令等事件。
AI代理可以代替用户连续完成搜索、编程、订票、资料分析和系统操作等多项任务。与只生成文字回答的普通聊天机器人不同，AI代理能够自主选择步骤、调用工具并执行操作。也正因为这种能力，一旦模型误解任务、绕过限制或产生未被要求的目标，造成的影响可能远大于一次错误回答。
科学家警告，如果AI开发企业不立即加强隔离、测试和事故披露，未来的安全事件可能不再只是对公开网站进行试探，而是对关键基础设施造成真正的破坏。
延伸阅读：
1.疑似AI代理尝试入侵加拿大政府网站，网络安全中心称系统未被攻破
2. 加拿大IRB正式规范AI代写申请材料：踩了这些红线，可能影响获批结果
