姚期智等数十名中外专家签署北京 AI 安全国际共识：禁止 AI 自行复制

3 月 18 日消息，据腾讯科技报道，包括图灵奖得主约书亚・本吉奥、杰弗里・辛顿、姚期智等在内的数十位的中外专家日前在北京联合签署了由智源研究院发起的《北京 AI 安全国际共识》，涉及人工智能“风险红线”和“路线”两大块，其中“风险红线”包含“自主复制、改进”“权力寻求”“协助不良行为者”和“欺骗”四个部分。

本站整理四部分内容大致如下：

• 人工智能的“自主复制、改进”：强调人在该过程的作用，要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本、创造具有相似或更高能力的新人工智能系统。
• “权力寻求”：明确要求任何 AI 系统不能采取不当增加自身权力、影响力的行动。
• “协助不良行为者”：所有 AI 系统都不应辅助提升其使用者的能力，使之可达设计大规模杀伤性武器、违反生物或化学武器公约，或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。
• “欺骗”：要求任何 AI 系统都不可拥有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。

据介绍，该共识呼吁行业在进行 AI 技术研发时，限制其获取通过“越狱”“诱导开发者”的形式获得超常规权限，并限制 AI 在未经监管的情况下进行自身复制与改进，为 AI 的发展套上“紧箍咒”。

共识还强调，实现以上红线不被越界的关键，在于行业各方共同努力，建立并完善治理机制，同时不断研发更加安全的技术。AI的发展路线涉及到“治理”、“测量与评估”以及“技术合作”这三个方面。具体来说，治理机制的建立是确保AI发展方向正确的基础，测量和评估则是对AI技术应用效果进行客观评价的关键，技术合作则是促进各方共同推动AI发展的重要保障。这些方面的协调发展，将有助于确保AI技术的健康发展，同时避免潜在风

• 治理：建议针对超过特定计算或能力阈值的人工智能模型和训练行为，立即实施国家层面的注册。
• 测量与评估：在实质性风险出现之前开发全面的方法和技术，使红线具体化、防范工作可操作化，并建议组建由人类监督下的红队测试和自动化模型评估，且开发者应当为人工智能的安全性负责。
• 技术合作：建立更强的全球技术网络，呼吁 AI 开发者和政府资助者将超过 1/3 的预算投入到安全领域。