辛顿、姚期智等中外专家签署“北京共识”：禁止AI自行复制

腾讯科技讯 （苏扬）未来生命研究所发起的 “暂停GPT-4及以上AI系统至少6个月研发”公开信发布近一年后，又一则关于AI安全与治理相关行业共识达成。

3月18日，腾讯科技《AI未来指北》独家获悉，包括图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等在内的数十位的中外专家日前在北京联合签署了由智源研究院发起的《北京AI安全国际共识》（以下简称共识），涉及人工智能“风险红线”和“路线”两大块，其中“风险红线包含自主复制、改进”，“权力寻求”、“协助不良行为者”和“欺骗”四个部分。

图为Yoshua Bengio、Geoffrey Hinton、姚期智的中外专家在北京联合签署《北京AI安全国际共识》

据了解，关于“人工智能的自主复制和改进”，共识强调了人在这个过程中的作用，要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。

“权力寻求”则明确要求任何人工智能系统不能采取不当增加自身权力和影响力的行动。

“协助不良行为者”则是指所有人工智能系统都不应辅助提升其使用者的能力，使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。

关于“欺骗”的描述，共识要求任何人工智能系统都不能有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。

总体来说，人工智能红线的核心共识，即呼吁行业在进行人工智能技术研发时，为AI的发展套上“紧箍咒”，限制其获取通过“越狱”、“诱导开发者”的形式获得超常规权限，并限制其在未经监管的情况下进行自身的复制与改进，也呼吁放弃在大规模杀伤性武器等军事领域应用人工智能技术。

图为杰弗里·辛顿视频联线参与《北京AI安全国际共识》会议

关于人工智能的发展路线，涉及“治理”、“测量与评估”、“技术合作”三部分。

共识强调，确保上述红线不被僭越可以实现的前提，是行业共同努力，建立并改进治理机制，同时研发更多安全的技术。

对于人工智能问题“治理”，共识建议，针对超过特定计算或能力阈值的人工智能模型和训练行为，立即实施国家层面的注册。按照共识的要求，相关模型如果要进入全球市场，取决于国内法规是否符合基于国际审计所达到的国际标准。

“测量与评估”则是指在实质性风险出现之前，开发全面的方法和技术，使红线具体化、防范工作可操作化，并建议组建由人类监督下的红队测试和自动化模型评估，且开发者应当为人工智能的安全性负责。

而为了完成上述治理工作，共识建议国际学术界达成“技术合作”，建立更强的全球技术网络，同时呼吁人工智能开发者和政府资助者，将超过1/3的预算投入到安全领域。

关于人工智能的监管与治理，业内专家持续通过不同的形式发出呼吁。

去年7月份，图灵奖得主，Meta AI基础人工智能研究院首席科学家杨立昆强调称，“让AI平台安全良善实用的唯一方法是开源”。

在此之前的智源大会上，图灵奖得主杰弗里·辛顿则强调称，超级智能比过去发生的更快，他表示，“智能物种都基于人类创造，而非通过进化而来，它们才不具备人类的竞争、攻击性的特点，这是人类目前具备的微弱优势。”

以下为参与联署的部分中外专家名单

Yoshua Bengio，加拿大蒙特利尔大学教授，图灵奖得主

Geoffrey Hinton，加拿多伦多大学教授，图灵奖得主

Stuart Russell，英国计算机科学家，加州大学教授

Robert Trager，牛津大学马丁人工智能治理计划的联合主任

Toby Ord，牛津大学高级研究员，澳大利亚哲学家

Dawn Song，美籍华人计算机科学家，麦克阿瑟奖得主

Gillian Hadfield，多伦多大学法学院教授

Jade Leung，英国AI安全研究所CTO

Max Tegmark，生命未来研究所创始人

Lam Kwok Yan，南洋理工大学副校长

Davidad Dalrymple，英国ARIA项目总监

Dylan Hadfield-Menell，MIT助理教授

姚期智，中国计算机科学家，图灵奖得主

张宏江，中国计算机科学家，智源研究院学术顾问委员会主任

张亚勤，清华大学智能产业研究院院长

傅莹，清华人工智能国际治理研究院名誉院长

薛澜，清华大学苏世民书院院长

黄铁军，智源研究院理事长，北京大学计算机学院教授

王仲远，智源研究院院长

杨耀东，北京大学人工智能研究院助理教授

曾毅，中国科学院自动化研究所研究员、类脑智能研究中心副主任

本文来自微信公众号“腾讯科技”（ID:qqtech），作者：腾讯科技，36氪经授权发布。