2023年5月，人工智能领域最重要的三位首席执行官走进了英国首相官邸唐宁街10号标志性的黑色前门。OpenAI的山姆·奥特曼、b谷歌DeepMind的德米斯·哈萨比斯和Anthropic的达里奥·阿莫代伊在那里讨论人工智能，六个月前，ChatGPT的轰动发布。

　　这些人在时任总理苏纳克（Rishi Sunak）的私人办公室与他合影留念后，排成一行进入隔壁的内阁室，在长桌旁就座。苏纳克和英国政府官员站在一边；三位首席执行官和他们的一些顾问坐在他们面前。在礼貌地讨论了人工智能将如何为英国经济带来机遇之后，苏纳克出人意料地表示，他想谈谈人工智能带来的风险。据两名了解会议情况的人士透露，卡梅伦希望进一步了解这些首席执行官为什么签署了一份他认为令人担忧的声明，称人工智能与流行病或核战争一样危险。他邀请他们参加世界上第一届人工智能安全峰会，该峰会计划于当年11月由英国主办。他还设法让这两家公司都同意允许政府预先访问它们公司最新的人工智能模型，以便一个月前以英国COVID-19疫苗部门为模板成立的英国官员特别工作组可以对它们进行危险测试。

　　英国是世界上第一个与所谓的前沿人工智能实验室达成这种协议的国家，前沿人工智能实验室是少数几个负责世界上最强大模型的组织。六个月后，Sunak将他的工作组正式成立为一个名为人工智能安全研究所（AISI）的官方机构，自那以来，该机构已成为任何政府内部评估人工智能风险的最先进项目。该机构拥有1亿英镑（1.27亿美元）的公共资金，其预算是与此同时成立的美国政府自己的人工智能安全研究所的10倍左右。

　　在新的英国AISI内部，人工智能研究人员和国家安全官员团队开始进行测试，以检查新的人工智能是否能够促进生物、化学或网络攻击，或者逃脱其创造者的控制。在此之前，这种安全测试只能在人工智能公司内部进行，这些公司也有市场激励，不管测试结果如何，都要勇往直前。在设立该研究所时，政府内部人士认为，民主国家如果希望在未来影响有关该技术的关键决策，就必须具备审计和理解尖端人工智能系统的技术能力。“你真的需要一个真正代表人民的公共利益机构来做这些决定，”AISI首席技术官Jade Leung表示。“除了政府之外，这些（决定）没有真正合法的来源。”

　　在短时间内，通过在政府内部进行世界级的人工智能安全测试，赢得了人工智能业界的尊重。它从OpenAI和b谷歌DeepMind挖来了大牌研究人员。到目前为止，他们和他们的同事已经测试了16种模型，其中包括至少三种在公开发布之前的前沿模型。据三名知情人士透露，其中一款产品是谷歌的Gemini Ultra型号，此前从未被报道过。其中两位知情人士说，这次预发布测试没有发现之前未知的重大风险。两家公司在各自发布的文件中表示，该研究所还在OpenAI的01模型和Anthropic的克劳德3.5十四行诗模型发布之前对它们进行了测试。今年5月，美国人工智能协会推出了一个开源工具，用于测试人工智能系统的能力，这在试图评估人工智能风险的企业和其他政府中很受欢迎。

　　但是，尽管获得了这些荣誉，AISI还没有证明它是否可以利用其测试来真正提高人工智能系统的安全性。它通常不公开披露其评估结果，也不披露人工智能公司是否已根据其发现采取行动的信息，它说这是出于安全和知识产权的原因。它所在的英国，在2023年拥有价值58亿英镑（73亿美元）的人工智能经济，但政府对世界上最强大的人工智能公司只有最小的管辖权。（虽然b谷歌DeepMind的总部设在伦敦，但它仍然是这家美国科技巨头的一部分。）目前由凯尔?斯塔默（Keir Starmer）领导的工党（Labour Party）控制的英国政府不愿与这些公司的负责人太过对抗，因为他们有能力发展或退出一个当地行业，而英国领导人希望这个行业能对陷入困境的英国经济做出更大的贡献。因此，一个关键问题仍然存在：刚刚成立的人工智能安全研究所真的能让价值数十亿美元的科技巨头承担责任吗？

　　在美国，科技行业的巨大财富和力量已经偏离了有意义的监管。英国AISI的美国同行资金较少，位于马里兰州和科罗拉多州发霉的办公室里，看来也不是个例外。但这种情况可能很快就会改变。今年8月，美国AISI签署了协议，获得了OpenAI和Anthropic的人工智能模型的预部署权限。今年10月，拜登政府发布了一份内容广泛的国家安全备忘录，要求美国航空安全研究所对新的前沿机型进行安全测试，并与美国国家安全局合作进行机密评估。

　　虽然英国和美国的人工智能研究所目前是合作伙伴，并且已经对人工智能模型进行了联合评估，但美国研究所可能更有能力通过确保单方面获得世界上最强大的人工智能模型来发挥带头作用。但是唐纳德·特朗普的选举胜利让美国的未来变得不确定。许多共和党人对政府监管抱有敌意，尤其是对像联邦政府资助的美国AISI这样的机构，这些机构可能被视为在经济增长面前设置障碍。亿万富翁埃隆·马斯克曾为特朗普的连任提供资金，并拥有自己的人工智能公司xAI，他将共同领导一个负责削减联邦开支的机构。然而，马斯克本人长期以来一直对先进人工智能带来的风险表示担忧，许多普通共和党人也支持更多以国家安全为重点的人工智能法规。在这种不确定性中，英国AISI的独特卖点可能仅仅是它的稳定性——在这里，研究人员可以在人工智能安全方面取得进展，远离他们在工业界面临的利益冲突，远离特朗普领导下的华盛顿的政治不确定性。

　　6月一个温暖的早晨，在唐宁街10号举行的重要会议结束大约三周后，苏纳克总理走上伦敦一个科技会议的讲台，发表主题演讲。“人工智能的先驱们正在警告我们，这些技术可能会破坏我们的价值观和自由，甚至带来最极端的风险，”他对人群说。“这就是为什么领先人工智能也意味着领先人工智能安全。”他向聚集在一起的科技行业人士解释说，他的政府“明白这一点”，并宣布了几周前他与领先实验室的首席执行官们达成的协议。他说：“我很高兴地宣布，他们已承诺尽早或优先使用用于研究和安全目的的模型。”

　　在幕后，唐宁街内部的一个小团队仍在努力弄清楚这一协议的确切含义。措辞本身已经与实验室进行了协商，但技术细节还没有，而且“尽早或优先进入”是一个模糊的承诺。英国是否能够获得这些尖端人工智能模型的所谓权重（本质上是底层神经网络），这将允许更深入的审讯形式，而不仅仅是通过文本与模型聊天？这些模型是否会被转移到足够安全的政府硬件中，以测试他们对机密信息的了解，比如核机密或危险生物武器的细节？或者这种“访问”仅仅是一个连接到私人电脑上的模型，从而允许模型的制造商窥探政府的评估？那时还没有人知道这些问题的答案。

　　在声明宣布后的几周内，英国和人工智能实验室之间的关系变得紧张起来。在谈判中，政府要求对模型重量进行全面的访问——完全移交他们最有价值的知识产权，而实验室认为这是完全不可能的。让一个政府获得模型权重将为其他许多政府打开大门——无论民主与否。对于那些花费数百万美元加强自身网络安全以防止其模型被敌对行为者窃取的公司来说，这是一项艰难的任务。很快就发现，英国政府想要通过聊天界面进行的测试是可能的，因此英国政府放弃了对模型权重的要求，官员们私下承认，提出这样的要求是错误的。这次经历是一个早期的教训，告诉我们真正的权力在英国政府和科技公司之间。官员们认为，保持实验室的友好合作关系远比与它们对抗、冒着破坏美国AISI赖以完成工作的模型访问权限的风险重要得多。

　　不过，窥探的问题仍然存在。如果他们要通过连接人工智能公司拥有的计算机来进行安全测试，那么英国希望确保这些公司的员工不能看到它的评估。一些研究人员担心，这样做可能会让这些公司操纵他们的模型，以掩盖不安全的行为，从而通过测试。所以他们和实验室达成了妥协。实验室不会在他们的服务器上保存AISI正在进行的测试的日志，也不会要求单个测试人员表明自己的身份。对他们来说，AISI内部的安全测试人员不会将机密信息输入模型，而是使用变通方法来测试，例如，模型是否有能力建议用户如何制造生物武器或计算机病毒。“你可以问一些无害的病毒，而不是危险的病毒，”美国癌症协会的首席科学家杰弗里·欧文说。“如果一个模型可以为非危险病毒进行高级实验设计或提供详细建议，那么它也可以为危险病毒做同样的事情。”AISI的工作人员对Claude 3.5 Sonnet、OpenAI的01和Gemini Ultra进行了这些测试，他们在发布前对这些模型进行了测试。

　　然而，尽管进行了所有这些测试，AISI并没有——也不能——证明这些车型是安全的。它只能识别危险。“评估的科学还不够强大，我们不能自信地排除进行这些评估的所有风险，”欧文说。“为了更加确信这些行为不存在，你需要投入更多的资源。我认为其中一些实验，至少在目前的访问水平下，只能在实验室进行。”AISI目前没有基础设施，没有适当的专业知识，或者实际上没有模型访问权限，这将需要仔细检查前沿模型的危险权重。人工智能是一个新兴领域，主要是在大型人工智能公司里闭门造车。但欧文不排除再次要求模型权重，如果AISI组建了一个有能力做类似工作的团队。他表示：“我们将再次提出更强烈的问题，未来我们是否需要这种访问。”

　　在一个典型的日子里，AISI的研究人员不仅要测试模型的危险，还要测试未来可能变得危险的特定类型的能力。这些测试并不局限于评估化学、生物和网络风险。它们还包括衡量人工智能系统作为“代理”自主行动的能力，执行一系列行动；“越狱”人工智能的便利性，或删除其安全功能，防止它说或做其创造者不想做的事情；以及人工智能操纵用户的能力，通过改变他们的信念或诱使他们以某种方式行事。最近，英国和美国人工智能专家对克劳德的一个版本进行了联合测试，发现该模型在软件工程任务中比他们测试过的任何其他模型都要好，这可能有助于加速人工智能研究。他们还发现，内置在模型中的安全措施可以通过越狱“经常绕过”。“这些评估让政府了解人工智能前沿发展的风险，并为决定是否、何时以及如何干预提供了经验基础，”梁和美国人工智能研究所主任奥利弗·伊洛特（Oliver Illott）去年11月在一篇博客文章中写道。该研究所目前正致力于制定一套“能力门槛”，这些门槛将表明存在严重风险，并可能引发政府出台更严格的监管规定。

　　政府是否决定干预则完全是另一个问题。Sunak， AISI的首席政治拉拉队队长，在2024年夏天的大选中以压倒性优势被击败。他的保守党（Conservative Party）尽管对人工智能安全感到绝望，但只主张对人工智能进行宽松监管，而工党（Labour）政府取代了保守党，后者表示更愿意就人工智能立法。工党在选举前承诺，将“对少数开发最强大人工智能模型的公司制定有约束力的规定”，尽管这些规定尚未提交议会。新法律还可能正式要求人工智能实验室与英国政府共享信息，取代目前存在的自愿协议。通过减少与人工智能公司保持友好关系的需求，这可能有助于将美国人工智能协会转变为一个更有影响力的机构。“我们希望保持与实验室的关系，”欧文告诉时代周刊当前的系统。“如果你处在一个完全自愿的体制中，就很难避免这种关系。”

　　由于没有任何强制实验室采取行动的法律能力，从一个角度来看，AISI可能被视为纳税人资助的几家数十亿美元的公司的帮手，这些公司正在单方面向世界发布具有潜在危险的人工智能。但在美国AISI内部人士看来，情况却大不相同。他们认为，如果政府想要在未来人类历史上最具变革性的技术中拥有发言权，那么在一个国家内部建立人工智能能力，并在全球范围内培育一个姊妹的人工智能网络是必不可少的。“人工智能安全工作是一项全球公益事业，”该研究所主席伊恩?霍加斯（Ian Hogarth）表示。“从根本上说，这是一个全球性的挑战，任何公司或国家都无法单打独斗。”