最近两年，虽然AI这个词语充斥在人类的媒体和生活中，但实际上AI技术的发展才刚刚起步，目前AI能做的事情还非常初级。黑暗森林法则里的“技术大爆炸”不知道何时会突然到来，各种法律、伦理和人性都会受到前所未有的挑战。本文的团队认为未雨绸缪，在那个时代到来之前做好准备，现在开始制定最完善＂AI政策 ” 也许是对世界最有贡献的事情之一。

这是一篇来自牛津大学人类未来研究所的万字长文，由专注于研究AI政策的 Miles Brundage撰写，并获得八万小时（80,000 Hours，大学研究机构）团队和其他人员的帮助，希望给愿意从事"AI政策"行业的人们一些指导和方向。

为什么要写这些？

现在能够改善世界的最具影响力事情，可能就是积极推动人工智能的发展了。在过去短短几年中，从事AI技术研究的人数急剧增长，他们致力于解决如何安全地规划人工智能，因此我们为正考虑从事这项工作的人提供这本指南。

还有一个很重要却很有可能被忽视的话题：AI政策和战略的改进。这包括了许多问题，比如：

•我们怎样才能避免为了发展强大的AI系统而开展危险的军备竞赛？

•先进的AI系统带来的好处如何才能广泛分配？

• AI研究开放程度可以多大？

我们估计，目前从事AI行业的人中，仅有不到10%特别关注未来开发出的高性能AI系统所产生的种种问题。越来越多的工作集中在更短期的问题上，如无人驾驶汽车政策和无人驾驶飞机政策。

我们迫切需要解决AI政策与战略相关问题，这是因为：

1.实施解决方案耗时长；

2.在AI还不够先进且这个话题涉及到较少的意见、利益的当下，有些问题会得到更好地解决；

3.我们不知道何时能开发出AI一些特定技能，无法排除突然技术大爆炸的可能性。

因此，对于合适的人来说，努力去解决这些问题，是为当今世界作出贡献的并且最有前途的职业之一。

“AI政策”职业是什么？

“AI政策”是关于AI的社会决策制定的分析和实践（注意，广义上，我们说“社会”而不是政府，因为许多决策制定者都参与制定“政策”）。“AI策略”这个术语有时指的是研究“AI政策”的大局问题，例如：我们希望AI技术应该小范围传播还是广泛传播、那些研究问题应该优先考虑。接下来，我们将介绍“长期AI政策”底下的几个战略问题。文章结尾处的参考文献很好地介绍了AI政策及AI战略协议下的一些问题。

短期与长期问题

AI政策分为短期政策和长期政策。

短期AI政策侧重于当前社会需要解决的问题。这些问题包括无人驾驶汽车的责任问题、相对小规模的工人下岗问题、算法偏差以及越来越多的自动监控。

长期AI政策侧重于在未来的AI比今天更为先进的情况下，出现影响整体甚至更大程度的问题，尤其当AI快速发展的时候。这将产生非常持久的后果，例如与人类智力相当或超智能AI带来的AI安全风险或与不稳定性。

短期和长期政策之间的这种区别并不是一成不变的：比如，如果我们把高级AI出现的时间估计得过长，那么，最终本文提及的长期问题，就很有可能出现得比许多人的预期要早。事实上，AI专家们对高级AI出现时间的估计确实存在着较大的差异。也许，与安全问题相比，AI中最严重的经济问题可能需要更长的时间才能出现。

但是，短期或长期问题的划分是很有用的粗浅分类，它反映了普遍存在的观点，即认为与人力智力相当或者超智能AI不可能在短期内出现，然而，一旦它出现了，它将产生变革性、持久的社会影响。

大多数与短期“狭义AI”系统有关的政策，都不大可能对它们本身产生极其持久的影响，但是研究这些问题可能有助于获得经验，以便在长期的更强大AI系统的政策问题上开展工作，一些相同的政策框架和工具也适用于两者。另一方面，从长远来看，上文所提到的长期政策与战略比起短息的策略更加重要得多，尤其是当AI系统开发进展迅速时，就更可能如此。

AI政策中需要回答的具体问题

在研究AI政策时，为了让你对于各种问题有所了解，请考虑以下问题。

AI系统可能发展出什么能力？

如果未来的AI系统将拥有哪些能力，会造成哪些社会后果？例如，如果AI系统能够…将发生什么？比如：

•分析物理论文并提出新的实验？

•在其他领域做同样的事情，包括AI开发？

•分析社会科学论文、互联网内容和/或监测数据，对于不同情况下的人类行为作出预测？

•为了说服特定人群相信某些特定观点而生成语言及图片？

•分析各种领域和来源的文献，以生成新材料、技术或软件？

•有计划划的进行以上这些事情？

计算机安全意味着什么？

•拥有比人类更多的技能，能够低成本、高效并可靠地找到电脑系统的漏洞，这种AI系统可能性有多大？哪种指标能够在这方面提供最新消息？

•国家或非国家行动者应采取哪些措施来防止这种情况发生，并/或减轻潜在的负面影响？

• AI系统是否能够在提高抵御黑客攻击能力方面提供帮助？与此同时，AI能否协助开展黑客攻击？在某种程度上，黑客与拥有敏感数据的机构之间存在“计算军备竞赛”，是否应该给后者提供补贴或监管，以增加他们现有的计算资源？

自动武器会带来什么影响？

•在近期、中期以及长期中应该发展哪种自动武器？哪种指标能够在这方面提供最新消息？

•不同种类的自动武器可以有哪些应用？例如，哪种自动武器可能应用到空中支援、巷战、侦察、监视被占领土、暗杀或其他秘密行动上？

•考虑到自动武器的种类和应用，它对世界和平与安全有哪些影响？

•拥有能力更强的自动武器将有哪些潜在优势（更高的精确度、更少的人员死亡、减少对人类士兵的需求）与潜在劣势（更容易发生战争、潜在的地缘不稳定性，例如军备竞争、意外风险、滥用）？

•相对廉价的自动武器开发，是否有可能导致私人更容易获得武器，并更具有破坏性？为了防止这种可能性，应该采取哪些监管措施，何时实施比较合适？AI发展的哪些指标表明了这种行动的正当性？

•从其他新武器技术（例如核武器、化学武器、地雷）的发展以及国际监管的回应中，我们能够吸取哪些相关经验教训？

•在限制或停止自动武器的开发与部署方面，存在哪些可行的途径？限制开发的做法是否一直可取？推动其地下开发或者转移给不那么负社会责任的政党，是否风险太大？

如何确保广义AI系统的安全部署？

一个在广泛领域中具有创造性的长期推理能力的AI系统的行为是很难被预测的。一旦这种强大的AI在行动时有目标偏差，结果可能将会造成全球灾难性风险。

即使AI系统与用户追求一致，运行一个有明确目标的AI系统仍旧可能导致非法行为，这对于没有仔细检查系统的人来说是难以预料的——甚至那些做过检查了的人。例如，一个目标为“赚钱”的AI系统可能会为了这个目标而触犯法律，尽管在系统开发与测试阶段，发生这种情况的迹象可能不明显。

介于上述考虑，开发和部署这种具有潜在危险性的系统，就合作和冲突产生了一些重要的问题，例如：

•在开发和部署安全AI时，如何激发相关角色之间的合作精神？

•基于博弈论的国际竞争与合作如何形成与分析？

•相关的多方机构之间就构成部署AI系统潜在风险的因素达成预先协议是否有帮助，在哪种条件下这种部署是合法的？

•多方机构之间的哪种协议具有强制性？

你立志成为什么角色？

问自己一个关键问题：你认为在哪里你对那些最重要的AI政策问题拥有最大的影响力。粗略概括为四种主要角色：直接研究、在政府和企业内工作、宣传及协助招聘。

你可能对研究AI政策有兴趣：分析AI短期和长期的战略考虑，评估提出的解决方案，并给出新的方案建议。或者你有兴趣在政府工作——从各个利益相关方收集信息，与政府其他部门同事商议哪些方案可行，再直接实行方案。你可能想在企业做这些事情，而不在政府。再或者，你想做政策宣传——扩大宣传好方案的声音，提高公众对特定问题重要性的认识。或者你想做招聘——帮助人们做这些选择，为求职者和雇主牵线搭桥，使人们确信AI政策以及其中的某些问题非常重要。

由于目前值得倡导的提案非常有限，与宣传相比，战略分析、制定并实施可行方案在当下可能有更多的长期价值。然而假以时日，宣传最终会很重要，多个利益相关方都要参与确立首选方案。不同技能适用于这些不同的解决方法，而有些是通用技能，如AI知识、写作能力、互联网熟练度。现阶段，强烈建议有研究经验的人考虑上述各种研究问题，有其他技能的人也可以在许多潜在领域有所作为。

下文举例说明在AI政策领域可以做些什么，并特别关注研究和实践两大方面。

AI政策研究员

笼统地说，这一职业发展道路包括成为专家、并推动AI政策思考及干预过程不断向前发展。在举例列出具体研究领域和可能感兴趣的雇主之前，先说明你可以在政府、企业、学术界或是非盈利组织做这一工作。通常，政府不在新的政策思路发展的前沿，至少对长期AI政策而言是这样，但随着AI安全性和经济相关性日益受重视，这点可能会改变。注意你可以跨过研究和实践的界限——贡献构思的同时也实施解决方案。

短期政策研究选择

如果你有兴趣做短期政策研究，比如在这一领域建立直接影响力或专业可信的形象，你可以在各种机构工作。我们认为着重于短期的工作不太可能有很大影响力，因为到现在已经受到足够多的关注，但对很多人来说，为获得技能和信誉从而能研究更紧迫的问题，这是必要而有用的一步。

至于哪个机构或部门能使你取得最大的影响力，没有一个清晰明确的第一名，比如你的兴趣、你知识储备的领域、职位细节、你的国籍（如果想在政府工作）及其他因素也起作用。因此，致力在AI政策领域工作的人应该适应AI领域的变化。对此，我们提出了一些建议。例如，两年前OpenAI还没产生但现在已经是AI领域的重要角色，中国AI行业整体也在迅速发展。

正进行或即将进行这些研究的相关机构，以及有发展机会的地方，举例如下：

•牛津大学，正对未来的工作进行大量的分析；

•各种智库，比如布鲁金斯学会、新美国安全中心、数据与社会、国际特赦组织和阿兰图灵学院；

•咨询公司，比如麦肯锡；

•谷歌、DeepMind、微软、OpenAI、百度、腾讯、亚马逊等公司，以及非营利组织；

•美国联邦航空局，无人机方面；

• AI合作组织（The Partnership on Artificial Intelligence to Benefit People and Society）

当然，在任何大学都能做学术研究，但是，在一个人才充足的相关问题研究团队中工作能带给你很多帮助。拥有这种研究团队的大学包括牛津大学、剑桥大学、加州大学伯克利分校、麻省理工学院、华盛顿大学和斯坦福大学。如你认为自己能得到一个以上这样的工作，建议你找开放式工作，这样你既能与技术专家保持密切联系以便调整自己的研究，同时能灵活决定自己的研究目标，影响相关组织的研究方向（而不是钻进牛角尖）。

长期政策及战略研究选择

对于长期政策及战略研究，并没有多少严肃的研究工作正在进行，短期内也看不到会出现太多严肃研究的苗头。以下名单几乎囊括全部：

• Superintelligence的作者Nick Bostrom教授创办的牛津大学人类未来研究所（下文简称FHI）。 FHI /耶鲁大学AI全球政治研究小组有意聘请研究员、研究助理和实习生，研究方向是AI战略及政策，特别是长期战略问题。查看现需职位并订阅新职位开放通知。可随时向FHIjobs@philosophy.ox.ac.uk发送简历和研究兴趣简述。

•剑桥大学生存风险研究中心和位于剑桥大学的利弗休姆智能未来中心，研究有关AI安全性的技术和战略问题。查看现需职位并订阅新职位开放通知。

• Alphabet旗下的DeepMind可能是规模最大、最先进的强机器智能研究团队。团队有一些专门研究安全和道德问题的工作人员。查看现需职位并订阅新职位开放通知。Google Brain是Google的另一个深入学习研究项目。

• OpenAI，2015年成立，旨在“建立安全的AGI（强人工智能），确保AGI的利好被尽量广泛均匀地分配”。OpenAI已从科技界获得10亿美元资金承诺。

•全球灾难性风险研究所（CGRI）是一个无党派智库，旨在降低大到严重危害甚至毁灭人类文明的事件发生的风险。

如在政府从事这项工作，无法指出哪里最好，但可以是国防界和情报界（如美国情报高级研究计划局、美国国防高级研究计划局、美国国防部净评估办公室）和美国白宫科技政策办公室（OSTP），后者发布了《时刻准备着：为了人工智能的未来》报告。这三者在AI领域都有影响力，已经资助并开展相关研究。在美国国家科学基金会、美国国土安全高级研究计划局、美国海军研究局以及美国数字服务小组也对决定哪些研究项目拨款施加影响。

AI合作组织很可能在促进关于这些问题的讨论和共识建立上起到一定作用。至于它会否进行大量内部研究，尚不清楚。

虽然通常在上述组织中，至少有一个会发布空缺职位，但你也应尽量广撒网，了解哪些职位将会公布、哪些职位没有大范围公布。上述考虑同样适用于衡量工作机会的优劣——例如，与技术专家的接触程度，甚至对长期问题而言，与技术专家保持密切联系都非常重要，以确保你的工作符合合理的AI应用前景。然而，如前文所述，专家意见各不相同，所以你也应尽力观察AI趋势、独立而批判性地思考，多去理解合理的AI应用场景的范围，少作具体预测。

AI政策实施者

除了制定和评估政策外，还需要有人落实政策。

最终，你想得到可能的最有影响力且最相关的职位。在其它条件相同时，你在政府或主流AI公司的职位级别越高，AI成熟后你能决定政策的可能性就越大。

以下具体步骤以供考虑：

短期政策实践选择

参见上文讨论的政府机构，比如无人机和自动武器系统政策落实到的机构。也应考虑地方和州政府，国际机构（比如联合国裁军研究所、联合国裁军审议委员会），非营利组织如阻止杀手机器人运动、劳工部、美国国内政策委员会（及其他地方的同等机构），以及主要国家的国家立法机构。

如果你的目标是发挥最大作用，那么地方和州政府的工作、小企业的工作，只是获取经验的途径，而非目的。也有特例，包括特别杰出的司法管辖区（如美国加利福尼亚州），它能给其他各州或联邦政府提供示范，也包括发展前景特别好的初创公司。

此外，私企和非营利组织目前扮演重要角色，至少近期内很可能仍是AI行业发展的领跑者。因此如果你有兴趣将政策落到实处，那么应该首选Google、DeepMind、微软、Facebook和OpenAI这一类作为理想工作处。

长期政策实践选择

如果你的目标是在将来实施人工智能政策，那么，现在还不好说在哪里工作最好，因为这将取决于在这些年间制定和提出的各种政策。但是，杰出国家的立法和行政部门（例如内阁，美国国家安全委员会，科学技术政策局，美国国会），联合国（目前正在成立一个犯罪和司法研究所下属的AI中心）和欧洲委员会，以及一些关键性的企业应该被纳入考虑范围之中。

在申请或考虑接受工作时，请务必寻求有关行业和政策趋势的意见，以确保进入比较贴近实用的组织机构工作。对于那些还没能在长远AI问题上获得相关行业资质的人来说，在未来几年内想办法获得知识和经验是更有意义的事情，而不仅仅是为了尽快地到一个最有潜力的组织机构工作。要让长期的AI政策实践而不是政策研究变得尤为重要可能还要很长一段时间，而且将来有更多信息来让你辨别哪些组织更接地气。

为了进入角色，你是如何自我定位？

要了解哪些领域

AI政策不是一个非常成熟的领域，它涉及了许多其他学科。理想情况下，你会熟悉许多学科，并且至少在一个领域内具有深厚的专业知识。例如：

AI（人工智能）

毫不奇怪的说，要做AI政策工作，最好要知道AI的科学技术概况。这将有助于你将炒作与实际情况分开，对其现状形成良好感觉，并且可以更加明智地思考这个领域在将来会如何演变。

政治学与公共政策

这些学科可以帮助你了解不同机构在处理人工智能方面问题的作用及其制约（例如国内政治学和比较政治学相关子学科）和国际问题/动态（国际关系是一个相关的子学科）。科学和技术政策的子领域与AI政策极其相关，并提供了大量可供学习的案例以及一些基础性的概念框架。在诸如核武器竞赛和国际网络冲突等政治学领域，有许多类似的问题，这些问题与长期的AI政策相关，而且这两门学科的本科/研究生课程都倾向于强调统计分析和博弈理论等工具，可能对AI做出政策分析有用。

法律

这是许多在AI政策上工作的人所具有的背景。例如，有一个我们机器人年会系列，主要由法律学者组织，研究AI（主要是短期的）法律/政策问题，如责任，问责制，军事等问题。面对组织需要处理的AI相关细粒度问题，法律对于促进深入思考是有用的，而政治学和公共政策倾向于在更高的抽象层次上运作。理解法律还允许人们识别各种工具和杠杆来影响AI开发和部署。最后，国际法作为对国际关系的补充，提供了有关国际规范的一些有洞察力的观点，这些准则可能会形成并约束任何大型政府的先进AI的决策程序。

经济

当仔细思考工作的未来时，经济学是至关重要的。但是，在广泛的经济学文献中也有可能对其他AI政策问题有所了解，如工业组织和博弈理论。尤其是游戏理论在具备了非常先进的人工智能后可以用来映射思考一些关于协作的问题。

其他社会科学

以上只是相关学科的一些例子，但其他有关学科包括科学和技术研究，这是一个实证/概念领域，旨在促进对科学技术在社会中的作用的科学思考和科学家和工程师的决策过程；社会学和人类学，在考虑人工智能的社会和经济影响时尤为重要；心理学有助于研究小规模的人工智能所产生的影响，并了解人类与AI和机器人的如何交互作用，从而反过来可能会形成适应的政策和这个主题框架；媒体和传播学，与研究公众对AI的态度有关，以及更强大的有说服力的AI系统的潜在影响。

哲学与伦理

哲学家有能力以严谨的方式构建人工智能政策问题，伦理与分析何种未来更为美好直接相关。诸如尼克·博斯特罗姆和托比·奥德这样的AI政策工作中的很多研究人员在其他领域都有哲学背景。

安全和情报研究/国家安全

现在以及将来的一个特别关键的研究领域涉及到人工智能的安全隐患问题。未来AI可能会在这些领域更大程度上地使用，而且更为重视安全决策。目前，在AI政策领域，安全和情报研究专家和国家安全执法领域还没有得到充分的重视。

如何从总体上建立你的职业资本

如果你不能直接进入顶级政策职位，以下是你可以在该领域建立职业资本的一般步骤。

我们对这一领域任何人士的主要建议都是深入浅出的：尽可能多地学习，与其他对AI政策感兴趣的人进行交流，培养自己的技能、想法和相关工作经验，并尝试阐明和解决问题。

除此之外：

网络

AI政策是新颖的和迅速变化的，如果你正在寻找这方面的工作，你应该能够找到合适的人，以找到工作机会或被推荐。因此，如果经济上允许的话，就去参加AI大会并参加有关政策性问题的会议；与AI研究人员交谈；参加Facebook相关主题讨论群组，如人工智能安全；与圈内人员联系，谈谈你们的工作；即使没有空余的职位，如果你认为可以为将来增加价值，也可以表示出对工作的兴趣。

与人事政策研究与实践“前线”人员的交流是非常宝贵的，因为对这个话题的大部分分析还没有公布，所以考虑去人类未来学院这样的地方实习（或至少考虑注册他们的空缺职位资讯，上面会列出他们组织和其他地方的工作机会，包括实习和志愿者工作）。参加你的“本专业”学科或行业的会议和研讨会，以找到对AI感兴趣的其他人也是有价值的，帮助在其他领域工作的人员了解最新的发展情况，并找到可能的合作者。

跟踪AI的发展

如前所述，你将需要在一定程度上集中精力，了解最先进的技术状态，合理的趋势判断对于选择关注正确的问题来说至关重要。跟随AI发展的简单做法是订阅杰克·克拉克的Import AI资讯 （编者注，或者关注“大数据文摘”微信公众号），并遵循一些引导，如果你还不知道什么是“热点”，还要查看arXiv Sanity Preserver，它会过滤最新的上传到预打印的网站arXiv上的文章。

对于那些对术语背景知之甚少的人，参加Peter Norvig和Sebastian Thrun或Andrew Ng的在线课程可能是一个好主意。

一个粗略的经验法则是每周阅读三篇左右AI论文，以了解领域中发生的事情，人们使用的术语，以便能够区分真实和虚假的AI新闻。关于AI术语，你的目标应该是至少达到可互动级别的专业 - 基本上是能够在会议中进行非正式对话以通过AI研究员图灵测试，即使你无法自己撰写新奇的研究论文。

广泛阅读

请参阅下面的阅读材料清单。不幸的是，没有一本关于人工智能政策的规范教科书，你可以阅读以了解基础知识，也许那些关键的观点并没有包含在上面提到的学科中。所以广泛地阅读你不熟悉的领域，同时也利用你现有的专业知识。如果你刚开始（例如本科生），你可以考虑在主修计算机科学专业同时辅修政治科学，公共政策或经济学等专业，同时在这些领域之外广泛阅读。但是，要采取哪些课程以及主修哪些课程取决于你的特殊优势和可选项（例如你所在学校的课程）。

获得经验

为了了解如何制定政策，除了在政府或公司任职别无他法。许多有关例如“拉动哪个杠杆”，哪个是关键人物，什么问题在政治桌面上/下面的等等方面的知识，都不存在于书籍和文章，而是存在于处理这些问题的人身上的隐性知识。如果你可以在白宫，国会，联邦机构，地方/州政府，与政府进行互动的宣传团体，公司的政策/法律部门等地方实习，那么请努力争取。

在美国，AAAS科学和技术奖学金是博士们获得政策相关经验的一个成熟媒介。公共关系也是与政策密切相关的一个领域，在此领域中获得经验是很有价值的- 实际上，面向不同领域的团队往往会在公司和政府中共同合作。

在英国，政党政治（例如议会助理）和/或公务员制度（例如在商业，能源和工业战略部工作）方面的经验可能是有帮助的。同样，将利益相关者聚集在一起讨论问题的经验也是有价值的，这种经验可以来自私营部门或智囊团。另一个经验来源是开展政治活动，这可能是沟通，政策研究，言语写作，联盟建设，事件管理，团队建设等方面所需技能的重要来源。

最后，在一家类似谷歌的主流技术公司担任战略职务，即使最初的工作并不与AI直接相关，也将对转向AI政策行业提供很大帮助。你需要权衡取舍是将时间花在解决研究问题上还是在积攒相关经验上，但如果对AI政策感兴趣，有条件的人应该努力在实际政策问题上积攒一些工作经验。