AI圈生存指南-InfoQ

什么是 AI 策略工作？

AI 策略是一种社会性的有关 AI 决策的分析与实践工作。AI 战略这个词有时候被用来指称对 AI 策略问题较大方面的研究，比如，我们希望 AI 能够被狭窄地还是广泛地使用？或者哪一个问题应该被优先研究？这篇文章将要讲述的就是有关“长期 AI 策略”的战略问题。

短期问题 vs 长期问题

当讨论 AI 策略的时候，分清楚短期与长期 AI 策略往往非常有用。

短期 AI 策略的关注点是社会正在努力解决的问题，比如无人驾驶汽车的驾驶责任问题、相对小规模的工人流离失所问题、算法偏差以及越来越自动化的监控问题。

长期 AI 策略则关注这样一种问题，它只出现在 AI 技术比现在更先进的时候，尤其是在这种先进性接连不断地发生的时候。这样的问题将会产生非常长期的持续的后果，比如 AI 安全风险，或者与“人类智能水平的 AI、超级智能的 AI”相关的地缘政治不稳定性。

这个区分并不是非常牢固：举例来说，有可能最后变成，我们现在认为是长期问题的事情会超出很多人的预料，因为我们高估了人工智能走向超级 AI 所需要的时间，当然，不同的专家会对这个问题的预估也会差别非常大。也许，和人工智能相关的最为严重的经济问题，将比安全问题需要更多时间，才有可能实现。

然而，长期 / 短期依然是一个非常有用的粗略的区分方式，这种区分正好反映了人类智能水平的 AI 或者说超人工智能在非常短期内不太可能实现，可是一旦它出现了，它就将拥有变革性的、持续的社会影响力。

大多数和近未来狭义 AI 系统相关的策略决策，都不太可能有什么长期持续的影响。但研究这方面的问题，有助于积攒经验，来研究更强大的 AI 系统，一些共通的策略框架与工具都可以用在它们身上。如果一个人研究的是已经存在的问题，那他就能确定这个问题是真实的，从而在工作中受到有益的影响。

另一方面，从长远角度来讲，长期的策略与战略可能更重要，尤其是在开发 AI 系统进展非常迅速的情况下。目前，这方面在概念上和实际上都没有很好地被开发，而且风险非常大，所以我们希望在这个领域做出贡献从而获得更高的收益。

我们估计，只有不到 10％的 AI 策略工作特别关注那些与未来可能出现的 AI 系统相关的问题，同时，有越来越多的工作集中在诸如无人驾驶汽车和无人机策略等更短期的问题方面。这就让长期问题被严重忽视了。

AI 策略工作要考虑哪些方面的问题？

为了了解 AI 策略中可能遇到的问题，请参考下面这些。

AI 能做到些什么？

AI 系统有一天能获得什么样的能力，可能产生什么样的社会后果？举几个例子，如果 AI 系统能做到下面这些事，会发生什么呢？

分析物理论文并提出新的实验？
对其他领域，包括 AI 开发，也做到同样的事情？
分析社会科学论文、互联网内容，以及 / 或者监控数据，并且对各种情况下的人类行为做出精细的预测？
生成某种语言或图像，旨在说服特定群体人类执行特定任务？
分析各种领域和信息源文本，从而生成小说材料、技术或者软件？
制定一个包括上述所有事情的计划？

计算机安全意味着什么？

AI 系统将会以一种比人类更有技巧的方式，用更便宜、高效、可靠的方法找出计算机系统中的漏洞，这样的可能性有多大？什么样的指标可能会在这方面提供更新？
国家或非国家实体能采取什么措施来防止这种情况发生，并且 / 或者减轻潜在的负面影响？
有没有可能出现这样一种情况：AI 系统能提高对黑客的防御能力，同一时间，它又能提高黑客入侵的能力？如果在黑客和金融机构敏感数据之间展开了一场“计算能力军备竞赛”，后者是否应该得到资助或调节，来提高他们拥有的计算资源呢？

自主武器会产生什么影响？

在短期未来、中期未来和长期未来里，什么样的自主武器（autonomous weapon）会被开发出来？什么样的指标可能会在这方面提供更新？
不同类型的自主武器的可能应用是什么？比如，什么样的自主武器最适合做空战支援，或者做堡垒对战、侦查、监视已占领土地、暗杀或者其他秘密行动？
考虑到自主武器可能的类型与应用场景，它对全球和平与安全可能会产生怎样的影响？
自主武器潜在的优势（高精确度、更少的平民伤亡、减少对人类士兵的需求）与缺点（降低了战斗门槛、造成潜在的地缘政治不稳定，比如军备竞赛、事故风险以及滥用的风险）如何？
开发相对便宜的自主武器，并让私人公民可获得破坏性武器的可能性有多大？可能需要什么样的监管行动来消除这种可能，什么时候应该采取适当的行动？人类发展进程中的哪些指标可能表示出采取行动是否恰当？
从其他新型武器（比如核武器、化学武器和地雷）的发展，以及国际治理对它们的反应中，能得到什么样的相关教训？
在限制或停止自主武器的开发和 / 或部署方面，有哪些合理的方式？限制开发需要从整体上限制吗？它是否带有太多推动地下开发的风险，或者对较少社会责任方有太多风险？ (点击放大图像)

如何确保广义 AI 系统的安全性？

一个能够创造出长期理性的、拥有广阔机会的 AI 系统，应该能够做出非常难以预测的行动。值对齐问题就是一个例子——让强大的 AI 系统去实现一个不太明确的“目标”就可能构成全球性的灾难性风险。

即使值在一个 AI 系统和它的用户之间形成了“对齐”，运行一个 AI 系统去实现一个特定目标也可能是违法行为，只要运行的方式让人们无法仔细审视系统本身就可以。举个例子，一个目标明确为“赚钱” 的 AI 系统，它有可能会打破一些关于赚钱的法律规定，虽然在开发和测试这个 AI 系统的时候，它看起来并不会这样。

考虑到这些之后，关于开发和部署这样有潜在危险的系统过程中的合作与冲突，就有这样一些重要问题浮出水面：

在开发和部署安全的 AI 过程中，如何在相关人员中鼓励合作的精神？
从一个悖论的角度，如何构建与分析 AI 的国际竞争与合作？
事先在各方之间，就“什么构成了 AI 系统部署的潜在风险”、“在什么情况下这种部署应被视为合法”这些问题达成一致，这样有效吗？
在各方之间，什么类型的协议是可以强制执行的？

你想在工作中扮演什么样的角色？

你需要问自己一个最重要的问题：在最重要的 AI 策略问题上，你认为自己最有可能在哪里发挥出最大的影响力？下面是其中四种最主要的角色：直接研究、在政府和行业内工作、宣传，以及帮助招募人才。

在 AI 策略领域，你可能会对直接研究感兴趣：分析短期和长期 AI 参与的战略考虑，评估提出的解决方案，并提出新的方案。你可能想在政府工作，搜集各个利益相关方的意见，与你政府部门的其他同事商量可行的做法，并且直接实施解决方案。你可能想做我刚才提到的某些事情，但想在行业内而不是政府部门工作。你还可以做宣传工作，帮助优秀的解决方案发声，并且提高对特定问题重要性的广泛认识。再或者，你还可以帮助招募人才，帮助应聘者认识这些职业选择，连接求职者与雇主，并且说服人们了解 AI 策略或者特定问题的重要性。

鉴于目前可推广的好方案有限，长期价值很可能比目前直接的在战略分析和可行解决方案方面的工作更有价值。无论如何，经过一段时间之后，随着许多利益相关方的进入，宣传工作最终还是会变得十分关键。在解决问题时，不同的技能可以用在不同的方面，当然还是有一些跨学科的通用技能，比如 AI 方面的知识、写作能力，以及协作能力等。我们强烈建议那些有研究经验的人做直接研究的工作，去解决上面说到的那些科研问题，但就目前来说，拥有不同技能的很多人都能在潜在领域做出贡献。

下面这部分会提供一些例子，来说明一个人可能在 AI 策略领域做些什么工作。我主要讲两个广阔的领域：研究和实践。

AI 策略研究者

广义来说，这条职业道路就是成为 AI 策略的考察与干预措施前沿领域的专家。在列出具体研究领域和一个人可能感兴趣的雇主例子之前，要着重强调，应聘者可以在政府部门、行业领域、学术领域或者非营利机构从事这些工作。至少对长期 AI 策略来说，政府部门很显然不是从根本上开发新策略创意的前沿，但随着 AI 安全和经济相关性越来越受到重视，这一局面也可能会改变。请注意，一个人其实可以在研究与实践之间跨越边界，既贡献想法，又实施一些解决方案。

短期策略研究的选择

下面是一些相关机构的例子：

牛津大学，那里正在开展着大量对未来工作的研究；
各种智库，比如布鲁金斯研究院、新美国安全中心、数据 & 社会、大赦国际，以及阿兰·图灵研究所；
咨询公司，如麦肯锡；
公司与非营利机构，比如 Google、DeepMind、微软、OpenAI，百度，腾讯和亚马逊；
美国联邦航空管理局，对无人机问题的研究；
贸易协会，比如 IEEE（尤其是他们关于人工智能和自治系统伦理探讨的全球性倡议），美国人工智能协会，以及他们在 AI 方面的合作。

长期策略和战略研究的选择

这方面的机构不是很多，下面的列表几乎涵盖了全部：

牛津大学未来人类未来研究院是由尼克·波斯特洛姆创立的，波斯特洛姆的代表作是《超级智能》；
剑桥大学生存风险研究中心、智能和人性未来研究中心，研究和 AI 安全相关的技术和战略问题；
Alphabet 公司旗下的 DeepMind 可能是开发通用机器智能的最大和最先进的研究机构。它有大量的员工专门研究 AI 相关的安全和伦理问题。 Google Brain 是另一个 Google 旗下的深度学习研究项目；
OpenAI 创立于 2015 年，它的目标是“建造出安全的通用人工智能，并确保它的效用尽可能地广泛和均匀分配。”OpenAI 现已获得技术团体 10 亿美元的投资；
全球灾难性风险研究所（GCRI）是一个无党派的智库，其目标是减少严重危害甚至在全球范围内摧毁人类文明等重大事件的风险。

AI 策略实践者

为了开发和评估一个策略想法，就必须要有人去执行这些策略想法。这类职位极其有影响力，所以，让真正理解这些问题的人去从事这些工作十分重要。相对策略研究来说，实践者这类职位需要更强的社交技巧。

从什么地方开始长期实施 AI 策略，我们都不清楚。这就是说，建构起你自己的职业资本，能够在 AI 兴起的时候抓住机遇，这很重要。最终，你其实是希望能得到尽可能最有影响力、最具相关性的职位。一切都是平等的，你在一个政府部门或者 AI 公司的级别越高，等到 AI 成熟的那一刻，你来决定 AI 策略的可能性就越大。为了实现这一点，你可以参考下面所说的步骤。

短期策略实践的选择

有可能在自主武器系统策略方面拥有重要影响力的组织，包括有国家安全委员会和国防部副部长策略办公室。还要考虑到地方和州政府、国际机构（如裁研所或裁军研究所关于自主武器的工作）、非营利机构（如制止杀人机器人运动）、美国劳工部、国内政策委员会，以及主要国家的立法机构。

如果你的目标是最大限度地发挥自己的影响力，那么地方和州政府的工作以及在小型企业的工作就是获取经验的好机会，而不是终身从事的职业。

此外，至少在近未来，私营公司和非营利机构可能会在 AI 进步方面引领前沿，所以，如果你想把策略想法付诸实践，像 Google、DeepMind、微软、Facebook 和 OpenAI 这样的公司应该在你的理想公司列表之内。

长期策略实践的选择

长期策略是一个复杂的话题，因为风险很高，并且由于错误决策产生危害的可能性要高于益处。比如，你可以提出，机器智能可以提供比竞争对手更具战略优势的想法，从而开展军备竞赛，而不事先重复讨论合作的重要性。或者，你可以做出低质量的分析、以不可靠或耸人听闻的方式来架构问题，从而败坏 AI 策略领域的名誉。所以，在努力付出的同时谨慎对待工作，并且与专家详细讨论细节，这十分重要。

你如何让自己承担起这些角色？

学习哪些领域？

AI 策略不是一个非常成熟的领域，并且它还笼络了许多其他学科。在理想的情况下，你将会熟悉许多学科，并至少在其中之一的领域里成为专家。下面举几个例子。

AI

毫无疑问，要从事 AI 策略，你最好了解到关于 AI 科学和技术的大量知识。这将会帮助你分辨虚假和现实，对艺术的状态有所了解，并且明智地思考未来领域如何演变。

政治科学和公共策略

这两个学科将帮助你了解不同机构在处理 AI 相关问题时的角色和局限性（例如，国内政治学和比较政治学就是两个相关的子学科），它们还将帮你了解国际问题和国际动态（国际关系也是个非常有相关性的子学科）。科学技术策略的子领域也和 AI 策略非常相关，并且提供了大量可参考的实例和一般性概念框架。在政治科学领域有很多类似问题都已经被充分研究过了，比如核装备竞赛、国际网络冲突，这些都和长期 AI 策略相关联，在这些领域的本科和研究生项目则倾向于强调统计分析和博弈论等工具，它们都可能对 AI 策略分析有用处。

法律

这是很多 AI 策略工作者的学科背景。举个例子，有一个叫 We Robot 的系列会议，专注于（大多是短期的）AI 相关的立法 / 策略问题，比如问责性、军事等，它就主要由法律学者组成。理解法律能让一个人认识到各种影响 AI 开发和部署的工具和杠杆。国际法补充了国际关系，提供了有关国际规范的一些洞见，这样就能限制任何大型政府部门关于先进 AI 的决策程序。

经济

当你仔细思考工作的未来时，经济维度都是必不可少的。但是，在广义的经济学文献中，也有很多可能对 AI 决策有用的洞见，比如工业组织和博弈论。尤其是博弈论，当高度先进的 AI 到来时，博弈论可以作为一个思考协调问题的透视镜。

其他社会科学

以上所说的仅仅是相关学科的一些例子，其他相关的学科还有很多，比如科学和技术研究（它是一个旨在促进科技在社会中的作用、对此进行科学思考的、研究科学家和工程师决策过程的实证 / 概念领域），社会学，人类学（它在研究 AI 对社会和经济影响的实话非常有用），心理学（它有助于研究小尺度的人工智能影响，有助于理解人类如何与 AI、机器人进行互动，这些研究反过来可以促进合适的策略和框架等议题），以及媒介和传播研究（它有助于研究公众对 AI 的态度，并且可用来预测更强大的 AI 系统的潜在影响）。

哲学与伦理学

哲学家有能力以严谨的方式构建 AI 策略问题，而伦理学则有助于分析何种未来更值得我们追寻。有些 AI 策略研究者，比如尼克·波斯特洛姆和托比·奥德（Toby Ord），就拥有哲学和其他领域的学术背景。

安全和情报研究

在目前的研究和未来的考虑方面，一个非常关键的领域就是人工智能将带来的安全问题。未来，AI 很有可能被直接应用于各个领域，它将比现在的使用更为广泛，在安全决策方面，AI 将受到更大的关注。在安全和智能研究、国家安全方面的专家目前对 AI 策略的领域研究还处于滞后阶段。

(点击放大图像)

如何构建你的职业生涯资本

如果你现在还无法直接获得一个顶级策略职位，下面就是一些你在这个领域构建自己职业资本的通用步骤。

网络

AI 策略领域非常新，而且处在不断的变化发展中，如果你想在这个领域找份工作，你需要认识正确的人，才能得到被推荐工作的机会。

在策略和战略方面构筑职业生涯，你需要随时能抓住机遇，并且善用关系网络。你可能在权力发生重大转移的时候在政府部门获得一席之地，在现在这样一个人才匮乏的时刻，在某个组织里快速提升的机会非常大，所以去尽可能快地申请那些关键职位很重要。

正因如此，只要财务状况允许，就应该多去各种 AI 会议，参与策略相关问题的讨论，和 AI 研究者交流，积极参与像 AI 安全话题这样的 Facebook 团体，去认识那些这个领域的人，谈论你自己的工作和他们的工作，如果你觉得自己可以在未来给他们的工作增加价值，那就表达出你去这些地方工作的愿望，即使他们目前并没有招募需求也没关系。

和那些在 AI 策略最前沿的研究和实践者交谈，价值不可估量，因为很多的研究话题还没被发表，所以你也可以考虑在人类未来研究院这样的地方做实习工作。在你本行的领域参加会议和工作坊也很有价值，这样就能找到同行业人力找到对 AI 感兴趣的人，让那些在其他领域工作的人也了解到最新的进展，在这个过程中你会分辨出潜在的可能合作者。

紧跟 AI 发展潮流

就像前面讨论过的那样，你需要一定程度的专注，了解这门艺术发展的状态，了解受欢迎的趋势，这些对你选择正确的关注点非常关键。如果你不知道什么是“热点”，那么一个非常简单的方法就是订阅 Jack Clark 的 Import AI newsletter ，关注那里的重要人物。你还可以看看 arXiv Sanity Preserver ，它会过滤出一些最近将上传到 aiXiv 的的论文。

那些对专业术语没什么背景知识的人，可以参加一些在线课程，比如 Peter Norvig and Sebastian Thrun 的课程，或者吴恩达的课程，那些在校生也许还可以真的参加一些AI 课程。

一个简单粗暴的经验法则是每周读3 篇以上AI 相关的论文，从而大概了解一下该领域正在发生的事情，比如了解人们使用的术语，区分真假新闻等。关于AI 术语，你的目标至少也应该是能够在相互交流的过程中获取知识，大体来说，要能够用随意对话的方式在会议中通过AI 研究者的图灵测试，虽然你自己并不真的能写出一篇研究论文。

广泛阅读

不幸的是，我们并没有一本关于AI 策略的权威教材给你读，让你能学到必要的知识，而在学科之间的某些关键的洞见并不会在某处随便提到。所以，要在你不熟悉的领域进行广泛的阅读，同时也要利用你现有的专业知识。如果你才刚刚开始，比如你还是个本科生，你可以考虑修计算机科学和政治科学、公共政策或者经济学双学位，同时在你选的领域之外也做到广泛阅读。然而，上什么课程，以哪门课为重点，这些都要看你自己的特殊优势和选择。

积累经验

想要知道决策过程是什么样的，就必须在政府或企业工作。大多数与此相关的知识并不存在与书本或文章里，而是存在于大家心照不宣的实际工作中的。比如应该使用哪一个杠杆工具，哪些人是这个领域的领头羊，什么问题被摆在了政治桌面上？如果你可以在白宫、国会、联邦机构、地方/ 州政府、某个跟政府有互动关系的宣传团队，甚至某个公司策略/ 法律部门获得实习机会，那就去做吧。

在美国，科学促进会AAAS 的科学技术奖学金是最近的博士获取策略经验的极好途径，对那些有资格的人来说，总统管理奖学金、总统创新研究员和白宫研究员项目也非常值得考虑。公共关系也是和策略非常相关的一个领域，在其中积累经验会非常有价值。面向一个又一个合作方的团体往往也需要和大企业与政府有工作往来。

在英国，拥有党派政治或者公民服务方面的工作经验非常有用。类似地，这些经验会把所有利益相关方聚合在一起，共同讨论有价值的议题，当然这种经验也可以从私人行业或智库中获得。另一种方式是从政治精选中获取经验，这将极大提高一个人的沟通、策略研究、演讲撰写、组建联盟、事件管理、团队建设等等方面的能力。

同样地，参与当地高效的利他主义团体也会增强这些能力，并且让你更容易在这个过程中找到对AI 未来感兴趣的、志同道合的合作者。

最后，在像Google 这样的大型科技公司中担任战略性职位，也会让你很容易转向AI 策略领域，即使你在最初的职业角色里并没有直接从事AI 相关的工作。在花时间直接解决研究问题与建构相关职业经验之间，的确存在利益的权衡，但对AI 策略感兴趣的人应该至少尽可能去获取一些实践策略方面的工作经验。

(点击放大图像)