翻译2017北京卷高考英语阅读D

邪恶机器(evil)会推军队的机器人杀手的好莱坞理论是愚蠢的。真正的问题是，人工智能(AI)可能会变得非常擅长实现一些东西，而不是我们真正想要的东西。1960年，著名数学家诺伯特·维纳(norbert wiener)创立了控制论(cybernetics)领域，他说:“如果我们使用并实现了我们的目的，运行的机械机制又不能有效干预(intervene)，我们最好确定投入机器的目的是我们真正的愿望。”

有特定用途的机器有另一种品质，我们通常把它与生物联系在一起:我们希望保留自己的存在。对于机器来说，这种品质不是与生俱来的，也不是人类引入的；这是一个简单事实的逻辑结果，就是机器死了，就不能达到原来的目的。因此，如果我们给一个机器人发出“取咖啡”的命令，它就会有强烈的成功欲望，关掉自己的开关，甚至杀死任何可能干扰它执行任务的人。如果我们不小心，那么我们可能会面临一种象棋比赛。对手是非常坚决的超级智能机器，他们的目标和我们自己的有冲突，而现实世界是一个棋盘。

这种游戏的进与输的可能性应该集中在计算机科学家的头脑中。一些研究人员认为，我们可以将机器密封在一种防火墙中，并用它们来回答一些棘手的问题，但我们绝不能允许它们影响现实世界。不幸的是，这个计划似乎不太可能奏效:我们还没有发明一个安全的防火墙来对付普通人，更不用说超级智能机器了。

解决人工智能中的安全问题似乎是可能的，但并不容易。计划超级智能机器的到来可能需要几十年的时间。但这个问题不应该像某些人工智能研究者那样被忽视。有人认为人类和机器只要团队合作就可以存在——但这是不可能的，除非机器可以分享人类的目标。还有人说我们可以“把它们关掉”，就像超级智能机器笨到不考虑那种可能性一样。还有人认为超智能的人工智能永远不会发生。9月1933，11日，著名物理学家欧内斯特·卢瑟福自信地说，“所有人都希望，在这些原子的转变中，其中一个动力源就是月球上的光。”“然而，在12，1933年9月，物理学家利奥·齐拉特发明了中子诱发(neutron-induced)核链式反应。