我们能控制超级智能机器吗?

假设有人要编程人工智能系统它的智力高于人类，所以它可以独立学习。人工智能连接到互联网，可能可以访问人类的所有数据。它可以取代所有现有的程序，并控制全球在线的所有机器。这会产生乌托邦还是反乌托邦?人工智能能治愈癌症、带来世界和平、防止气候灾难吗?或者它会毁灭人类并接管地球吗?

计算机科学家和哲学家们一直在问自己，我们是否能够完全控制一个超级智能人工智能，以确保它不会对人类构成威胁。一个由计算机科学家组成的国际团队通过理论计算表明，控制一个超级智能人工智能基本上是不可能的。

“一台控制世界的超级智能机器听起来像科幻小说。但是，已经有一些机器能够独立地执行某些重要任务，而程序员还没有完全理解它们是如何学习的。因此，问题就来了，这是否会在某个时候变得无法控制，对人类来说是危险的。”该研究的合著者曼纽尔·塞布莱恩说，他是马克斯·普朗克人类发展研究所人类与机器中心数字动员小组的负责人。

对于如何控制超级智能，科学家们探索了两种不同的想法。一方面,有超常智慧的人工智能的功能可能是特别有限,例如,通过墙体从互联网和所有其他技术设备,所以可能没有接触外面的世界,这将使有超常智慧的人工智能更强大,更能回答人文任务。如果没有这种选择，人工智能可能从一开始就被激励着去追求最符合人类利益的目标，例如通过在其中编写道德原则。然而，研究人员也表明，这些以及其他当代和历史上控制超级智能人工智能的想法都有其局限性。

在他们的研究中，团队设想了一个理论上的遏制算法通过首先模拟人工智能的行为，并在被认为有害时阻止它，确保超级智能在任何情况下都不会伤害人类。但仔细分析表明，在我们目前的计算范式中，这样的算法是无法构建的。

“如果你把这个问题从理论计算机科学中分解成基本规则，事实证明，命令人工智能不要摧毁世界的算法可能会在无意中停止自己的操作。如果发生这种情况，您将不知道遏制算法是否仍在分析威胁，或它是否已经停止遏制有害的AI。实际上，这使得遏制算法无法使用”，人类和机器中心主任Iyad Rahwan说。

基于这些计算，遏制问题是无法计算的，也就是说，没有一个单一的算法能够找到一个解决方案来确定AI是否会对世界造成伤害。此外，研究人员证明，我们甚至可能不知道超级智能机器何时出现，因为决定机器是否显示出比人类更聪明，与容器问题是在同一个领域。

这项研究发表在人工智能研究杂志．