@@@@这是人工智能的十年，（人工智能方面接连有）一个又一个惊人的功绩。@@@@一个会下棋的Al在学习了仅四个小时的（象棋）比赛技巧之后，不仅能打败所有的人类棋手，而且还能打败以前所有由人类编程的国际象棋机器？这已经是不久前的新闻，那下一个（关于AI的新闻）是什么呢？@@@@确实，这些惊人的成就都是在所谓的狭义人工智能（领域），（这样的领域里）机器执行高度专业化的任务。@@@@但许多专家认为这种限制只是非常暂时。@@@@到本世纪中叶，我们可能会拥有人工通用智能（AGI），（这种智能）机器在我们自己能够处理的所有任务中，表现都能够达到人类水平。@@@@@@@@如果是这样，（我们就）没有什么理由认为它（AI）将止步于此。@@@@机器将摆脱人类智慧的许多物理限制。@@@@我们的大脑以缓慢的生化处理速度运转，功率大概就是灯泡功率的大小，而且它们（大脑）的大小还受限于人类产道的尺寸。@@@@考虑到这些障碍，它们所能做到的已经非常卓越的。@@@@但是脑子可能离思维的物理极限还很远，就像我们的眼睛和极为强大的韦伯太空望远镜的差距一样远。@@@@@@@@一旦机器在设计更智能的机器方面比我们更出色，就能加速接近这些思维的物理极限。@@@@这对我们来说意味着什么？@@@@我们能确保与这样的机器安全而有价值地共存吗？@@@@从有利的方面看，人工智能对于很多事情已有用又有利，而超级人工智能有望成为极其有用和极其有利。@@@@但是，Al变得越强大，谨慎地指定其目标就越重要。@@@@民间传说中充满了一些人目标错误的故事，造成了灾难性的后果，例如，迈达斯国王可能希望他所接触的一切都变成金子，但他当时并没有真正打算将此（魔力）应用于他的早餐。@@@@@@@@因此，我们需要创造强大的"人类友好型"Al机器，它的目标与我们的价值观要可靠地保持一致。@@@@使这项任务变得困难的一件事是，我们自己本身就远不是真正"人类友好型"的。@@@@我们对彼此以及对与我们共存于地球的许多其他生物做了许多糟糕的事情。@@@@如果超级智能机器不比我们强多少的话，就会有大麻烦。@@@@我们将拥有强大的新智能，它会放大人类易犯错的天性中的黑暗面。@@@@@@@@因此，为了安全起见，我们希望机器在伦理上和认知上都能成为“超人”。@@@@我们希望它们能以道德制高点为目标，而不是像我们许多人一样在“道德低谷”中度日。@@@@幸运的是，它们将足够聪明地完成这项工作。@@@@如果有通往道德高地的途径，他们会比我们更善于发现它们，并引导我们走正确的方向。@@@@@@@@然而，这种乌托邦式的愿景有两个大问题。@@@@一个是我们如何让机器开始这个旅行（开始朝着道德制高点这个目标进发），另一个是达成这个目标意味着什么。@@@@“开始”的问题是无论目标实际上是什么，我们都需要足够清晰地告诉机器他们，以便我们能够确信他们会能达成目标。@@@@这并不容易，因为我们是部落生物，本身就和这个理想有冲突。@@@@我们经常忽视甚至是造成陌生人的痛苦，至少是间接造成他人痛苦。@@@@那么，我们如何让机器朝着更好的方向发展呢？@@@@@@@@至于 "目的 "问题，我们把自己交给这些道德指导者和把关者（也即是前面提到的以道德制高点为目标的AI），可能会牺牲我们的自主权，而自主权是我们作为人类的一个重要部分。@@@@机器比我们更善于坚守道德高地，可能预计会阻止一些我们目前认为理所当然的过失。@@@@例如，我们可能会失去偏袒自己社区的自由。@@@@@@@@当然，失去做坏事的自由并不总是一件坏事：剥夺我们在工厂雇佣童工的自由，或在餐馆吸烟的自由，是进步的标志。@@@@但我们是否准备好让道德“硅警察”（即AI）限制我们的选择？@@@@他们可能非常擅长这样做，以至于我们不会注意到他们；但我们中很少有人可能乐意接纳这样的未来。@@@@@@@@这些议题可能看起来难以置信，但它们在某种程度上已经存在了。@@@@例如，在英国的国家卫生服务系统（NHS）中，人工智能已经对如何使用资源发挥了一些作用。@@@@如果赋予它更大的职能，它可能会比人类管理得更高效，并为纳税人和那些使用卫生系统的人的利益行事。@@@@然而，我们会剥夺一些人（例如高级医生）目前拥有的控制权。@@@@由于我们想确保人们受到平等对待，还想确保政策公平，所以需要正确地规定Al的目标。@@@@@@@@我们要和一个新的强大技术打交道，这种新技术本身而言确实是一种新的思维方式。@@@@为了我们自己的安全，我们需要为这些新的思想家（AI）指出正确的方向，并让他们为我们妥善行事。@@@@目前还不清楚这是否可能，但如果可能的话，这将需要一种合作精神，以及将自我利益放在一边的意愿。@@@@@@@@通用智能和道德推理通常被认为是人类特有的能力。@@@@但为了安全问题，我们似乎需要把它们看作一个整体：如果我们要赋予机器通用智能，就也需要赋予它们道德权威。@@@@而这究竟会把人类置于何地？@@@@（因此）我们更有理由现在就考虑目标，并对我们所希望得到的东西保持谨慎。@@@@@@@@