人工智能的进步将会导致人类的灭亡吗？

　　是的。(如果指的是超强人工智能的话)
　　首先，我想解释一下为什么埃隆·马斯克、比尔·盖茨、尼克·博斯特罗姆等人一直在说这个问题，因为许多人都在讨论这个话题，但是并没有提到人工智能如何或为什么对人类构成了存在威胁。
　　目前我们能想到的一些威胁或者说问题，如人类社会大大增加不平等、破坏世界经济运作和/或导致大规模失业其实并不构成人类的存在威胁。人类以前经历过更糟糕的情况。如：
　　大型陨石撞击。
　　附近的超新星或伽马射线暴。
　　气候的巨大转变导致全球粮食生产崩溃。
　　一种极具传染性的病毒。
　　全球核战争。(或许)
　　人工智能如何可能对人类构成这种规模的威胁呢？
　　关键在于智能。
　　更重要的是，一种（远远）比人类更聪明的智能可能有与人类不同的目标。让我们看一个例子，说明一种比另一种物种更聪明的物种如何对较弱者构成存在威胁。以大猩猩和人类的情况为例。大多数人类并不对大猩猩怀有敌意，但我们有其他目标（农业），因此我们破坏它们的栖息地，大猩猩无法阻止我们。一种比人类聪明得多的人工智能可能不会对我们怀有敌意，但它可能会决定利用地球的资源来实现自己的目标，而人类无法阻止它。因此，人类可能会灭绝。
　　1）智能爆炸的可能性（我们创造的聪明人工智能将很快设计出更聪明的继任者，然后再设计出更聪明的人工智能，非常快地（几天内？）存在一种比任何人类都聪明得多的人工智能）。
　　2）难以将超级智能人工智能的目标与人类的目标保持一致。
　　现在，也许我们无法制造比我们更聪明的智能体。也许发展进展会非常缓慢，人类将能够一直保持控制。但至少可以考虑人工智能的智能增长比我们预期的要快得多，而且没有人类保持控制的情况。即使发生这种情况的概率非常低，其负面后果如此之大，我们应该花些时间思考并投入一些精力来防止它发生。
　　当然，针对超级智能人工智能所带来的存在威胁，有各种反驳的论点。例如，人工智能永远无法拥有自由意志或自己的目标。任何足够先进的智能都会自动变得＂道德＂。人类会为人工智能编程，使其目标始终与我们的目标保持一致。仅仅因为某物比我们更聪明，并不意味着我们无法控制它。但是，所有这些论点都有缺陷。
　　基本，我们已经确定，如果存在一些超级智能的实体，其目标与人类不同（例如利用人类的资源做其他事情），那么人类无法阻止它，因此人类将会灭绝。
　　这并不意味着我不支持当前的人工智能研究。我也认为应该努力缓解短期内人工智能发展带来的危险（破坏经济、自动化武器等）。我认为在未来50年内出现超级智能人工智能的概率很小。但是短期的危险并不是生存威胁，而超级智能人工智能的危险是生存威胁。
　　因此，在短期内，对于正常的人工智能进展和应用，人工智能不是生存威胁。但是，如果智能爆炸可能发生，那么最终可能会（可能需要几十年到几个世纪，但埃隆·马斯克认为会更快）创建一个超级智能，而超级智能人工智能是一种生存威胁。
　　写于某某高校人工智能实验室