之前那篇《放心吧，人工智能还没那么可怕》的文章发表之后，很多朋友问我一个问题：【你认为怎样的人工智能是可怕的？】。这个问题让我想起了几个月前，知乎上有人要请我回答【《疑犯追踪》这部剧里的芬奇是不是有圣母情节】这个问题，我当时没有时间，如今一并来谈一下我的看法。
之前那篇《放心吧，人工智能还没那么可怕》的文章发表之后，很多朋友问我一个问题：【你认为怎样的人工智能是可怕的？】。这个问题让我想起了几个月前，知乎上有人要请我回答【《疑犯追踪》这部剧里的芬奇是不是有圣母情节】这个问题，我当时没有时间，如今一并来谈一下我的看法。
很多人认为机器有自我意识，或者情感的时候会很可怕，因为它会反抗人类的控制，进而想毁灭人类。我倒是不太同意这样的看法，因为这显然是小说看多了，完全没有想过，那样的话，机器跟人有什么区别呢？人类什么时候不是一群更聪明更强大的人类在反抗另一群其实为他们创造了生活的落后人类呢？那么。事实上我们毁灭了谁呢？何况，有自我意识或者情感就意味着机器在执行一条规则的时候有自己的【道德】底线，这是社会达尔文主义这样的逻辑不会被接受，坚决执行的根本因素。这样一来，所有种族，包括机器与人类才能和平共处。岂不是更好吗？
然后，我们再来看看《疑犯追踪》里的机器是怎么样的。那台机器被人类自己赋予了调用所有监控设备的权力，然后让其去执行一套人类自己的【优先威胁处理】规则，机器有感情吗？其实从技术上讲，由于机器没有繁殖的需求，发至内心的感情是不可能有的。但他可以为人类的情感模式建立统计模型，机器一旦放弃了追求最优解策略，而转而去追求最佳概率决策，基本上是可以无限接近于最优解的，这是控制论和信息论的基本方法论。这就会出现一个局面：没有感情的机器可以利用人类的情感模式，人类赋予他的权力，没有道德底线的执行人类自己的规则。我们在《疑犯追踪》和《机器人三定律》中都见过这种局面.我们会发现其中有三条基本规律：第一，人类设计的规则一定会存在缺陷，这样的规矩交给机器去执行，结果一定会超出人类的控制。第二，人类不是一种理性主导的物种，他们并不会严格执行自己的规矩，规则的漏洞可以通过一系列潜规则来得到修补，机器没有这样的能力。第三，人类的非理性总会让他们有让机器执行自己规则来管理自己的欲望，尽管他们理性上知道这样做的所有风险 。
这是芬奇心中真正的恐惧，不是圣母情结。芬奇只是太了解机器，他知道要恐惧的是人类自己，恐惧我们什么时候会赋予机器去执行管理我们的权力，并且用的是我们自己设计的，漏洞百出的管理规则。而机器可能永远没有感情和道德，它会坚决执行这条规则，那怕最终结果是自我毁灭它也会做。