第二百一十五章 智能与反制

这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。

就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机。也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板。

另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据。这都是一样的。

所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变得越来越先进的同时继续做它本来要做的事情。

在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害，是个友善的人工智能。

为了自保，人类要提出对生存的威胁，所以人类会买枪、系安全带、吃抗生素等等。人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等。

当我们做发型的时候，每一根头发都是我们手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断。

在我们追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。

动物在追求它们的目标时，比人类不矜持的多了。

只要能自保，蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。

但是当起飞发生后，电脑不只是拥有了高智商而已，还拥有了其它超级能力。这些超级能力是感知能力，他们包括：

回到隔壁老王的故事。隔壁老王和一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——

当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标。

它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。

这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理。

隔壁老王还需要资源这个垫脚石。当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间。