科技巨头 (石慌)

“再比如，假设我们赋予这个超级ai的任务目标是解答一个极度苦难的数学问题，它会意识到有一个更有效的办法来完成任务目标，那就是把整个世界、整个地球乃至更夸张的尺度变成一个超大型计算机，这样它的运算能力就更强大了，完成任务目标就更容易了。而且它会意识到这个办法并不会被我们认可，人类会阻止，人类就是在这个模式中的潜在威胁，为此它会为了最终目标解决一切阻碍，包括人类，任何事务，比如策划一些次一级的计划消灭人类等行为。”

“当然了，这些都是夸张的描述，我们遇见这种事情还不会错到这样的地步，但以上三个夸张的例子所代表的主旨很重要，即：如果你创造了一个非常强大的优化程序来实现最大化目标，你必须要保证你的意义上的目标和包括所有你在乎的事情要精确。如果你创造出了一个强大的优化过程，并给予它一个错误的或者不精确的目标，后果就可能像是上面的例子。”

“有人可能会说了，如果一个‘电脑’开始在人脸上插上电极，我们可以关掉电脑。实际上，这绝对不是一件容易的事情，如果我们非常依赖这个系统，比如我们依赖的互联网，你知道互联网的开关在哪里吗？”

“所以肯定是有理由的，我们人类是聪明以遇见到威胁并尝试避免，同样的道理比我们更聪明的超级ai就更不用说了，它只会做的比我们更出色。”

“在这个问题上，我们不应该十足自信的表示我们能够掌控一切。”

“那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”

“但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”

“就连我们人类黑客每时每刻都能发现网络漏洞。”

“也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”

“比如现话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”

“或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”

“所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”

“我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”

“那么对于这个问题能够被有效的解决是否保持乐观？”

“我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”

“这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”

“智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”

“如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”

“这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”

“的确还是相当困难（哄笑声再次传遍全场）！”

“我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”

“现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”

“如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”

“而且我能想象假如一切顺利，几百年、几千年或几百万年后当我们的后代子孙首我们这个世纪，他们也许会祖先、我们这一代人所做的最最重要的事情，就是做出了最正确的决定。”

“谢谢！”

(未完待续。)

：访问网站

【完本感言和关于新书】

这个系列故事的第一本即：科技巨头从3月1o号开始连载，快9个月的时间，这个系列故事也算告一段落了，估计现在有不少的同学们正拿着搬砖呐，或者准备把石头送到杨教授那里去感受一下被磁暴步兵支配的恐惧（雅蠛蝶，啊内瑟哟）

你特么竟然就这么完本了？？？？

言归正传。其实石头是能够理解的，心情肯定也是复杂的，要说写吧肯定是可以继续写下去，一个个黑科技冒出来，可以在写个15o多万字。

但是必须要考虑全局啊，不是石头不想写下去，写下去就能继续有收入啊为什么不写？是真的不能写了，剧情发展到现在已经不容许继续写，再写下去一是套路化，这个大家都懂，二是继续写就要蹦了，因为该结尾了强行下去反而适得其反。

理由如下：“任鸿”今天的影响力在全世界都是独一无二了，在搞下去，任鸿的目标应该就是称霸世界，做全球老大了，在本书内容中写一些东西是要被和谐的，内外部因素都在说，要结束了。

但故事并没有结束不是吗？这是个系列故事，只是第一阶段大致落幕了，科技巨头是和平世界下的背景架构，以前石头似乎也说过，想要写一个这样的故事，即：科技的两面性。

毫无疑问，任何事务都存在着两面性的，核子科技可以造福世界，也能毁灭世界，光影是永不分离的，有正面的影响当然就有负面的作用，这几乎是亘古不变的。

科技巨头便是想要给大家展示一个美好的未来，而接下来的紧随情节展开的双弦文明就是体现在科技的负面影响。

科技巨头和双弦文明都是同一个世界架构下的故事，系列故事，所以还没有结束。

石头总觉得，一本网文长篇小说，15o万这个字数也差不多了，也知道童鞋们比较喜欢看更多字数的文章，喜欢持久是情理之中的，咳咳，不要想歪了。

不过没关系，三部曲加起来，字数也会不少了，持久也是肯定的啦，而且又不会断更，续集在今天已经发布了，童鞋们点击搜索双弦文明即可追看最新的内容。

石头当然知道把整个系列故事合在一起会更好，因为看起来能赚更多的订阅，要知道现在续集**出来一本新书，意味着就要开始更新免费的公众章节，直观的看起来的确没合在一起划得来，至少从经济上来说是这样。

有必要说的是，石头是想要给大家写出好看的故事，喜欢看的故事，并为此努力，同时赚点糊口的稿费。赚钱是为了糊口，毕竟现在是全职状态，稿费是唯一的生活来源所以更需要喜爱这个故事的童鞋正版支持了，一个重要的点是，石头不是为了纯赚钱而写故事，因为无比热爱所以才选择入行。

石头也不会说出那些说就算每天喝白水也要为理想而奋斗的话来，太假了不是吗？自己都不信更别说让大家相信了。所以，我的好友和编辑都建议让我别分开写，但石头还是分开了。

因为热爱，的确热爱，至少现在还有童鞋们作为支持的后盾，未来怎么样，做了再说，做不下去了，只能说网文不适合你，人嘛，我相信每一个人都有属于自己的坚持和起码的原则。

石头也相信有舍有得这句话，分开写也许失去了糊口的费用，但也可能让作品更让童鞋们喜欢，也许扑街了，石头退出网文圈了，但也可能其他行业取得新成绩也说不一定。这就是未来，惊喜与忐忑同行，谁也不知道下一秒发生什么，但石头知道下一秒要做什么，然后在期待与忐忑中等待结果，这就够了。