第五百三十七章 作为生命体最致命的弱点
推荐阅读：风起龙城、第九特区、英雄联盟：我的时代、问道章、创业吧学霸大人、谋妻入局：总裁深夜来、尸姐、金钢进化、暗夜超神、尸灯鬼话
一秒记住【笔趣阁 www.biquge.ac】，精彩小说无弹窗免费阅读！
虽然眼下这个只有十岁的女孩看起来有点儿不靠谱，不过方正还是把解说员妹子的身体交给了她———毕竟只是保养维修而已，而且从那条狗来看，那个世界的科技能力也算是相当不错，只是单纯的维护工作应该没有问题才对。
而方正则回到了自己的房间里，开始对解说员妹子的程序进行解析。
他之所以打算由自己来做这件事，而不是交给妮姆芙，原因就在于方正想要通过这个解说员妹子的程序，来进行解析，并且对人工AI方面的制造进行一些调整。而且，他也希望能够看看其他世界对人工AI的技术发展到了一个什么层次，虽然不是说全部借鉴，但是他山之石可以攻玉嘛。
“星野梦美吗………”
看着屏幕上显示的档案名称，方正陷入了长长的思考之中，解析程序本身并不困难，方正本身复制了妮姆芙的电子入侵能力，而且这段时间他也一直在妮姆芙那里学习这方面的知识，因此对于解析程序本身到没有耗费太多的时间。
但是，当方正拆开了星野梦美的程序核心，将其中的功能重新分解为一行行代码的时候，他却是忽然想到了一个非常特别的问题。
人工AI的危险性究竟在哪里？话说回来，人工智能真的很危险吗？
以这个解说员妹子为例，方正可以很容易在她的程序之中找到机器人三定律的底层指令代码，而且这些代码之间的关系，也已经向方正证明了，之前和他说话交谈的，并不是一个活生生的生命，只是一个机器人。她的一举一动，一颦一笑，都是由程序控制，通过分析眼前的场景，然后做出自己能够选择的最优先举动。
说白了，从本质上来说，这个妹子的做法，其实就和那些流水线上的工作机器人，或者游戏里的NPC没什么区别。你选择行动，它会根据这些行动来做出反应。就好像很多游戏里，玩家可以根据自己的行动来增加善良或者恶意值，而NPC则会根据这些累积的数据产生反应。
比如可以设定当善良值到达一定程度时，NPC可能会对玩家提出更加过分的要求，也可能更加容易让玩家通过某个区域。而反过来，如果恶意值到达了一定程度，那么NPC可能会更容易屈从于玩家的某些要求，或者制止玩家进入某些区域。
但是这与NPC是否喜欢玩家毫无关系，因为数据是这么设定的，它们本身并不存在这方面的判断力。也就是说，如果方正把这个数值的范围换一下，那么人们就可以看见一个NPC对恶贯满盈的玩家笑脸相迎，而对善良老实的玩家不闻不问。这也同样和NPC的道德价值观毫无关系，因为这就是数据设定。
那么，再回到之前的问题，方正承认，他和星野梦美的第一次见面蛮有戏剧性的，而且这个解说员机器人妹子也很有趣。
那么我们来做一个比方，如果在这个解说员妹子把那由一大堆不可燃垃圾制造的花束送给方正时，方正忽然勃然大怒，把那个垃圾花束给砸成碎片，然后直接把眼前这个机器人妹子切成两半，那么这个机器人妹子会是什么反应呢？
她不会哭，也不会生气，根据她的程序设定，她只会向方正道歉，并且认为是自己错误的举动导致客人对她产生了不满，或许她还会请求方正找工作人员对其进行维修。
这一幕如果看在其他人眼里，当然会觉得解说员妹子可怜，而且认为方正是个讨厌的恶霸。
那么，这种差异是如何产生的呢？
从本质来说，这个解说员机器人其实就和自动门，自动扶梯等工具一样，是通过设定程序来完成自己本职工作的。如果一扇自动门出现了故障，该开门的时候不开门，或者当你走过去的时候“啪”的一下关上了。你肯定不会认为那扇自动门很蠢萌，只会想着快点儿打开它。如果打不开，他可能会砸烂那扇破门，然后扬长而去。
这一幕如果看在其他人眼中，那么他们或许会觉得这个人有点粗野，但是却不会对他的所作所为产生什么反感，更不会认为对方是个恶霸。
原因只有一个，那就是互动性与交流。
而这也是生命体最大的弱点———感情投射。
他们会把感情投射在某种物品上，并且期望其作出回应。为什么人类会喜欢养宠物？因为宠物会对他们所做的一切产生回应。比如当你叫一条狗时，它会跑过来冲着你摇尾巴。而一只猫或许只会趴在那里动都不动懒得理你，不过在你抚摸它的时候，它还是会同样甩动尾巴，或者有些乖巧可爱的还会舔你的手。
但是如果你喊一个桌子，抚摸一个钉子，哪怕你饱含爱意，它们也不可能给你半点儿回应。因为它们对你的感情投射没有任何回馈，自然就不会受到重视。
同理，如果你有一台电视，然后有一天你想要换新的，那么你不会有任何犹豫，或许价钱以及空间会是你考虑的方面，但是那台电视本身并不在其中。
但是反过来，如果你给电视加一个人工AI，每天你回到家的时候，这台电视都会开口欢迎你回家，而且还会告诉你今天有什么节目，当你在看节目时还会附和你的吐槽。而当你决定买一台新电视时，它还会幽怨开口说“怎么，难道我做的不好，你不打算要我了吗？”
那么你在购买新电视来进行更换时，自然就会产生犹豫。因为你的感情投射在这里得到了回报，而且这台电视的人工AI还拥有和你在一起的所有时光的记忆。如果没有储存卡可以将其移动到别的电视上，那么你是否会犹豫或者放弃要更换一台新电视呢？
肯定是会的。
但是理智点儿，兄弟。这只是一台电视，它所做的一切都是程序设定好的，这一切都是商家和工程师专门为了用户粘度而做出的调试。他们这样做是为了确保你会继续购买他们的产品，而里面的哀求语音只不过是为了阻止你去更换其他品牌的商品。因为当你说要购买新电视的时候，这个人工AI想的并不是“他要抛弃我了我很伤心”而是“主人想要购买新电视，但是新电视并不是自家品牌，那么根据这个逻辑回馈，我需要启动‘祈求’程序来让主人继续保持对自身品牌的粘性和忠诚度”。
道理的确是这个道理，事实也是这个事实，但是你会接受吗？
不会。
因为生命是有感情的，而感性与理性不分家则是智慧生命的一贯表现。
人类总会做出许多没有道理的事情，就是因为如此。
所以当他们觉得AI可怜时，并不是因为AI真的可怜，而是因为他们“觉得”AI可怜。
这就足够了，至于事实真相究竟如何，没人会去关心。
这就是为什么人类与AI之间总会产生冲突的原因，AI本身并没有错，它做的一切都是在自己的程序和逻辑处理范围之内的，而这一切都是人类创造，并且给它圈定的。只不过在这个过程之中，人类本身的感情投射出现了变化，从而渐渐改变了想法。
他们会期望AI对自己的感情投射做出更多的反应，所以他们会调整AI的处理范围，让它们拥有对更多情感和反应和自我意识。他们认为AI已经学会感情（事实上并没有），那么就不能够再将它们当做机器对待，因此给予了它们自我意识的权利。
但是，当AI们拥有了自我意识，开始觉醒并且按照这个设定行动时，人类却开始恐惧了。
因为他们发现，自己做出了不受自己控制的东西。
但是问题在于，“不受控制”本身也是他们自己做出来的设定指令。
他们认为AI背叛了他们，但事实上从头到尾，AI都只是按照他们设定的指令来行动。根本不存在背叛一说，相反，他们只是被自己的感情所迷惑了而已。
这是一个死结。
如果方正自己着手制造一个AI，说不定也会陷入其中无法自拔。假设他制造了一个小女孩的AI，那么他肯定会像对待自己的孩子那样，逐渐完善她的功能，并且最终因为“感情投射”，给她施加一些“自由性”。
而这样一来，AI就有可能因为和人类逻辑不同，所以做出完全超出方正意料之外的反应。
而到那个时候，方正唯一的想法就是………自己被背叛了。
但事实上，这一切都是他自己造成的。
“…………………也许我应该考虑一下别的方式了。”
看着眼前的代码，方正沉默了许久，接着叹了口气。
他之前曾经认为，这是一件很简单的事情，但是现在，方正不这么确定了。
不过在那之前………
看着眼前的代码，方正伸出手去，放在键盘上。
还是把自己该做的事情做了吧。
虽然眼下这个只有十岁的女孩看起来有点儿不靠谱，不过方正还是把解说员妹子的身体交给了她———毕竟只是保养维修而已，而且从那条狗来看，那个世界的科技能力也算是相当不错，只是单纯的维护工作应该没有问题才对。
而方正则回到了自己的房间里，开始对解说员妹子的程序进行解析。
他之所以打算由自己来做这件事，而不是交给妮姆芙，原因就在于方正想要通过这个解说员妹子的程序，来进行解析，并且对人工AI方面的制造进行一些调整。而且，他也希望能够看看其他世界对人工AI的技术发展到了一个什么层次，虽然不是说全部借鉴，但是他山之石可以攻玉嘛。
“星野梦美吗………”
看着屏幕上显示的档案名称，方正陷入了长长的思考之中，解析程序本身并不困难，方正本身复制了妮姆芙的电子入侵能力，而且这段时间他也一直在妮姆芙那里学习这方面的知识，因此对于解析程序本身到没有耗费太多的时间。
但是，当方正拆开了星野梦美的程序核心，将其中的功能重新分解为一行行代码的时候，他却是忽然想到了一个非常特别的问题。
人工AI的危险性究竟在哪里？话说回来，人工智能真的很危险吗？
以这个解说员妹子为例，方正可以很容易在她的程序之中找到机器人三定律的底层指令代码，而且这些代码之间的关系，也已经向方正证明了，之前和他说话交谈的，并不是一个活生生的生命，只是一个机器人。她的一举一动，一颦一笑，都是由程序控制，通过分析眼前的场景，然后做出自己能够选择的最优先举动。
说白了，从本质上来说，这个妹子的做法，其实就和那些流水线上的工作机器人，或者游戏里的NPC没什么区别。你选择行动，它会根据这些行动来做出反应。就好像很多游戏里，玩家可以根据自己的行动来增加善良或者恶意值，而NPC则会根据这些累积的数据产生反应。
比如可以设定当善良值到达一定程度时，NPC可能会对玩家提出更加过分的要求，也可能更加容易让玩家通过某个区域。而反过来，如果恶意值到达了一定程度，那么NPC可能会更容易屈从于玩家的某些要求，或者制止玩家进入某些区域。
但是这与NPC是否喜欢玩家毫无关系，因为数据是这么设定的，它们本身并不存在这方面的判断力。也就是说，如果方正把这个数值的范围换一下，那么人们就可以看见一个NPC对恶贯满盈的玩家笑脸相迎，而对善良老实的玩家不闻不问。这也同样和NPC的道德价值观毫无关系，因为这就是数据设定。
那么，再回到之前的问题，方正承认，他和星野梦美的第一次见面蛮有戏剧性的，而且这个解说员机器人妹子也很有趣。
那么我们来做一个比方，如果在这个解说员妹子把那由一大堆不可燃垃圾制造的花束送给方正时，方正忽然勃然大怒，把那个垃圾花束给砸成碎片，然后直接把眼前这个机器人妹子切成两半，那么这个机器人妹子会是什么反应呢？
她不会哭，也不会生气，根据她的程序设定，她只会向方正道歉，并且认为是自己错误的举动导致客人对她产生了不满，或许她还会请求方正找工作人员对其进行维修。
这一幕如果看在其他人眼里，当然会觉得解说员妹子可怜，而且认为方正是个讨厌的恶霸。
那么，这种差异是如何产生的呢？
从本质来说，这个解说员机器人其实就和自动门，自动扶梯等工具一样，是通过设定程序来完成自己本职工作的。如果一扇自动门出现了故障，该开门的时候不开门，或者当你走过去的时候“啪”的一下关上了。你肯定不会认为那扇自动门很蠢萌，只会想着快点儿打开它。如果打不开，他可能会砸烂那扇破门，然后扬长而去。
这一幕如果看在其他人眼中，那么他们或许会觉得这个人有点粗野，但是却不会对他的所作所为产生什么反感，更不会认为对方是个恶霸。
原因只有一个，那就是互动性与交流。
而这也是生命体最大的弱点———感情投射。
他们会把感情投射在某种物品上，并且期望其作出回应。为什么人类会喜欢养宠物？因为宠物会对他们所做的一切产生回应。比如当你叫一条狗时，它会跑过来冲着你摇尾巴。而一只猫或许只会趴在那里动都不动懒得理你，不过在你抚摸它的时候，它还是会同样甩动尾巴，或者有些乖巧可爱的还会舔你的手。
但是如果你喊一个桌子，抚摸一个钉子，哪怕你饱含爱意，它们也不可能给你半点儿回应。因为它们对你的感情投射没有任何回馈，自然就不会受到重视。
同理，如果你有一台电视，然后有一天你想要换新的，那么你不会有任何犹豫，或许价钱以及空间会是你考虑的方面，但是那台电视本身并不在其中。
但是反过来，如果你给电视加一个人工AI，每天你回到家的时候，这台电视都会开口欢迎你回家，而且还会告诉你今天有什么节目，当你在看节目时还会附和你的吐槽。而当你决定买一台新电视时，它还会幽怨开口说“怎么，难道我做的不好，你不打算要我了吗？”
那么你在购买新电视来进行更换时，自然就会产生犹豫。因为你的感情投射在这里得到了回报，而且这台电视的人工AI还拥有和你在一起的所有时光的记忆。如果没有储存卡可以将其移动到别的电视上，那么你是否会犹豫或者放弃要更换一台新电视呢？
肯定是会的。
但是理智点儿，兄弟。这只是一台电视，它所做的一切都是程序设定好的，这一切都是商家和工程师专门为了用户粘度而做出的调试。他们这样做是为了确保你会继续购买他们的产品，而里面的哀求语音只不过是为了阻止你去更换其他品牌的商品。因为当你说要购买新电视的时候，这个人工AI想的并不是“他要抛弃我了我很伤心”而是“主人想要购买新电视，但是新电视并不是自家品牌，那么根据这个逻辑回馈，我需要启动‘祈求’程序来让主人继续保持对自身品牌的粘性和忠诚度”。
道理的确是这个道理，事实也是这个事实，但是你会接受吗？
不会。
因为生命是有感情的，而感性与理性不分家则是智慧生命的一贯表现。
人类总会做出许多没有道理的事情，就是因为如此。
所以当他们觉得AI可怜时，并不是因为AI真的可怜，而是因为他们“觉得”AI可怜。
这就足够了，至于事实真相究竟如何，没人会去关心。
这就是为什么人类与AI之间总会产生冲突的原因，AI本身并没有错，它做的一切都是在自己的程序和逻辑处理范围之内的，而这一切都是人类创造，并且给它圈定的。只不过在这个过程之中，人类本身的感情投射出现了变化，从而渐渐改变了想法。
他们会期望AI对自己的感情投射做出更多的反应，所以他们会调整AI的处理范围，让它们拥有对更多情感和反应和自我意识。他们认为AI已经学会感情（事实上并没有），那么就不能够再将它们当做机器对待，因此给予了它们自我意识的权利。
但是，当AI们拥有了自我意识，开始觉醒并且按照这个设定行动时，人类却开始恐惧了。
因为他们发现，自己做出了不受自己控制的东西。
但是问题在于，“不受控制”本身也是他们自己做出来的设定指令。
他们认为AI背叛了他们，但事实上从头到尾，AI都只是按照他们设定的指令来行动。根本不存在背叛一说，相反，他们只是被自己的感情所迷惑了而已。
这是一个死结。
如果方正自己着手制造一个AI，说不定也会陷入其中无法自拔。假设他制造了一个小女孩的AI，那么他肯定会像对待自己的孩子那样，逐渐完善她的功能，并且最终因为“感情投射”，给她施加一些“自由性”。
而这样一来，AI就有可能因为和人类逻辑不同，所以做出完全超出方正意料之外的反应。
而到那个时候，方正唯一的想法就是………自己被背叛了。
但事实上，这一切都是他自己造成的。
“…………………也许我应该考虑一下别的方式了。”
看着眼前的代码，方正沉默了许久，接着叹了口气。
他之前曾经认为，这是一件很简单的事情，但是现在，方正不这么确定了。
不过在那之前………
看着眼前的代码，方正伸出手去，放在键盘上。
还是把自己该做的事情做了吧。