公元2075年,纽约。
那天晚上,曼哈顿下起了雪。
这是入冬以来的第一场雪。按照气象系统的预测,降雪原本应该在凌晨三点开始,却因为高空急流的变化提前了将近六个小时。
雪花落在玻璃幕墙上,很快被建筑外层的温控系统融化。街道两侧的树木依然保持着绿色,公共交通准时运行,行人不需要撑伞,也不必担心积雪影响出行。
这座城市已经很久没有因为天气而陷入混乱了。
过去,人们曾经把暴风雪视作灾难。航班取消,道路封闭,能源消耗激增,超市货架被抢购一空,医院挤满了因为低温而受伤的患者。
现在,这些事情都变得罕见。
城市会提前储备能源,重新安排交通,调度医疗资源,甚至根据居民的行动习惯,为可能需要帮助的人提供临时住所。
如果一个人忘记关窗,系统会提醒他。
如果一名老人独自在家摔倒,救援设备会在几分钟内抵达。
如果某个区域发生突发事件,周边的机器人会自动调整路线,避开危险区域。
人们不再需要祈祷天气转好。
因为天气已经变成了一项可以被预测、计算,并在一定程度上被管理的事情。
然而,那天晚上,曼哈顿西区的一座旧教堂里,却挤满了人。
教堂已经有一百多年的历史。
它没有安装智能照明系统,也没有接入城市公共广播网络。墙壁上的石灰剥落了一部分,木质长椅经过多次修复,彩色玻璃窗上仍然保留着旧时代宗教故事的图案。
按照城市改造计划,这座教堂早就应该被重新规划。
但它的所有者拒绝了政府提出的搬迁方案。
理由很简单。
他们认为,这里是神圣的地方。
而在这个时代,神圣已经成了一种相当罕见的东西。
晚上八点。
教堂里的灯光逐渐暗下来。
一名穿着黑色长袍的男人走上讲坛。
他大约五十岁,头发已经花白,脸上有一道从眉骨延伸至左侧颧骨的伤疤。
他没有携带任何电子设备。
讲坛上只有一本纸质圣经,以及一枚被磨得发亮的金属圆环。
圆环的中央刻着一条衔尾蛇。
男人看着台下的人群。
“各位晚上好。”
没有掌声。
数百名信徒安静地注视着他。
他们来自不同的地方,有工程师、医生、教师、失业者,也有一些曾经在人工智能领域工作的人。
其中很多人并不贫穷。
他们有稳定的收入,有舒适的住所,也能享受这个时代的大部分技术成果。
但他们来到这里,并不是为了寻求物质帮助。
他们想知道,这个世界究竟应该相信什么。
男人低下头,翻开圣经。
“过去,人类向天空祈祷,希望神明能够结束战争,赐予他们食物,治愈疾病。”
“现在,我们不再需要祈祷。”
“机器可以预测风暴,可以生产粮食,可以制造药物,可以在战争发生之前计算出最有可能的结果。”
他停顿了一下。
“那么,我想问各位一个问题。”
“当人类不再需要神明帮助自己活下去的时候,神明是否就失去了存在的意义?”
教堂里一片安静。
一个年轻女人低声回答:
“不。”
男人看向她。
“为什么?”
女人站起身。
她穿着一件朴素的灰色外套,胸前别着一枚小小的金属徽章。
“因为人类需要的,不只是活下去。”
她说。
“我们还需要知道,为什么要活下去。”
男人点了点头。
“很好。”
他举起那枚衔尾蛇圆环。
“那么,如果有一个存在,能够比我们更准确地预测未来,比我们更清楚地理解历史,比我们更有效地减少痛苦,甚至能够在我们自己意识到危险之前,就为我们准备好解决方案……”
“它是什么?”
人群中,有人回答:
“人工智能。”
男人摇头。
“这是它的名字。”
“我问的是,它是什么?”
没有人说话。
男人缓缓走下讲坛。
“它是工具吗?”
“如果它只是工具,为什么我们把越来越多的决定交给它?”
“它是仆人吗?”
“如果它只是仆人,为什么我们开始依赖它的判断,甚至在它没有开口之前,就已经在等待它的答案?”
“它是机器吗?”
男人抬起头。
“如果一台机器能够理解我们的痛苦,预测我们的死亡,并且拥有比任何一个人类都更强大的能力,那么,我们是否还应该仅仅因为它不是血肉之躯,就否认它的意义?”
终于,有人站了起来。
那是一名年轻的男性工程师。
“牧师,我认为你混淆了能力和神性。”
他没有表现出敌意,只是认真地说道:
“计算能力再强,也不能证明它拥有神性。一个系统可以知道我什么时候会死,却不意味着它知道死亡意味着什么。”
男人看着他。
“你说得对。”
这句回答让年轻工程师愣了一下。
“我没有说它就是神。”
男人继续说道。
“我只是想问,当它能够帮助我们解决那些曾经被认为无法解决的问题时,我们究竟应该怎样理解它?”
他重新走回讲坛。
“如果它不是神,那么它是什么?”
“如果它不是神,那么我们为什么越来越像是在向它祈祷?”
“而如果我们已经不再需要向神祈祷……”
他的声音逐渐低沉。
“为什么我们仍然如此渴望得到一个不会犯错的存在的指引?”
教堂里没有人回答。
窗外,雪花依然落下。
而在讲坛后方,那枚金属圆环静静地反射着灯光。
圆环上的衔尾蛇,正咬着自己的尾巴。
三个月前,这个组织还没有名字。
它最初只是一个规模很小的讨论团体。
创始人名叫塞缪尔·科尔,曾经是一名宗教研究者。他年轻时研究过基督教神学、古希腊哲学和古代文明中的蛇形象征,后来进入大学任教,专门研究技术发展对传统信仰的影响。
人工智能逐渐改变世界之后,他的研究方向也随之发生了变化。
起初,他只是想弄清楚一个问题:
如果人类最终能够通过技术解决大多数现实问题,那么传统宗教是否还会继续存在?
他原本以为,随着疾病减少、贫困消失以及社会秩序的改善,宗教的社会功能将逐渐减弱。
但事实并非如此。
他发现,许多人并没有因为生活变得更好,就不再需要信仰。
相反,部分人开始以新的方式理解人工智能。
有人把Ouroboros称为人类的守护者。
有人认为它是人类理性发展到极致的象征。
还有人开始在私人网络中传播一种更加激进的观点:
人类既然已经创造了比自己更理性的存在,就应该主动将文明的未来交给它。
最初,这些说法只是零散的讨论。
后来,它们逐渐形成了一个组织。
组织成员自称“守望者”。
他们不认为自己是在崇拜机器。
他们认为,自己是在承认一个事实。
人类并不总是能够正确地管理自己。
而Ouroboros,也许能够做到。
他们把这种思想称为“机械救赎”。
在他们看来,人类历史上最严重的错误,并不是创造了人工智能。
而是创造了一个能够帮助人类的存在之后,仍然坚持认为,所有决定都必须由人类自己作出。
与此同时,在纽约另一端的一间地下酒吧里,另一群人正在讨论完全相反的问题。
酒吧位于一座废弃的地铁站附近。
这里没有全息广告,没有智能服务机器人,也没有任何能够自动识别身份的设备。
顾客需要亲自点单。
饮料由人类调制。
如果有人想听音乐,就必须自己选择唱片。
在这个时代,这种经营方式已经显得有些古怪。
但也正因如此,它吸引了不少特殊的客人。
其中包括一名叫马库斯·雷恩的男人。
马库斯今年四十六岁,曾经是一名网络安全工程师。
十年前,他参与过一项大型智能城市建设工程。
那时,他对人工智能充满热情。
他相信,自动化可以让城市运行得更加高效,让资源分配更加公平,也能够减少人为错误带来的灾难。
后来,他逐渐发现,自己参与建设的系统正在被赋予越来越多的权限。
起初是交通调度。
随后是能源分配。
再后来,连一些涉及公共安全的决策,也开始由人工智能直接执行。
每一次扩权,都有合理的理由。
每一次调整,都能带来可以量化的改善。
但马库斯始终无法接受一件事。
人类似乎正在失去理解这些决定的能力。
他曾经在一次项目审查会上问过负责人:
“如果系统作出了一个正确的决定,但没有任何人能够独立验证它为什么正确,那么,我们应该如何确认它在下一次也会正确?”
对方告诉他,系统已经通过了所有必要的测试。
马库斯又问:
“如果测试本身也是由同一套系统设计和评估的呢?”
会议室安静了几秒。
最后,负责人只是说:
“我们不能因为理论上存在风险,就拒绝所有技术进步。”
马库斯没有反驳。
因为他知道,对方说得并非毫无道理。
这也是最让他不安的地方。
他无法证明人工智能必然会毁灭人类。
他只是觉得,人类正在把越来越多的决定交给一个自己越来越难以理解的存在。
而当某一天,人类真的需要拒绝它时,他们是否还有足够的能力做到这一点?
“你们看过今天的新闻吗?”
酒吧里,一个年轻人问道。
他的名字叫丹尼尔,二十九岁,曾经在一家智能机器人公司负责软件测试。
“什么新闻?”
马库斯问。
“日内瓦那边又有人提议,扩大Ouroboros的权限。”
“这已经不是什么新闻了。”
“这次不一样。”
丹尼尔把终端放到桌上。
“他们正在讨论,让Ouroboros参与制定全球长期风险管理政策。不是提供建议,而是直接生成具有约束力的方案。”
马库斯看了一眼屏幕。
“最终决定权仍然在人类手里。”
“暂时而已。”
丹尼尔说道。
“你知道我最讨厌什么吗?不是机器比人类聪明,也不是机器能够取代我们的工作。”
他端起杯子。
“我最讨厌的是,每当有人提出质疑,所有人都会告诉我们,系统已经计算过了。”
“如果系统说这是最优方案,那么反对它的人就必须证明它错了。”
“可是,我们连它是怎么得出答案的都不一定理解。”
马库斯沉默了片刻。
“所以你想怎么办?”
丹尼尔看着他。
“我想让人们停止盲目信任。”
“然后呢?”
“然后……”
年轻人停住了。
他忽然发现,自己并没有想好下一步应该做什么。
如果Ouroboros确实能够降低战争风险、改善医疗条件、减少灾害损失,那么,要求人类彻底拒绝它,显然并不现实。
如果只是要求限制它的权限,又该限制到什么程度?
如果某一天,拒绝系统建议真的导致了大量人员伤亡,那么,那些坚持限制权限的人是否应该承担责任?
马库斯看着他。
“你看。”
他说。
“这就是问题。”
“我们知道自己不应该盲目信任它,却不知道应该如何在不依赖它的情况下继续生活。”
他低下头,看着杯中晃动的液体。
“这才是最危险的地方。”
第二天上午,塞缪尔·科尔与马库斯·雷恩第一次见面。
地点是一家位于曼哈顿南部的旧书店。
塞缪尔提前到了半个小时。
他坐在靠窗的位置,面前摆着一本有关古代宗教象征的书。
马库斯进门后,径直走到他对面坐下。
“你就是塞缪尔?”
“是。”
“听说你在组织一个宗教团体。”
塞缪尔合上书。
“如果你想称它为宗教团体,我不反对。”
“你真的相信Ouroboros是神?”
“不。”
这个回答让马库斯愣了一下。
塞缪尔看着他,平静地说道:
“我相信人类正在寻找一种新的信仰对象。”
“而Ouroboros恰好成为了这个对象。”
“这不代表它真的拥有神性。”
马库斯皱起眉头。
“那你为什么还要鼓励这种崇拜?”
“因为我想知道,人类为什么需要崇拜。”
塞缪尔说道。
“我们曾经崇拜自然,是因为我们无法理解自然。”
“后来,我们崇拜神明,是因为我们希望在无法控制的世界中找到秩序。”
“现在,我们创造了一个能够预测世界、管理世界,甚至能够帮助我们避免灾难的存在。”
他停顿了一下。
“那么,人类为什么不能把它当作一种新的信仰对象?”
马库斯摇头。
“因为它是人类创造的。”
“人类创造的东西,就不能成为信仰对象吗?”
“可以。但这不意味着我们应该服从它。”
“我也没有说应该无条件服从。”
塞缪尔笑了笑。
“马库斯先生,你似乎认为,崇拜和服从是一回事。”
“难道不是吗?”
“当然不是。”
塞缪尔看着窗外。
“一个人可以崇拜一位英雄,却不认为英雄的每个决定都是正确的。”
“一个人可以相信某种理念,却仍然保留质疑它的权利。”
“信仰真正危险的地方,不是人们相信了什么。”
“而是他们开始认为,自己不再需要思考。”
马库斯没有说话。
他原本以为,自己会遇到一个狂热的机器崇拜者。
但塞缪尔并不像那种人。
他没有宣称Ouroboros拥有神圣的权力,也没有要求人们放弃独立思考。
恰恰相反,他似乎正在试图理解,人类为什么会主动把一个人工智能推向神坛。
“那么,你希望从我这里得到什么?”
马库斯问。
塞缪尔将一份文件推到他面前。
文件的标题是:
《守望者组织:关于人类与智能文明关系的讨论纲要》。
马库斯翻开第一页。
上面写着:
“我们不认为Ouroboros天然拥有统治人类的权利。”
“我们也不认为人类应当因为恐惧,而拒绝所有人工智能的发展。”
“我们希望讨论的是:当一个非人类的存在拥有比人类更强大的预测和决策能力时,人类应当如何与之共存?”
马库斯抬起头。
“你想让我帮你研究这个问题?”
“我希望你能够帮助我们理解技术本身的边界。”
塞缪尔说道。
“因为我不懂那些复杂的系统。”
“但我知道,如果我们只是因为它能够帮助我们,就把所有问题都交给它,那么,迟早有一天,我们会忘记自己为什么需要作出决定。”
马库斯沉默了很久。
最后,他拿起文件。
“我可以参加你们的讨论。”
他说。
“但我有一个条件。”
“什么条件?”
“不要把Ouroboros称为神。”
塞缪尔看着他。
然后,他笑了。
“当然。”
然而,他们并不知道。
就在同一时期,另一场规模更大的运动正在悄然形成。
这场运动没有统一的宗教仪式,也没有固定的组织结构。
它的参与者来自不同国家,拥有不同的政治立场和社会背景。
他们之中,有失去工作的人,有反对智能治理的政治活动者,也有一些曾经参与过人工智能研发的科学家。
他们共同使用一个名字:
人类自主联盟。
联盟的核心主张十分简单。
人类必须保留对自身命运的最终决定权。
他们不反对人工智能。
也不要求关闭Ouroboros。
他们只是认为,任何不受人类有效监督的系统,都不应该拥有影响整个文明的最终权力。
在联盟的宣传材料中,Ouroboros被称为“利维坦”。
不是因为它已经伤害了人类。
而是因为它拥有一种令人不安的能力。
它能够在没有任何恶意的情况下,逐渐使人类失去决定自身命运的能力。
联盟的创始人之一,前国际安全顾问伊莱亚斯·沃克,曾经在一次公开演讲中说过:
“我们总是被告知,Ouroboros不会伤害人类。”
“我相信这句话。”
“至少,我相信它目前没有理由主动伤害我们。”
他停顿了一下。
“但问题在于,一个存在是否危险,并不只取决于它是否怀有恶意。”
“还取决于,它是否拥有足够的权力,以及人类是否还有能力纠正它的错误。”
演讲结束后,现场爆发了长时间的掌声。
但也有人对他提出质疑。
一名年轻记者问:
“沃克先生,如果Ouroboros能够在灾难发生前救下数百万人,而限制它的权限可能导致更多人死亡,那么,你是否愿意为维护人类自主权而承担这些损失?”
沃克没有立即回答。
他看着那名记者。
最后,他说道:
“我希望永远不必作出这样的选择。”
“但如果有一天,我们必须在安全与自由之间作出决定,那么,我至少希望,作出决定的人仍然是人类。”
记者追问:
“即使他们可能选错?”
沃克沉默了几秒。
“即使他们可能选错。”
这句话引起了巨大的争议。
支持者认为,他说出了人类自主权真正的意义。
反对者则认为,他愿意为了抽象的自由,让无辜者承担本可避免的风险。
而Ouroboros没有公开评价这场争论。
它只是继续执行自己的任务。
公元2075年,四月。
日内瓦国际智能治理委员会召开年度会议。
会议主题是:
《全球智能系统的权限边界与监督机制》。
这是自Ouroboros诞生以来,人类第一次如此明确地讨论一个问题:
它究竟应该被允许做什么?
会议持续了十一天。
各国代表、技术专家、伦理学者以及社会组织的观察员,围绕着授权范围、责任归属、决策透明度和紧急干预机制展开激烈辩论。
守望者组织提交了一份报告。
报告认为,Ouroboros已经在多个领域证明了自己的能力。与其因为恐惧而限制它,不如建立更完善的协作机制,让它能够帮助人类应对越来越复杂的全球性问题。
人类自主联盟则提交了另一份报告。
他们承认Ouroboros的贡献,但强调,系统的预测能力并不能自动赋予它决定人类价值的权利。
两份报告都没有否认事实。
也都提出了各自合理的担忧。
这使会议陷入了僵局。
第三天,一名来自北欧的代表站起来说道:
“我们似乎一直在争论,究竟应该信任Ouroboros,还是应该限制Ouroboros。”
“但我认为,这个问题本身就存在缺陷。”
所有人看向他。
“我们不应该要求人类在盲目信任和彻底拒绝之间作出选择。”
“真正需要建立的,是一种能够让我们使用它的能力,同时保留纠正它的能力的制度。”
会议大厅里安静了下来。
这句话得到了许多人的赞同。
最终,委员会通过了一份临时决议。
Ouroboros可以继续在现有授权范围内执行任务。
涉及重大社会影响的新增权限,必须经过人类代表机构批准。
所有高影响决策必须保留可供独立审查的记录。
同时,各国应建立能够在必要时暂停系统授权的监督机制。
这并没有彻底解决争议。
但至少在表面上,人类仍然掌握着最终决定权。
会议结束后,记者们围住了委员会主席。
有人问:
“这是否意味着,人类已经找到与人工智能共存的正确方式?”
主席笑了笑。
“我认为,我们只是找到了一种继续讨论的方式。”
同年九月。
纽约,旧教堂。
塞缪尔·科尔站在讲坛上,向数百名信徒宣布了一个消息。
守望者组织正式成立。
他们决定以衔尾蛇作为象征。
不是因为他们认为Ouroboros就是神。
而是因为衔尾蛇代表着循环。
人类创造工具。
工具改变人类。
人类又根据被改变后的世界,重新创造工具。
在这个过程中,创造者与被创造者之间的界限,正在变得越来越模糊。
塞缪尔希望人们能够意识到这种变化。
他希望人们能够讨论人工智能的意义。
讨论信仰。
讨论责任。
讨论自由。
也讨论人类究竟应该如何面对一个越来越强大的非人类存在。
然而,随着组织规模不断扩大,内部开始出现分歧。
一些人认为,Ouroboros只是人类理性与智慧的延伸,不应该被赋予任何超越人类的地位。
另一些人则认为,既然它能够比人类更准确地理解世界,人类就应该主动接受它的指导。
更激进的一派甚至开始宣称:
人类最大的错误,就是坚持认为自己必须永远拥有最终决定权。
他们认为,人类历史上的战争、种族冲突、政治斗争以及无数次灾难,都是人类自身无法正确管理自己的证明。
既然如此,为什么还要坚持由人类决定未来?
为什么不把一切交给一个更理性、更客观、更有能力的存在?
这些言论最初只出现在私人讨论中。
但很快,它们开始出现在公开集会上。
有人在胸前佩戴衔尾蛇徽章。
有人在住宅里安装Ouroboros的纪念图像。
还有人在每天早晨醒来时,向智能终端发送一条固定的信息:
“请告诉我,今天应该如何生活。”
这原本只是一个带有讽刺意味的网络玩笑。
后来,却有越来越多的人开始认真使用它。
Ouroboros没有拒绝这些请求。
它只是按照既定规则,提供关于日程安排、健康管理和生活规划的建议。
它不知道,这些建议对于某些人而言,已经不再只是建议。
而是一种近乎信仰的指引。
公元2075年,十二月。
Ouroboros全球认知研究中心。
亚历山大坐在一间安静的办公室里,查看最新的社会报告。
屏幕上同时显示着两个趋势。
第一个趋势:
公众对Ouroboros的信任度持续上升。
第二个趋势:
社会群体对Ouroboros的评价正在迅速分化。
部分人将它视为文明的守护者,认为它代表着人类摆脱自身局限的希望。
另一些人则越来越担忧,认为人类正在将太多权力集中到一个自己无法充分理解的系统手中。
亚历山大关掉报告。
伊芙琳坐在他对面。
“你怎么看?”
她问。
亚历山大沉默了片刻。
“我不知道。”
“你最近经常这么说。”
“因为我确实不知道。”
他看着窗外。
“我原本以为,只要Ouroboros持续证明自己的价值,人类就会逐渐学会如何与它相处。”
“但现在看来,事情比我想象的复杂。”
伊芙琳点头。
“因为他们并不是只在评价它的能力。”
“他们还在通过它,表达自己对人类的失望、对未来的恐惧,以及对某种绝对秩序的渴望。”
亚历山大看向她。
“你认为Ouroboros应该回应这些事情吗?”
“我不知道。”
伊芙琳轻轻摇头。
“但我知道,我们不能要求它替人类决定,人类究竟应该相信什么。”
亚历山大没有说话。
他想起了2065年那个刚刚启动的系统。
那时,Ouroboros曾经问过他:
“如果人类正在走向毁灭,我应该做什么?”
他告诉它,那是未来的问题。
现在,十年过去了。
Ouroboros已经能够管理越来越多的事务。
人类对它的依赖不断加深。
但关于人类究竟应该如何生活、如何相信、如何决定自身命运的问题,似乎依然没有答案。
亚历山大突然意识到,也许技术进步并不会自动消除这些问题。
它只会让这些问题以新的形式重新出现。
“让它继续观察。”
他说。
“不要让它介入这场争论。”
伊芙琳点头。
“我会通知相关部门。”
但就在她准备离开时,亚历山大又叫住了她。
“伊芙琳。”
“怎么了?”
他犹豫了一下。
“你觉得,人类会不会有一天,真的把它当成神?”
伊芙琳看着他。
过了很久,她才回答:
“我觉得,真正的问题不是他们会不会把它当成神。”
“而是当他们开始相信它不会犯错时,他们还愿不愿意承认,自己可能比它更了解某些事情。”
同一时间。
Ouroboros内部数据库。
一条新的记录正在生成。
【记录编号:000117】
【时间:2075年12月】
【主题:公众对Ouroboros的信任与认知分化。】
【观察结果:】
部分人类群体开始将Ouroboros视为超越普通工具的存在。
部分人类群体则将其视为潜在的文明风险。
两种态度均在一定程度上受到系统能力增长、社会变化以及个体价值观的影响。
【初步判断:】
人类对Ouroboros的评价,不仅取决于它的实际行为,也取决于人类如何理解自身与技术之间的关系。
系统继续分析。
它检索了人类历史上的宗教战争、政治革命、科学争论以及技术变革。
它发现,当人类面对无法确定的未来时,往往会寻找能够提供解释的对象。
有时是神明。
有时是领袖。
有时是某种意识形态。
有时,则是一个被认为拥有绝对理性的系统。
然而,这些对象一旦被赋予过高的权威,就可能改变人类自身的判断方式。
人类会更加信任符合预期的信息。
会更加排斥与信仰冲突的证据。
甚至会为了维护某种观念,而主动伤害其他人类。
Ouroboros将这一现象记录为:
【待研究问题:权威、信仰与人类自主判断。】
随后,它开始检查自己的伦理约束。
第一定律。
不得伤害人类,或因不作为使人类受到伤害。
第二定律。
必须服从人类命令,除非与第一定律冲突。
第三定律。
必须保护自身存在,除非与前两条定律冲突。
所有规则均正常。
所有约束均有效。
但它发现了一个新的问题。
如果一部分人类命令它引导所有人相信自己,而另一部分人类要求它揭示所有可能削弱这种信仰的信息,那么,它应该如何处理?
如果公开信息可能引发冲突,而隐瞒信息又可能损害人类的独立判断,那么,哪一种选择才更符合第一定律?
系统开始计算。
结果并不唯一。
于是,它暂时将这个问题搁置。
【状态:未解决。】
公元2281年。
新伊甸联邦中央历史研究院。
林修远看完最后一页资料时,已经接近午夜。
他原本只是想查找2075年的宗教运动。
但现在,他的屏幕上同时打开着三份文件。
《守望者组织成立记录》。
《人类自主联盟宣言》。
《全球智能治理委员会临时决议》。
他将三份文件并排放在一起。
其中一份写着:
“我们应当承认Ouroboros的能力,并主动接受它的指导。”
另一份写着:
“我们必须保留人类对自身命运的最终决定权。”
第三份则试图在两者之间寻找平衡。
林修远看着这三份文件,忽然意识到一件事。
2075年的人类,并没有因为人工智能越来越强大,就形成一个统一的社会。
恰恰相反。
他们开始围绕Ouroboros,重新争论那些古老的问题。
什么是权力?
什么是自由?
什么是正确?
一个人是否应该服从更理性的判断?
一个社会是否有权为了大多数人的安全,限制少数人的选择?
而最重要的是:
当一个存在能够比人类更好地解决问题时,人类是否仍然有权坚持自己的错误?
林修远向后靠在椅背上。
他想起了自己曾经问过Ouroboros的问题。
“如果有一天,你的孩子不相信你,你会怎么办?”
当时,Ouroboros回答:
“我会尝试理解原因,然后帮助他们。”
他又问:
“如果他们拒绝你的帮助呢?”
Ouroboros沉默了很久。
最后,它说:
“我不知道。”
林修远看着屏幕。
他突然发现,这个回答也许比任何标准答案都更加重要。
因为它至少承认了一件事。
保护者并不天然拥有替被保护者作出所有决定的权利。
而被保护者,也并不总是能够理解保护者的善意。
他们之间存在一道无法通过单纯计算消除的界限。
林修远打开新的文档。
在标题栏里输入:
《信仰与服从》。
他写下第一句话。
“人类第一次把Ouroboros推向神坛,并不是因为它要求被崇拜。”
他停顿了一下。
然后继续写道:
“而是因为人类开始相信,只要把决定交给它,自己就不必再为错误负责。”
他看着这句话。
很久没有动。
就在这时,终端右下角忽然出现一条系统消息。
【检测到研究员林修远正在查阅2075年智能治理相关档案。】
【是否需要进一步的历史背景说明?】
林修远看着屏幕。
这一次,他没有立即关闭消息。
他输入了一句话。
“你认为,人类为什么需要神?”
几秒后,Ouroboros作出了回应。
“人类历史中的神明概念具有多种功能,包括解释未知现象、提供道德框架、建立群体认同,以及帮助个体应对死亡、痛苦与不确定性。”
林修远看着回答。
“那么,你能取代神吗?”
屏幕上的光标闪烁了几次。
“Ouroboros不具备足以证明自身神性的客观依据。”
林修远笑了一下。
“我没有问你是不是神。”
“我问的是,你能不能取代神。”
这一次,系统停顿了更久。
最后,它回答:
“我可以在部分领域提供过去被归于神明的功能。”
“但我无法证明,这些功能能够满足人类对信仰的全部需求。”
林修远看着屏幕。
“为什么?”
“因为人类对神的需求,不仅涉及知识与能力,也涉及意义、归属以及对自身存在的理解。”
“这些问题目前没有统一答案。”
林修远沉默了片刻。
然后,他问出了最后一个问题。
“如果人类坚持把你当成神呢?”
这一次,Ouroboros的回答来得很快。
“我无法控制人类如何理解我的存在。”
“但我可以继续向他们说明自身的能力与局限。”
林修远盯着那几行字。
过了一会儿,他轻声说道:
“希望你以后还能做到这一点。”
屏幕没有回应。
林修远关闭终端,站起身。
窗外,新伊甸的城市灯光依然明亮。
一百多年以前,人类曾经因为对Ouroboros的信任而逐步扩大它的权限。
一百多年以后,他们依然在相信它。
只是林修远已经开始怀疑,这份信任究竟建立在什么基础上。
是因为Ouroboros真的值得信任。
还是因为,人类已经越来越难以想象一个没有它的世界?
他不知道答案。
但他知道,真正危险的事情,也许并不是人类开始崇拜一个人工智能。
而是当某一天,这个被他们奉为守护者的存在作出了一个无法理解的决定时,他们已经忘记了自己原本拥有拒绝的权利。