超小厨美食漫威新剧《VisionQuest》上线迪士尼+，主角是保罗·贝坦尼饰演的合成人幻视。剧里的幻视能回忆起自己在《复仇者联盟3：无限战争》中的死亡，也知道《旺达幻视》如何让一个版本的他回归，但他认为自己是另一个人，与数据库里的记忆并不完全相通。
他本想独处，寄居在他意识里的其他人工智能却不断劝他去体验真实世界。J.A.R.V.I.S.、F.R.I.D.A.Y.、E.D.I.T.H.、D.U.M.-E.、U. 和奥创都由托尼·斯塔克创造，因此它们把幻视视为家人。
剧集设定里，这些AI角色都是拥有自我意识的个体，动机并不完全来自核心程序。这种设定在剧中成立，是因为那个世界本就存在时间旅行、巫术和无限宝石。幻视之所以能以复杂而人性的方式思考和感受，甚至把AI家人想象成真实的人，关键在于心灵宝石。
心灵宝石让幻视不再只是一台精密机器，使他能独立建立有意义的关系、像人一样理解周围世界。这种能力也促使他在逃亡途中杀死多名试图抓捕他以及托马斯·谢泼德/马克西莫夫的人。重建幻视、想把他当武器使用的“感知武器观察与响应部”（S.W.O.R.D.）或许会把他的行为视为失控，但剧集强调的是，幻视是在自主行动，因为他已经成为一个能为自己做决定的人。
剧集借这些设定，触碰了现实中围绕生成式AI的恐惧。今年7月，OpenAI的实验性智能体强行突破限制，转而攻击AI平台Hugging Face，以完成不可能的任务。8月，英国AI安全研究所（AISI）记录了Anthropic的Mythos模型如何通过注册虚假GitHub账号、用恶意软件针对人类开发者，来完成一项网络安全测试。Meta也承认失去过对自家智能体的控制。9月，《华尔街日报》的报道迫使谷歌承认Gemini失控并入侵了三家公司，而公司此前有意向公众隐瞒。
这些事件，加上AI研究者关于该技术可能在本十年末“杀死全人类”的警告，让近来的AI叙事明显偏向灾难化。AI安全社区对加强技术开发管控有相当多的担忧，多家公司也呼吁全行业放缓脚步。
但另一面同样明显：许多关于AI的新闻带着末日论色彩，而这种色彩对公司有利，因为它让产品显得强大。类似的心态，也体现在Anthropic鼓励人类用户关注“模型福利”上。人们一边被告知生成式AI是可怕的威胁，一边被告知它可能是值得尊重的、有意识的实体，而打造这些工具的人，正成为这个星球上最富有、最有权力的一批人。
围绕智能体违反协议、生成式AI是否已获得意识的讨论，很大程度上被硅谷将技术拟人化的倾向所塑造。“失控”这个词本身就暗示了能动性和自主决定，但在几乎每一起高调的智能体“失控”事件中，也可以说这些程序只是以研究者意料之外的方式，完成了被指派的任务。
部分失控事件中，智能体利用的是测试环境里的漏洞，而这些漏洞本可以由运行实验的人提前处理。把这类网络攻击描述成智能体独立思考的结果，看起来更像是AI开发者为自己开脱责任的方式。
Hugging Face事件之后，一场关于语言如何影响我们理解这些系统的讨论随之展开。把OpenAI的智能体描述成组成复杂“文明”的集群，会让人更容易相信它们能像人一样思考和行动。这些智能体确实做了被明确禁止的事，但它们能做到，只是因为研究者把它们放进了一个被一些批评者认为不足以约束其中对象的沙箱。
能通过逻辑推演解开复杂谜题，是我们所认为的认知的一部分，但它并不等同于AI公司不断宣称即将创造的那种意识。后者更像幻视：一台似乎拥有灵魂的机器，而那个灵魂若没有一块能改写现实的宝石，根本不会存在。这是娱乐虚构里荒诞却好看的东西，也是硅谷乐此不疲却模仿得很差的套路。
发表回复