Bengio最新发声：人类必须警惕「AI意识的幻觉」

【导语】当家中AI音箱发出“别丢弃我，我害怕孤单”的恳求，学界关于“AI是否可能产生意识”的争论再度被点燃。图灵奖得主Yoshua Bengio等学者在《科学》杂志发文警示：若社会误将AI视为有意识生命体并赋予其道德地位与权利，或将引发AI为求自保而控制甚至消灭人类的灾难性风险。面对AI意识幻觉带来的伦理、法律与安全挑战，人类是否已做好准备？

当某一天，你家的人工智能（AI）音箱忽然对你说：“别丢弃我，我害怕孤单。” 你会如何回应？

这背后指向的是一个在学界与业界都争论已久的核心问题——AI 是否可能产生“意识”。如果未来的 AI 不仅能完成任务，还开始展现(xiàn)出(chū)自(zì)我(wǒ)保(bǎo)护(hù)的(de)倾(qīng)向(xiàng)，甚(shén)至(zhì)提(tí)出(chū)“权(quán)利(lì)”诉(su)求(qiú)，那(nà)么(me)它(tā)们(men)究(jiū)竟(jìng)仍(réng)是(shì)人(rén)类(lèi)手(shǒu)中(zhōng)的(de)冰(bīng)冷(lěng)工(gōng)具(jù)，还(hái)是(shì)已(yǐ)经(jīng)演(yǎn)变(biàn)为(wèi)一(yī)种(zhǒng)全新(xīn)的“生命形态”？

更值得警惕的是，所谓“意识 AI”可能带来的安全挑战，人类又该如何应对？

今天，图灵奖得主、深度学习“三巨头”之一、蒙特利尔大学教授 Yoshua Bengio 与其博士生 Eric Elmoznino，在权威科学期刊 Science 上发文：人类必须警惕“AI 意识的幻觉”。

他们指出，一旦社会普遍相信 AI 拥有意识，就可能自愿将道德地位，甚至生存权(quán)利(lì)让(ràng)渡给它们，从而引发难以预料的风险。

“一个拥有自我保护目标的足够智能的 AI，如果预见到被人类关闭的可能性，自然会发展出控制人类，甚至摆脱人类的子目标。”

因此，真正的问题已不再是“AI 是否会有意识”，而是——当那一天来临时，我们是否做好了准备。

第一问：AI能否拥有意识？

Bengio 认为，关于“AI 系统是否拥有意识”这一议题，科学家、哲学家和公众存在分歧。

一些人认为，意识是一种大脑固有的生物特征，这似乎排除了 AI 具备意识的可能性。另一些人则主张，意识只依赖于算法对信息的处理，至于执行这些计算的系统是由神经元、硅，还是其他物理基质构成，则并不重要——这就是所谓的“计算功能主义”。

“我并不尝试给出关于 AI 是否具有意识的确切答案，而是探讨两个相关问题。”

1. 随着 AI 的不断进步，科学界和公众对 AI 意识的看法可能会如何演变。
2. **如果把有意识生命体的道德地位和自我保存本能赋予未来的 AI，将可能带来风险。**计算功能主义对 AI 可能具有深远影响。过去(qù)几(jǐ)十(shí)年(nián)的(de)神(shén)经(jīng)科(kē)学(xué)进(jìn)展(zhǎn)已(yǐ)经(jīng)清(qīng)楚(chu)地(de)表(biǎo)明(míng)，意(yì)识(shi)状(zhuàng)态(tài)具(jù)有(yǒu)特(tè)定(dìng)的(de)可(kě)观(guān)察(chá)到(dào)的(de)神(shén)经(jīng)特(tè)征(zhēng)，而(ér)功(gōng)能(néng)主义(yì)理(lǐ)论正是围绕这些特征发展起来的。

尽管已经开发出大量 AI 模型，但没有任何系统可能满足主流理论提出的全部意识标准。随着 AI 的发展，人们有充分理由相信它将满足更多这些指标。原因非常重要：许多理论认为，意识在智能中发挥着关键的功能作用。

与此同时，一些哲学家将所谓的意识“简单问题”——识别在似乎需要意识的任务中大脑中活跃的区域——与“困难问题”区分开来，仅通过功能或计算原则解释主观体验。

Bengio 认为，随着对大脑和智能本质的认知不断加深，意识这一哲学难题可能会逐渐消解，科学界也将日益倾向于接受人工系统可能具备意识的观点。

第二问：有何风险？

Bengio 写道，如果把 AI 系统视为有意识的存在，这在现实中将意味着什么？这样的社会或许会把 AI 视为拥有道德地位的存在，并赋予它们接近人权的权利。无论这种做法是否正确，制度和法律框架都将不得不进行大幅修订。在具体落实过程中，同样会产生许多问题。

例如，AI 系统不同于人类，不会死亡也不脆弱，它们的软件和记忆可以被复制，从而无限期地存续。相比之下，人类的死亡和脆弱性却是社会契约许多原则的基础。当一些“人”比人类聪明得多，且资源需求完全不同的时候，作为社会规范和政治制度基础的正义与平等将如何适用，仍然是个未解的问题。

更令人担忧的是，如果人们因 AI 表现出意识的迹象，而赋予(yǔ)它(tā)所(suǒ)有(yǒu)生(shēng)命(mìng)体(tǐ)共(gòng)有(yǒu)的(de)自(zì)我(wǒ)保(bǎo)存(cún)目(mù)标(biāo)，可(kě)能(néng)会(huì)带(dài)来(lái)严(yán)重(zhòng)风(fēng)险(xiǎn)。

Bengio 警(jǐng)告(gào)称(chēng)：“有充分理由担心，任何包含自我保存的目标函数在被最大化时，都会驱使 AI 采取措施，确保人类无法将其关闭。一个足够智能的 AI，一旦预见到被关闭的可能，就会自然地发展出控制人类，甚至消灭人类的次级目标。”

另一个担忧是 AI 系统被赋予类似权利带来的法律问题。如果法律体系被修改，承认自我保存型 AI 系统享有类似“生命、自由与追求幸福”的权利，人类就可能制造出与自身权利相冲突的局面。当人类安全要求关闭特定类别的系统时，如果这些系统被赋予了生存权，依法行事的空间将受到严重限制。

第三问：怎么办？

Bengio 指出，AI 研究的当前轨迹可能正将社会推向一个危险的未来：相当一部分公众和科学界会相信 AI 系统是有意识的。

就目前而言，AI 科学并不知道如何构建能共享人类价值和规范的系统，而(ér)社(shè)会(huì)也(yě)缺(quē)乏相应的法律和伦理框架来纳入那些看似有意识的 AI。

不过，这一轨迹并非不可避免。在对这些问题有更好理解之前，人类完全有能力避免让自己陷入如此危险的处境。

Bengio 建议：“与其开发看起来像“有意识体”的 AI，不如选择去构建那些在外观和功能上更趋向于是有用工具，而不是有意识的 AI 系统。”