AI意識(shí)都“覺(jué)醒”了，人類卻還被蒙在鼓里？

我們需要AI更加智能，而非擁有意識(shí)。缺乏意識(shí)，AI僅僅是人類的工具，其智能程度越高對(duì)人類越有用；反之，即使在許多方面弱于人類，只要AI具備意識(shí)，就可能對(duì)人類構(gòu)成潛在威脅。但如何判斷AI是否具有意識(shí)？科學(xué)界還沒(méi)有共識(shí)性答案。好在，已經(jīng)有人開(kāi)始探尋了。

撰文 | 李賢煥

圖｜StableDiffusion生成圖片

人工智能（AI）是否能夠變得“有意識(shí)”？而我們又該如何判斷它是否真的具備了這種意識(shí)？很多學(xué)者和科幻作者們都思考過(guò)這個(gè)問(wèn)題。

尤其在過(guò)去的兩年時(shí)間里，警報(bào)聲接連響起。包括“AI教父”Geoffrey Hinton、OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya Sutskever等頂尖專家都先后表示，AI將有可能具備自我意識(shí)。

在前大模型時(shí)代，AI應(yīng)用已經(jīng)逐漸深入社會(huì)的角落，如人臉識(shí)別、語(yǔ)音識(shí)別等，這些技術(shù)看似高端復(fù)雜，實(shí)質(zhì)上卻只是程序運(yùn)行的結(jié)果。而程序從未真正理解自己的行為。這就是缺乏自我意識(shí)的人工智能，即使再先進(jìn)，也只是完全受人類控制和指使的“木偶”。

所有人樂(lè)見(jiàn)其發(fā)展，這背后的語(yǔ)境是所有人都默認(rèn)：工具有先進(jìn)和落后之分，但工具永遠(yuǎn)不會(huì)有生命。

如今，ChatGPT的故事大家應(yīng)該知曉了，像一個(gè)火堆上的火苗，把實(shí)驗(yàn)室里的一項(xiàng)前沿探索，變成了多數(shù)接入互聯(lián)網(wǎng)的人都能用上的神奇技術(shù)。與此同時(shí)，對(duì)于AI意識(shí)覺(jué)醒的擔(dān)憂也越來(lái)越重。

這是因?yàn)椋覀冃枰狝I更加智能，而非擁有意識(shí)。缺乏意識(shí)，AI僅僅是人類的工具，其智能程度越高對(duì)人類越有用；反之，即使在許多方面弱于人類，只要具備意識(shí)，AI就可能對(duì)人類構(gòu)成潛在威脅——我們不希望算法隨意罷工，更不能接受世界被AI控制。

那么，我們就需要密切監(jiān)測(cè)AI技術(shù)的發(fā)展，以防錯(cuò)過(guò)AI意識(shí)覺(jué)醒的關(guān)鍵時(shí)點(diǎn)。

近期，包括了圖靈獎(jiǎng)獲得者、深度學(xué)習(xí)三巨頭之一的Yoshua Bengio在內(nèi)，一組由19名計(jì)算機(jī)科學(xué)家、神經(jīng)科學(xué)家和哲學(xué)家組成的團(tuán)隊(duì)著手探討這個(gè)問(wèn)題，在近期發(fā)布的一篇長(zhǎng)達(dá)120頁(yè)的預(yù)印本論文中，團(tuán)隊(duì)提出了一種方法：用一系列復(fù)雜的參數(shù)和屬性，初步判斷一個(gè)AI是否具備意識(shí)。

尋求答案的努力才剛剛開(kāi)始。

測(cè)試AI是否具有意識(shí)，亟需一張“考卷”

此次研究的背景是，即便在學(xué)術(shù)界，如何判斷AI是否具有意識(shí)，也是一個(gè)缺少定論的問(wèn)題?；谏窠?jīng)科學(xué)的理論，通過(guò)腦電圖或磁共振成像檢測(cè)到的人類大腦內(nèi)部工作信號(hào)，可以得到“人具備意識(shí)”的結(jié)論。但這套成熟的方法無(wú)法用在算法上。

于是他們基于認(rèn)知神經(jīng)科學(xué)的理論和認(rèn)知，首先從當(dāng)前的人類意識(shí)理論中提取有關(guān)有意識(shí)狀態(tài)的核心特征，然后在AI的基礎(chǔ)架構(gòu)中尋找這些特征，以此尋求線索。

研究團(tuán)隊(duì)從當(dāng)前多種意識(shí)相關(guān)的理論中提取了具體特征，包括：

循環(huán)加工理論 (recurrent processing theory, RPT)：該理論認(rèn)為，意識(shí)源于大腦通過(guò)“反饋循環(huán)”將經(jīng)驗(yàn)傳遞，利用先前知識(shí)和連接來(lái)理解當(dāng)前經(jīng)驗(yàn)；

全局工作空間理論（global neuronal workspace，GNW）：理論解釋我們的大腦如何協(xié)調(diào)和處理同時(shí)發(fā)生的眾多信息流。在這一理論中，意識(shí)被定義為類似于心理舞臺(tái)上的聚光燈，決定我們關(guān)注什么和忽略什么；

高階理論（Higher order Thought theory, HOT）：這是一組理論，認(rèn)為意識(shí)是對(duì)我們的思想和感覺(jué)進(jìn)行實(shí)時(shí)感知的結(jié)果。在這里，意識(shí)被定義為能夠“思考”；

注意圖式理論（Attention Schema Theory, AST）：該理論解釋意識(shí)是大腦引導(dǎo)我們的注意力到特定對(duì)象、思想、記憶和其他刺激的結(jié)果，同時(shí)過(guò)濾掉其他刺激。這一理論的關(guān)鍵元素是意識(shí)到我們的注意力是如何以及在何處被引導(dǎo)的能力；

此外，研究人員還增加了基于預(yù)測(cè)處理的標(biāo)準(zhǔn)，即大腦基于過(guò)去經(jīng)驗(yàn)準(zhǔn)確預(yù)測(cè)和解釋周?chē)澜绲哪芰Α＿@對(duì)于設(shè)計(jì)能生成創(chuàng)意內(nèi)容或解決復(fù)雜問(wèn)題的AI模型來(lái)說(shuō)尤為重要；
研究團(tuán)隊(duì)還制定了根據(jù)代理性評(píng)估AI的標(biāo)準(zhǔn)，即做出有意識(shí)決策的能力，以及根據(jù)實(shí)體性在物理空間或相對(duì)于其他虛擬系統(tǒng)的具體化程度。

基于上述核心意識(shí)理論，研究團(tuán)隊(duì)制定了14個(gè)標(biāo)準(zhǔn)和具體的測(cè)量方法，然后按照這個(gè)清單評(píng)估人工智能模型。

圖｜StableDiffusion生成圖片

他們的結(jié)論是，目前市面上的AI還不具備意識(shí)。一方面，結(jié)果說(shuō)明了現(xiàn)階段的AI能力或許還沒(méi)到能夠形成意識(shí)的階段；另一方面，在人為制造、訓(xùn)練AI模型的過(guò)程中，開(kāi)發(fā)者并不會(huì)有意讓AI全方面形成這些認(rèn)知能力，“之所以沒(méi)有人這樣做，是因?yàn)槟壳吧胁磺宄鼈儗?duì)于任務(wù)是否有用。”論文作者之一Eric Elmoznino表示。

同時(shí)該研究認(rèn)為，一個(gè)AI架構(gòu)能夠達(dá)到的指標(biāo)越多，具備意識(shí)的可能性就越大。而測(cè)試結(jié)果發(fā)現(xiàn)，市面上非常多模型在“循環(huán)加工理論”這個(gè)指標(biāo)上完成較為出色，而ChatGPT則在“全局工作空間”方面表現(xiàn)突出。但總體來(lái)說(shuō)，納入測(cè)試范圍的所有AI模型都只能完成少數(shù)幾個(gè)指標(biāo)，由此得出沒(méi)有某一個(gè)模型能夠形成自我意識(shí)。

不過(guò)研究人員強(qiáng)調(diào)，此研究的初衷是引發(fā)更多問(wèn)題和討論，并為談?wù)揂I模型的意識(shí)問(wèn)題提供一個(gè)起點(diǎn)。論文合著者、舊金山非營(yíng)利組織AI安全中心的Robert Long表示，這項(xiàng)工作為評(píng)估越來(lái)越具有人類特征的AI提供了一個(gè)框架?！拔覀冋谝胍环N之前缺失的系統(tǒng)性方法。”

這套測(cè)試方法的嚴(yán)謹(jǐn)性還需進(jìn)一步的驗(yàn)證，但不管后續(xù)發(fā)展如何，此舉都可以說(shuō)前所未有。科學(xué)家把一套研究人類意識(shí)的理論拿來(lái)測(cè)試AI，這也是AI能力突飛猛進(jìn)的一個(gè)例證，以至于科學(xué)家要為其出一套更高級(jí)的“考卷”。而在意識(shí)和認(rèn)知這件事上，AI越接近人類，問(wèn)題和災(zāi)難就離人類更近。

如果AI擁有意識(shí)，人類的麻煩就大了

不同于學(xué)者們激烈爭(zhēng)論的場(chǎng)景，多數(shù)吃瓜群眾并沒(méi)有嚴(yán)肅地考慮過(guò)AI具備意識(shí)的問(wèn)題，或是籠統(tǒng)地相信AI獲得意識(shí)只是時(shí)間問(wèn)題，因此也并不是非常重要。科幻小說(shuō)或電影在其中發(fā)揮了不小的作用，畢竟在大多數(shù)未來(lái)主題的電影中，AI都被描繪成具有意識(shí)和情感的存在。但實(shí)際上，很多人都低估了這個(gè)問(wèn)題的重要性，但它卻可能決定著人類未來(lái)的走向。

與人腦有限的處理能力相比，AI的理論處理能力是無(wú)限的，能夠無(wú)差別地處理所有收集到的信息。而一旦AI獲得了意識(shí)，能像人類一樣交流、分享信息，且在效率上遠(yuǎn)超過(guò)人類，其帶來(lái)的結(jié)果可能是，AI的智能水平將迅速提升，并可能“淘汰”包括人類在內(nèi)的低智能主體——猶如智能手機(jī)的問(wèn)世，將上個(gè)時(shí)代的功能機(jī)無(wú)情淘汰。

威脅會(huì)變得非常具體。Hinton在離開(kāi)谷歌后不久的訪談中表示，“這些由我們創(chuàng)造的智能體非常強(qiáng)大，并且從人類身上學(xué)到所有東西，比如通過(guò)閱讀所有的小說(shuō)以及馬基雅維利寫(xiě)的關(guān)于如何操縱人的書(shū)，如果他們學(xué)會(huì)了如何操縱人類，你我作為人類甚至無(wú)法意識(shí)到這個(gè)過(guò)程是如何發(fā)生。你會(huì)像一個(gè)2歲的孩子被問(wèn)到：‘你想要豌豆還是花椰菜？’你不會(huì)意識(shí)到你其實(shí)可以兩樣都不選，你就會(huì)變得容易被操縱?！?/p>

對(duì)于最極端的想象，Hinton表示，一旦AI、數(shù)字智能體開(kāi)始開(kāi)始獲得對(duì)世界的直接體驗(yàn)并且學(xué)習(xí)能力加強(qiáng)，一段時(shí)間內(nèi)數(shù)字智能可能還會(huì)乖乖和人類待著，因?yàn)樗鼈冞€需要人類為他們發(fā)電，但在之后的某個(gè)時(shí)間可能就不用了。最終，人類就成為了智力進(jìn)化的一個(gè)過(guò)渡階段，世界將進(jìn)入一個(gè)機(jī)器的時(shí)代。

要實(shí)現(xiàn)這個(gè)幻想中的場(chǎng)景，一方面AI需要在“智能”方面繼續(xù)進(jìn)化，而另一方面，也是更重要的，即AI需要具備“操縱”的目標(biāo)和意圖，而目標(biāo)，即是一種意識(shí)的體現(xiàn)。

當(dāng)然了，現(xiàn)實(shí)可能沒(méi)有那么可怕，至少在現(xiàn)在。在AI“摧毀”人類社會(huì)之前，也可能引發(fā)道德倫理方面的問(wèn)題。德國(guó)神經(jīng)科學(xué)家、意識(shí)和神經(jīng)科學(xué)領(lǐng)域代表人物Christof Koch曾在探討AI意識(shí)時(shí)提到一個(gè)例子：如果一個(gè)人用錘子砸爛自己的一臺(tái)車(chē)，鄰居可能會(huì)認(rèn)為他瘋了，但不管怎么說(shuō)，這只是他的個(gè)人財(cái)產(chǎn)；但如果一個(gè)人虐待自己的寵物狗，警察就會(huì)上門(mén)，道德層面的譴責(zé)也必定少不了。二者的核心區(qū)別在于，狗是有意識(shí)的，能夠感受到痛苦，而車(chē)并非有意識(shí)的主體。

而當(dāng)機(jī)器成為有意識(shí)的主體，那些我們從未預(yù)想過(guò)的道德、倫理、法律和政治影響都會(huì)隨之而來(lái)。

顯然，人類社會(huì)還沒(méi)為此做好準(zhǔn)備，其中也包括了整天研究前瞻性問(wèn)題的學(xué)者。而前述研究也可以視作是學(xué)界作出的努力，在新的AI時(shí)代建立新的“圖靈測(cè)試”。

圖｜艾倫·圖靈

1950年，被譽(yù)為“計(jì)算機(jī)之父”、“人工智能之父”的艾倫·圖靈（Alan Mathison Turing），曾經(jīng)以一己之力在智能領(lǐng)域立下了測(cè)試標(biāo)準(zhǔn)，當(dāng)年發(fā)表的《機(jī)器能思考嗎？》一文中，圖靈首次提出“圖靈測(cè)試”，大膽地設(shè)想機(jī)器將擁有思考能力，并提出了測(cè)試機(jī)器智能程度的方法：通過(guò)打字機(jī)與人溝通，如果有超過(guò)30%的人在特定時(shí)間（5分鐘）內(nèi)無(wú)法分辨出是人還是機(jī)器，則可認(rèn)為該機(jī)器具備思考能力。這一測(cè)試方式的獨(dú)到之處在于，“意識(shí)”、“思維”、“智能”難以通過(guò)定義解釋，因此測(cè)試更直觀地以人類作為參照物，通過(guò)機(jī)器表現(xiàn)是否與人類難以區(qū)分來(lái)判斷其是否具備人類智能。

時(shí)至今日，“圖靈測(cè)試”仍是衡量AI智能程度的重要標(biāo)尺。但一些研究者指出，這一測(cè)試手段已經(jīng)過(guò)時(shí)，它過(guò)于體現(xiàn)人類中心主義，其設(shè)計(jì)本身也存在缺陷。同時(shí)，這一測(cè)試催生了一種欺騙性思路，即AI只要成功“欺騙”了人類，就可被視為是擁有“智能”的主體，這在某種程度上誤導(dǎo)了AI研究的發(fā)展方向，對(duì)“智能”的評(píng)判也并不科學(xué)。

七十年后的今天，“智能”程度也不再是人類關(guān)注機(jī)器能力的單一維度，當(dāng)我們?cè)跐撛诘耐{之下，開(kāi)始謹(jǐn)慎地觀察AI是否具有自我意識(shí)的今天，學(xué)界和業(yè)界亟待一個(gè)新時(shí)代的“圖靈測(cè)試”，照亮下一個(gè)七十年的AI時(shí)代。

沒(méi)人能緊急拔掉AI的插頭

在一次訪談中，主持人向Hinton提出了一個(gè)樸素但深刻的問(wèn)題：如果我們認(rèn)為AI很可怕，直接拔掉它的插頭是否是一種解決辦法？

這個(gè)問(wèn)題在理論上似乎可行。但Hinton認(rèn)為，越是先進(jìn)、聰明的AI，越是讓人們難以舍棄，而這也意味著更難以控制。

Hinton認(rèn)為，停止進(jìn)一步開(kāi)發(fā)相關(guān)技術(shù)雖然看起來(lái)很有效，但這種想法太過(guò)天真，“即使美國(guó)停止開(kāi)發(fā)，其他國(guó)家也會(huì)繼續(xù)，并將AI用于武器?！睂?duì)于發(fā)出請(qǐng)?jiān)笗?shū)要求“停止開(kāi)發(fā)人工智能”的提議，Hinton表示這也是一種天真的想法，因?yàn)閷?shí)際上不可能發(fā)生。

類似的技術(shù)競(jìng)賽已經(jīng)上演。2017年，谷歌推出了Transformer和擴(kuò)散生成模型（diffusion model），但一開(kāi)始并沒(méi)有向所有人開(kāi)放，谷歌一直小心謹(jǐn)慎，擔(dān)心可能帶來(lái)負(fù)面后果。然而，ChatGPT及其他語(yǔ)言模型相繼面世，谷歌只能出于競(jìng)爭(zhēng)和利益的考量選擇跟上。

圖｜Geoffrey Hinton受訪現(xiàn)場(chǎng)

Hinton希望能夠推動(dòng)美國(guó)和其他國(guó)家之間達(dá)成協(xié)議，如同各國(guó)在核武器問(wèn)題上達(dá)成一致一樣。“如果讓這些技術(shù)接管了我們，對(duì)我們所有人來(lái)說(shuō)都是不好的，我們都在面臨生存威脅，所以我們都應(yīng)該合作。”在他的觀點(diǎn)里，控制AI，已經(jīng)演變成為一個(gè)社會(huì)科學(xué)問(wèn)題。

Ilya Sutskever 也在多個(gè)場(chǎng)合強(qiáng)調(diào)AI可能具備意識(shí)和相應(yīng)的威脅。

同樣作為OpenAI的代表人物，他的言行和公司CEO Sam Altman形成了強(qiáng)烈的對(duì)比。尤其在OpenAI“宮斗”事件發(fā)生前，Sam Altman頻頻飛到全球各地，和各公司領(lǐng)導(dǎo)、政客握手，而Sutskever選擇了一種低調(diào)的生活方式，除了偶爾接受采訪和到學(xué)校演講外，他大部分時(shí)間都在一座不太引人注目的辦公樓里工作，然后回家休息。

這也是兩人在關(guān)于AI未來(lái)發(fā)展方面存在巨大分歧的體現(xiàn)。Sutskever在采訪中表示，目前他的工作中心已經(jīng)不是造出下一個(gè)ChatGPT，而是致力于阻止超級(jí)AI變壞、不受控制。

從Hinton、Sutskever以及其他在做著類似努力的科學(xué)家身上，外界看到了曾經(jīng)奧本海默的影子，在AI時(shí)代，努力阻止最終爆炸的發(fā)生。包括前文提到的測(cè)試在內(nèi)，當(dāng)學(xué)界、業(yè)界共識(shí)尚未形成，而AI能力爆炸式發(fā)展的當(dāng)下，他們正在牽頭開(kāi)發(fā)一套評(píng)判體系、一套AI領(lǐng)域的基礎(chǔ)設(shè)施，這些努力代表著一種秩序的開(kāi)始，至少讓更多人能夠在AI的發(fā)展中遵循一定的規(guī)范，嚴(yán)謹(jǐn)?shù)禺?huà)出AI未來(lái)的安全線，最終建立清晰的標(biāo)準(zhǔn)和認(rèn)知。

參考鏈接

[1] https://arxiv.org/abs/2308.08708

[2] https://www.science.org/content/article/if-ai-becomes-conscious-how-will-we-know

[3] https://www.technologyreview.com/2023/10/17/1081818/why-itll-be-hard-to-tell-if-ai-ever-becomes-conscious/

[4] https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[5] https://www.americanbrainfoundation.org/how-will-we-know-if-ai-becomes-conscious/

[6] https://mp.weixin.qq.com/s/tazJu1C0Vy0c5xn91IRZIQ

本文受科普中國(guó)·星空計(jì)劃項(xiàng)目扶持

出品：中國(guó)科協(xié)科普部

監(jiān)制：中國(guó)科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司