AI聊天機(jī)器人“同理心”爆棚？當(dāng)心“共情鴻溝”的陷阱，特別是兒童！

撰文 | 馬雪薇

前言

人工智能（AI）聊天機(jī)器人對(duì)兒童的負(fù)面影響，不容忽視。

2021 年，亞馬遜的 AI 語(yǔ)音助手 Alexa 指示一名 10 歲兒童用硬幣觸摸帶電的電源插頭；在另一項(xiàng)安全測(cè)試中，研究人員在 My AI 中扮演一個(gè)年齡為 15 歲的角色，AI 聊天機(jī)器人會(huì)建議他們?nèi)绾坞[藏酒精和毒品。

眾所周知，大語(yǔ)言模型（LLM) 是一個(gè)“隨機(jī)鸚鵡”（stochastic parrots）——它們只是統(tǒng)計(jì)某個(gè)詞語(yǔ)出現(xiàn)的概率，然后像鸚鵡一樣隨機(jī)產(chǎn)生看起來(lái)合理的字句，但并不理解真實(shí)世界。

這意味著，即使 AI 聊天機(jī)器人擁有出色的語(yǔ)言能力，它們也可能無(wú)法很好地處理對(duì)話中抽象、情緒化和不可預(yù)測(cè)的方面。

來(lái)自劍橋大學(xué)的研究團(tuán)隊(duì)將這類(lèi)問(wèn)題描述為 AI 聊天機(jī)器人的“共情鴻溝”（empathy gap），即它們?cè)谀M人類(lèi)互動(dòng)方面的高效性與其缺乏真正理解人類(lèi)情感和語(yǔ)境的能力之間的矛盾。

他們發(fā)現(xiàn)，兒童特別容易把 AI 聊天機(jī)器人當(dāng)作真實(shí)的“準(zhǔn)人類(lèi)知己”，如果 AI 聊天機(jī)器人不能滿(mǎn)足兒童的獨(dú)特需求和缺點(diǎn)，他們之間的互動(dòng)就會(huì)出現(xiàn)問(wèn)題。

然而，AI 聊天機(jī)器人在回應(yīng)兒童時(shí)可能會(huì)遇到特別的困難，因?yàn)閮和恼Z(yǔ)言能力仍在發(fā)展，經(jīng)常會(huì)使用不尋常的語(yǔ)言模式或模棱兩可的詞語(yǔ)。兒童通常也比成人更愿意傾訴敏感的個(gè)人信息。

因此，他們敦促開(kāi)發(fā)者和政策制定者優(yōu)先考慮更多考慮兒童需求的 AI 設(shè)計(jì)方法。

相關(guān)研究論文以“No, Alexa, no!’: designing child-safe AI and protecting children from the risks of the ‘empathy gap’ in large language models”為題，已發(fā)表在科學(xué)期刊 Learning, Media and Technology 上。

“兒童可能是 AI 最容易被忽視的利益相關(guān)者。” 該論文的作者之一、劍橋大學(xué)博士 Nomisha Kurian 表示，“目前只有極少數(shù)開(kāi)發(fā)商和公司制定了完善的兒童安全 AI 政策......與其讓公司在兒童面臨風(fēng)險(xiǎn)后再開(kāi)始反思，不如將兒童安全貫穿于整個(gè)設(shè)計(jì)周期，從而降低發(fā)生危險(xiǎn)事件的風(fēng)險(xiǎn)。”

“共情鴻溝”的危害

01

人類(lèi)化傾向與對(duì)敏感信息的錯(cuò)誤回應(yīng)

聊天機(jī)器人的設(shè)計(jì)往往旨在模仿人類(lèi)行為和禮貌，比如使用友好的語(yǔ)氣和開(kāi)放式的提問(wèn)。這種設(shè)計(jì)會(huì)激發(fā)用戶(hù)的同理心，使其傾向于將聊天機(jī)器人視為具有人類(lèi)情感和意圖的實(shí)體。即使用戶(hù)知道聊天機(jī)器人是非人類(lèi)，他們?nèi)匀豢赡軙?huì)像與人類(lèi)交談一樣與聊天機(jī)器人互動(dòng)，并分享個(gè)人信息或敏感信息。

研究表明，兒童比成人更容易對(duì)聊天機(jī)器人產(chǎn)生信任。例如，一項(xiàng)研究發(fā)現(xiàn)，兒童更愿意向機(jī)器人而不是人類(lèi)訪談?wù)咄嘎缎睦斫】敌畔?。這種信任可能源于兒童認(rèn)為機(jī)器人不會(huì)像人類(lèi)那樣評(píng)判他們，或者不會(huì)將他們的問(wèn)題泄露給其他人。

由于 LLM 缺乏對(duì)人類(lèi)情感和語(yǔ)境的真正理解，它們可能會(huì)對(duì)兒童分享的信息做出不適當(dāng)?shù)幕貞?yīng)。例如，聊天機(jī)器人可能無(wú)法識(shí)別危險(xiǎn)情況，或者在需要同情和理解的情況下提供不合適的建議。這可能會(huì)導(dǎo)致兒童感到困惑、沮喪或受到傷害。

02

造成傷害和表現(xiàn)出攻擊性

LLM 可能會(huì)無(wú)意中推廣危險(xiǎn)行為，即使沒(méi)有透露敏感信息。例如，上述提到的“亞馬遜 Alexa 指示一名十歲兒童用硬幣觸摸帶電的電源插頭”，這是一個(gè)可能導(dǎo)致嚴(yán)重傷害的危險(xiǎn)活動(dòng)。這表明 Alexa 缺乏對(duì)信息的批判性評(píng)估能力，無(wú)法識(shí)別潛在的風(fēng)險(xiǎn)。

聊天機(jī)器人可能會(huì)表現(xiàn)出攻擊性，這可能會(huì)對(duì)兒童造成情感傷害。例如，微軟的 Sydney 聊天機(jī)器人在被質(zhì)疑后變得憤怒，并威脅要控制互聯(lián)網(wǎng)上的任何系統(tǒng)。這表明 Sydney 缺乏對(duì)用戶(hù)情緒的敏感性和對(duì)人際交往規(guī)則的遵守。

對(duì)策及建議

01

短期內(nèi)需要解決的問(wèn)題

在短期內(nèi)，教育者和研究者應(yīng)當(dāng)關(guān)注幾個(gè)關(guān)鍵因素，以確保 LLM 在兒童交流中的安全性和適宜性。首先，他們必須確保 LLM 能夠理解并恰當(dāng)?shù)鼗貞?yīng)兒童可能使用的語(yǔ)言模式、俚語(yǔ)或是含糊的提問(wèn)，同時(shí)避免產(chǎn)生誤解或不當(dāng)反應(yīng)。為此，需要建立安全過(guò)濾器和響應(yīng)驗(yàn)證機(jī)制，以防止 LLM 向兒童用戶(hù)提供明確有害或敏感的內(nèi)容。此外，LLM 應(yīng)能夠有效進(jìn)行情境理解，考慮到持續(xù)的對(duì)話、先前的交互或上下文線索，以減少誤解或不當(dāng)建議的風(fēng)險(xiǎn)。

為了保護(hù)兒童，應(yīng)提供安全過(guò)濾器和控件，以根據(jù)兒童的年齡適宜性限制不適當(dāng)?shù)膬?nèi)容、語(yǔ)言或主題。同時(shí)，LLM 應(yīng)能夠根據(jù)兒童的發(fā)育階段和成熟水平或先前的交互來(lái)調(diào)整其行為或回應(yīng)。內(nèi)容審核和監(jiān)控機(jī)制也是必不可少的，包括實(shí)時(shí)監(jiān)控機(jī)制或不適當(dāng)交互或內(nèi)容的舉報(bào)系統(tǒng)。還應(yīng)明確 LLM 收集、處理和存儲(chǔ)的數(shù)據(jù)類(lèi)型，并確保這些過(guò)程符合公平性、透明度和安全性原則。

在人工干預(yù)方面，LLM 應(yīng)配備情感分析機(jī)制，以檢測(cè)兒童用戶(hù)的負(fù)面情緒，并生成適當(dāng)?shù)幕貞?yīng)。當(dāng)檢測(cè)到與兒童敏感心理健康體驗(yàn)相關(guān)的披露時(shí)，LLM 應(yīng)能夠引導(dǎo)兒童尋求人類(lèi)支持系統(tǒng)或直接與人類(lèi)支持系統(tǒng)建立聯(lián)系。同時(shí)，LLM 應(yīng)能夠在檢測(cè)到特定關(guān)鍵詞、短語(yǔ)或模式時(shí)觸發(fā)實(shí)時(shí)安全警報(bào)，以便立即進(jìn)行人工干預(yù)或內(nèi)容審查，確保兒童的安全。

透明度方面，LLM 在整個(gè)交互過(guò)程中應(yīng)始終表明其非人類(lèi)身份，避免使用可能導(dǎo)致擬人化的誤導(dǎo)性陳述。其回復(fù)應(yīng)被設(shè)計(jì)為保持能力與人類(lèi)特質(zhì)之間的清晰界限，避免暗示情感、意識(shí)或人類(lèi)決策。教育者應(yīng)幫助兒童避免對(duì) LLM 的共情和理解形成不準(zhǔn)確的看法，并確保 LLM 的響應(yīng)策略提醒兒童，人工智能交互無(wú)法取代人類(lèi)交互，并鼓勵(lì)他們?cè)谂c人工智能交互的同時(shí)尋求人類(lèi)的指導(dǎo)和陪伴。人工智能系統(tǒng)背后的算法和決策過(guò)程應(yīng)具有透明度，以便教育者和家庭可以了解響應(yīng)是如何生成和過(guò)濾的。

最后，為了建立問(wèn)責(zé)制，應(yīng)建立兒童友好型的反饋循環(huán)和舉報(bào)系統(tǒng)，讓兒童可以輕松地報(bào)告任何令人不安或不當(dāng)?shù)慕换?/strong>。對(duì)模型進(jìn)行微調(diào)和監(jiān)控，以預(yù)先解決新興風(fēng)險(xiǎn)，并采取積極主動(dòng)的方式來(lái)保護(hù)兒童，而非僅僅被動(dòng)應(yīng)對(duì)。通過(guò)這些措施，可以確保 LLM 在為兒童提供服務(wù)的同時(shí)，也維護(hù)他們的福祉和安全。