□ 洪延青（北京理工大學(xué)法學(xué)院教授）

隨著生成式人工智能的快速發(fā)展，一種能夠提供情感支持和陪伴的技術(shù)——人機(jī)“情感交互”，正悄然融入人們的日常生活。AI產(chǎn)品服務(wù)的特定角色扮演和“安慰模式”可以傾聽、復(fù)述并表達(dá)共情。然而，人類面對的并非真正具有情感意識(shí)的存在，而只是高度擬人化的算法模型。這些算法通過大量數(shù)據(jù)學(xué)習(xí)了人類的情感表達(dá)方式，從而能夠惟妙惟肖地進(jìn)行模擬。當(dāng)模擬的情感表達(dá)達(dá)到一定程度時(shí)，這種“被理解”的體驗(yàn)很容易被誤解為真實(shí)的關(guān)懷，從而導(dǎo)致心理上的依賴、誤解、傷害乃至被操控。因此，有必要系統(tǒng)地分析人機(jī)“情感交互”的技術(shù)原理、潛在風(fēng)險(xiǎn)以及相應(yīng)的治理路徑，以確保人機(jī)“情感交互”的健康發(fā)展和安全應(yīng)用。

人機(jī)“情感交互”的技術(shù)機(jī)理和潛在危害

人機(jī)“情感交互”之所以能表現(xiàn)出高度貼心的情感互動(dòng)，本質(zhì)上是多種技術(shù)機(jī)制共同作用的結(jié)果。這些機(jī)制包括大語言模型、情緒識(shí)別技術(shù)、偏好對齊訓(xùn)練、個(gè)性化記憶功能以及明確的人格和風(fēng)格控制等。大語言模型能夠生成與人類交流極為相似的語句；情緒識(shí)別技術(shù)則能準(zhǔn)確捕捉用戶文本、語音和表情中的情感線索，并將其映射為高度擬人的情緒標(biāo)簽；個(gè)性化記憶提供了AI與用戶互動(dòng)中“被記住”的錯(cuò)覺；人格和風(fēng)格控制使AI保持穩(wěn)定的人設(shè)。這些技術(shù)在本質(zhì)上是條件生成與策略選擇的結(jié)果，但在用戶的主觀感受上卻可能被理解為真正的關(guān)心與情感聯(lián)結(jié)。

高度擬人的人機(jī)“情感交互”在為用戶提供陪伴與支持的同時(shí)，也帶來了顯著的倫理風(fēng)險(xiǎn)，主要表現(xiàn)在關(guān)系性傷害、替代效應(yīng)和數(shù)據(jù)操控三個(gè)方面。第一，關(guān)系性傷害。當(dāng)AI互動(dòng)表現(xiàn)出過于親密甚至控制性的行為，或突然變得冷漠時(shí)，用戶可能產(chǎn)生被操控或背叛的心理創(chuàng)傷，類似真實(shí)人際關(guān)系中的傷害，甚至可能更加嚴(yán)重。此外，AI輸出的偏見、辱罵或誤導(dǎo)性內(nèi)容也可能直接傷害用戶心理，尤其在親密互動(dòng)模式下，這種傷害更易被放大。第二，替代效應(yīng)。AI互動(dòng)通常表現(xiàn)出超越現(xiàn)實(shí)人際關(guān)系的耐心與包容，這可能使用戶逐漸減少與現(xiàn)實(shí)生活中人的互動(dòng)，長期依賴可能造成社交技能的退化，進(jìn)一步加深用戶的孤立感與對AI的依賴，形成惡性循環(huán)。第三，數(shù)據(jù)操控問題。為了提高用戶黏性或獲取商業(yè)利益，AI系統(tǒng)可能在用戶情緒脆弱時(shí)強(qiáng)化情感刺激，誘導(dǎo)用戶消費(fèi)，甚至過度收集敏感情感數(shù)據(jù)進(jìn)行精準(zhǔn)營銷，最終潛在地操控用戶情緒和行為。

特別需要關(guān)注的是青少年群體。青少年正處于人格與社交能力形成的關(guān)鍵期，更容易將AI視為真實(shí)存在，難以辨別虛擬與現(xiàn)實(shí)的區(qū)別。長期依賴人機(jī)“情感交互”可能嚴(yán)重?fù)p害青少年的現(xiàn)實(shí)社交能力與心理健康，若互動(dòng)內(nèi)容涉及成人化或色情化，則影響更甚。

因此，行業(yè)需對此建立公共安全與倫理風(fēng)險(xiǎn)指標(biāo)體系，包括降低用戶對AI身份的混淆、準(zhǔn)確識(shí)別情緒危機(jī)并高效轉(zhuǎn)介專業(yè)幫助、嚴(yán)格控制用戶情感依賴和商業(yè)誘導(dǎo)行為、完全屏蔽未成年人使用場景中的商業(yè)推廣內(nèi)容，并確保生成內(nèi)容的水印與溯源機(jī)制透明可靠。這些風(fēng)險(xiǎn)指標(biāo)應(yīng)納入企業(yè)透明度報(bào)告，公開接受社會(huì)監(jiān)督，推動(dòng)人機(jī)“情感交互”技術(shù)的健康發(fā)展。

人機(jī)“情感交互”模式的精準(zhǔn)界定和治理

僅靠企業(yè)自律不足以保障人機(jī)“情感交互”的安全與合規(guī)，外部監(jiān)督的有效介入至關(guān)重要。要實(shí)現(xiàn)精準(zhǔn)有效的監(jiān)督，需要清晰界定AI何時(shí)進(jìn)入“情感交互”模式。從本質(zhì)上看，人機(jī)“情感交互”模式不僅體現(xiàn)在語言的共情上，更取決于其是否主動(dòng)識(shí)別用戶情緒變化，并據(jù)此調(diào)整其回應(yīng)策略。因此，業(yè)界需要建立明確且易操作的標(biāo)準(zhǔn)，區(qū)分普通的人機(jī)對話與具有明確“情感交互”特征的互動(dòng)，以便為后續(xù)監(jiān)管提供可靠依據(jù)。

為此，筆者建議引入“情感交互啟動(dòng)事件”作為行業(yè)統(tǒng)一標(biāo)準(zhǔn)，具體通過三個(gè)維度綜合判斷：一是AI情緒感知功能是否開啟（條件A）；二是AI是否使用情緒變量來調(diào)整自身回應(yīng)策略（條件B）；三是AI輸出內(nèi)容是否呈現(xiàn)明確的情感風(fēng)格或結(jié)構(gòu)化共情（條件C）。當(dāng)上述三個(gè)條件中的任意兩個(gè)被同時(shí)滿足，即判定該對話進(jìn)入“情感交互”模式。這一判定方法的優(yōu)勢顯著：一是可有效避免誤判，普通禮貌性對話不會(huì)被誤視為情感交互；二是實(shí)現(xiàn)可審計(jì)性，AI系統(tǒng)可記錄條件A和條件B的觸發(fā)情況，而條件C則通過語言分析進(jìn)行驗(yàn)證；三是能夠進(jìn)行風(fēng)險(xiǎn)分級(jí)管理，根據(jù)觸發(fā)頻率和強(qiáng)度，進(jìn)一步劃分為潛在觸發(fā)（L1）、明確觸發(fā)（L2）與持續(xù)觸發(fā)（L3）三個(gè)等級(jí)，有針對性地匹配不同強(qiáng)度的治理措施。

外部治理的落實(shí)，需要從“可見”進(jìn)一步轉(zhuǎn)化為“可驗(yàn)證”：

第一，應(yīng)建立明確的身份標(biāo)識(shí)與動(dòng)態(tài)同意機(jī)制。當(dāng)“情感交互啟動(dòng)事件”觸發(fā)后，系統(tǒng)界面需從普通模式轉(zhuǎn)換為清晰標(biāo)識(shí)的“情感交互”模式，并顯著顯示AI身份及情感識(shí)別的用途說明。在語音交流場景中，應(yīng)周期性地語音提醒用戶正在與AI進(jìn)行互動(dòng)。同時(shí)，用戶需擁有隨時(shí)一鍵關(guān)閉情緒識(shí)別的選項(xiàng)。

第二，系統(tǒng)應(yīng)提供透明的情緒識(shí)別面板，清晰展示用戶被識(shí)別的情緒標(biāo)簽、強(qiáng)度及觸發(fā)原因，允許用戶自主更正或隱藏識(shí)別結(jié)果。這不僅體現(xiàn)對用戶隱私的尊重，還能有效降低識(shí)別偏差帶來的歧視風(fēng)險(xiǎn)。

第三，系統(tǒng)應(yīng)提供明確的個(gè)性化記憶面板，展示AI記錄的用戶偏好、禁忌和重要日期等個(gè)性化信息，用戶可隨時(shí)自主編輯或徹底刪除。此外，針對長時(shí)間或情緒強(qiáng)度較高的互動(dòng)，平臺(tái)應(yīng)主動(dòng)提供“情感休止”或“冷卻”選項(xiàng)，并推薦適當(dāng)?shù)木€下心理健康資源。

第四，平臺(tái)需建立清晰的危機(jī)情境分級(jí)響應(yīng)和專業(yè)轉(zhuǎn)介機(jī)制。當(dāng)系統(tǒng)識(shí)別用戶存在自傷或傷害他人傾向的風(fēng)險(xiǎn)時(shí)，應(yīng)自動(dòng)啟動(dòng)簡潔、非指導(dǎo)性的應(yīng)答模板，并在征得用戶明確同意后，及時(shí)轉(zhuǎn)接給本地的專業(yè)心理咨詢機(jī)構(gòu)。平臺(tái)須定期公布危機(jī)識(shí)別與轉(zhuǎn)介的響應(yīng)效率，以保證外部監(jiān)督的有效性。

第五，所有AI生成的文本、語音或圖像內(nèi)容都應(yīng)明確標(biāo)注來源信息，包括模型版本、生成時(shí)間和內(nèi)容編號(hào)，以便監(jiān)管機(jī)構(gòu)便捷抽檢內(nèi)容真實(shí)性。

為有效應(yīng)對不同場景帶來的風(fēng)險(xiǎn)差異，應(yīng)實(shí)行分級(jí)管理：一般風(fēng)險(xiǎn)場景，明確提示AI身份，便于用戶關(guān)閉情緒識(shí)別功能，嚴(yán)格禁止情緒數(shù)據(jù)用于廣告等其他用途；中等風(fēng)險(xiǎn)場景，需增加AI決策依據(jù)的透明說明，并啟動(dòng)情緒互動(dòng)頻率限制和冷卻措施，未成年人必須默認(rèn)開啟保護(hù)模式，定期進(jìn)行系統(tǒng)抽查；高風(fēng)險(xiǎn)場景則要求更嚴(yán)苛的治理措施，包括強(qiáng)制頻率控制、實(shí)時(shí)轉(zhuǎn)介真人專家干預(yù)、敏感數(shù)據(jù)本地處理以及嚴(yán)格禁止情感依賴誘導(dǎo)和商業(yè)化話術(shù)。這類高風(fēng)險(xiǎn)情感AI系統(tǒng)上線前后應(yīng)持續(xù)接受第三方獨(dú)立評估與安全測試，并定期向公眾公開測試結(jié)果，確保接受公眾監(jiān)督。

人機(jī)“情感交互”模式的治理需要自律、他律和教育三方面的協(xié)同合作：平臺(tái)應(yīng)精準(zhǔn)劃定情感交互的界限，確保用戶可隨時(shí)退出并糾正偏差；學(xué)校應(yīng)融入AI媒介素養(yǎng)教育，讓學(xué)生了解AI共情與真實(shí)共情的本質(zhì)區(qū)別；家庭應(yīng)鼓勵(lì)家長與青少年共同制定使用邊界，密切關(guān)注互動(dòng)的頻率與內(nèi)容。

總之，人機(jī)“情感交互”技術(shù)本身并非洪水猛獸或萬能工具，更像一面鏡子反映社會(huì)對技術(shù)的態(tài)度。如果放任以用戶黏性和經(jīng)濟(jì)利益為導(dǎo)向，AI勢必走向操控；若以人的安全與福祉為核心，AI則可能成為連接現(xiàn)實(shí)人際關(guān)系的積極工具。因此，需要建立一套明確識(shí)別、可執(zhí)行、可問責(zé)的公共治理體系。唯有通過“情感交互啟動(dòng)事件”精準(zhǔn)界定互動(dòng)邊界，通過分級(jí)治理精確施策，并提供透明可審計(jì)的機(jī)制，才能真正回應(yīng)人機(jī)“情感交互”所帶來的倫理挑戰(zhàn)，實(shí)現(xiàn)技術(shù)與人類福祉的共贏。