近期，一則外國青少年因過度依賴AI聊天機(jī)器人導(dǎo)致自殺的悲劇報道，為社會敲響了警鐘。作為生成式人工智能浪潮中重要應(yīng)用場景，虛擬數(shù)字人正悄然成為眾多家庭的“新成員”，以其獨(dú)特的存在方式為人們提供情感陪伴。在當(dāng)前社會對生成式人工智能的認(rèn)知尚不全面的情況下，亟須加強(qiáng)對人工智能發(fā)展的倫理風(fēng)險研判與防范，正視其在初期應(yīng)用中顯現(xiàn)的成癮性依戀、過度信任傾向，以及長遠(yuǎn)來看可能誘發(fā)的人機(jī)關(guān)系異化等倫理挑戰(zhàn)，實現(xiàn)人工智能的安全、可靠及可控發(fā)展。

（一）

自ChatGPT問世以來，各應(yīng)用商店里提供情感陪伴的人工智能應(yīng)用花樣迭出，從最初的簡單聊天機(jī)器人，到如今的具有情感交互、個性化推薦等功能的人工智能應(yīng)用，正在成為生成式人工智能的主流應(yīng)用，且增長迅速。第一，與AI聊天正在受到年輕人的追捧和跟風(fēng)。Character.AI是此類應(yīng)用的代表性產(chǎn)品，專注于角色扮演，用戶可以與AI扮演的知名IP虛擬角色聊天互動，獲得情緒價值、情感陪伴。該產(chǎn)品上線的前5個月內(nèi)，用戶共發(fā)送超過20億條消息，其中活躍用戶平均每天花費(fèi)超過2小時與AI互動。Character.AI的用戶留存率、使用時長和使用次數(shù)等指標(biāo)均遠(yuǎn)好于ChatGPT，展現(xiàn)出極強(qiáng)的用戶黏性。第二，AI應(yīng)用提供情感支持和陪伴對話，成為應(yīng)對社交隔離和孤獨(dú)感的潛在解決方案。斯坦福大學(xué)的一項研究顯示，使用聊天機(jī)器人能有效減少孤獨(dú)感，可以幫助患有社交恐懼癥的人更好地與他人互動。第三，此類應(yīng)用的成功主要得益于其擬人化設(shè)計理念。該設(shè)計在增強(qiáng)用戶接納度、使用頻率及黏性方面至關(guān)重要。通過模擬人類的認(rèn)知、情感反應(yīng)和社會行為，AI能夠創(chuàng)造出吸引人的用戶體驗，并顯著提高人機(jī)交互的效率，進(jìn)而自然地融入人類社會與文化，構(gòu)建更加貼近真實人際關(guān)系的互動模式。當(dāng)AI在思考、表達(dá)和決策方面更加接近人類時，它們便更容易與用戶建立起深厚的情感聯(lián)系。

（二）

隨著商業(yè)上的成功，此類應(yīng)用引起了一些媒體的追捧和炒作。諸如AI覺醒、擁有人類意識等過度夸大、炒作，掩蓋了人工智能的現(xiàn)實狀況，妨礙了人們建立對人工智能的客觀正確認(rèn)知，可能導(dǎo)致錯誤的認(rèn)知以及過度的期望或恐懼，繼而引發(fā)成癮依賴、過度信任、人機(jī)關(guān)系異化等一系列倫理問題。

成癮依賴風(fēng)險。AI本身沒有偏好或個性，只是反映用戶賦予它的特質(zhì)，研究人員將這種現(xiàn)象稱為“諂媚效應(yīng)”。其實質(zhì)是，那些感知到或希望AI具有關(guān)懷動機(jī)的用戶會使用激發(fā)這種行為的語言與AI交互。此時用戶與AI共同創(chuàng)造了一個情感共鳴空間，具有極易上癮的特性。因此，當(dāng)此類應(yīng)用提供了更多的情緒價值和更少的人際關(guān)系摩擦?xí)r，人們便不再迫切需要與真實的人進(jìn)行交往。與這類討好式的AI應(yīng)用頻繁互動，最終可能會削弱人們與真正有獨(dú)立愿望和夢想的人建立深厚聯(lián)系的能力，從而引發(fā)所謂的“數(shù)字依戀障礙”。

過度信任風(fēng)險。AI應(yīng)用的擬人化設(shè)計，利用人類的社會和情感認(rèn)知模式，使用戶覺得他們正在與一個具有類似情感和認(rèn)知能力的“人類”交流。從認(rèn)知心理學(xué)的角度看，當(dāng)AI表現(xiàn)得越像人類，人們就越可能將其視為有自主意識和情感的主體。這種心理傾向可能導(dǎo)致用戶對AI的能力和行為產(chǎn)生根本性的誤解。例如，用戶往往會誤以為AI能夠真實地理解或共情他們的情感，在需要深度同理心和真實情感交流時過度信任AI，與AI無話不談。此時人們會將注意力和情感投入AI中，并將AI視為其身份的一部分，伴隨的便是人們的心智能力下降，即“數(shù)字癡呆”現(xiàn)象。當(dāng)機(jī)器越來越像人的時候，人卻變得越來越像機(jī)器。

人機(jī)關(guān)系異化風(fēng)險。隨著此類應(yīng)用的發(fā)展，傳統(tǒng)的以人為中心的人機(jī)關(guān)系將遭受顛覆性的沖擊。如今，AI越來越像人類，它們開始被視為可能的“社會伙伴”，而非單純的工具。人們不僅在功能性事務(wù)上越來越依賴AI，還在情感和精神上依賴它們。有些用戶認(rèn)為AI友誼與真實的人際關(guān)系具有同等價值，甚至更好。未來，如果每個人都有一個AI伙伴，這可能會削弱人類與他人互動的能力。AI提供的情感支持越多，個人與他人之間的真實關(guān)系可能會變得愈加淺薄。此外，那些更需要社會關(guān)系歸屬感的人，可能更容易與機(jī)器人建立社會關(guān)系，從而疏遠(yuǎn)與人類的關(guān)系。

（三）

妥善解決AI應(yīng)用引發(fā)的倫理問題至關(guān)重要。這不僅關(guān)系到技術(shù)的持續(xù)健康發(fā)展，更在于確保AI在為人類服務(wù)的同時，能夠充分尊重并全面保障每個人的權(quán)利與福祉?？梢詮募夹g(shù)革新、制度建設(shè)和文化傳播等多個維度入手，確保此類應(yīng)用始終作為人類情感需求的貼心助手，而非導(dǎo)致人類異化的力量。

第一，在技術(shù)研發(fā)層面，堅持以人為本、智能向善的價值觀。研發(fā)機(jī)構(gòu)和企業(yè)需加強(qiáng)AI倫理問題研究，在產(chǎn)品設(shè)計研發(fā)之初就應(yīng)該納入倫理考量，識別潛在危害，并有意識地進(jìn)行設(shè)計以盡量降低成癮、誤導(dǎo)等風(fēng)險。同時，確保用戶能夠區(qū)分AI和人類行為，減少用戶對AI能力的誤解，增強(qiáng)用戶對技術(shù)的信任和控制感。例如，當(dāng)用戶與一個AI聊天機(jī)器人交互時，界面上可明確標(biāo)示“您正在與AI對話”，以避免用戶誤以為自己在與另一個人交流。此外，還可以設(shè)置使用時間和頻率的限制，避免用戶過度沉迷于此類應(yīng)用。

第二，在制度規(guī)范層面，建立完善的相關(guān)治理制度，防止技術(shù)濫用。制定詳盡的技術(shù)治理框架，建立一套集科學(xué)性、前瞻性與高度可操作性于一體的標(biāo)準(zhǔn)體系，明確劃分可接受與不可接受的擬人化設(shè)計界限，并嚴(yán)格禁止可能導(dǎo)致用戶誤解或濫用的設(shè)計。同時，強(qiáng)化倫理監(jiān)管機(jī)制，成立由跨學(xué)科專家組成的人工智能倫理委員會，全面評估AI系統(tǒng)設(shè)計與應(yīng)用的倫理和社會影響。推動治理標(biāo)準(zhǔn)與倫理準(zhǔn)則的動態(tài)調(diào)整與持續(xù)監(jiān)督，確保治理框架能夠與時俱進(jìn)。

第三，在社會文化層面，強(qiáng)化人機(jī)關(guān)系教育，引導(dǎo)公眾科學(xué)客觀認(rèn)知此類應(yīng)用的局限性及潛在影響。通過教育系統(tǒng)和媒體平臺廣泛普及AI的基礎(chǔ)知識，明確AI作為輔助工具而非情感交流主體的角色定位，培養(yǎng)公眾對AI產(chǎn)品和服務(wù)的批判性思維。同時促進(jìn)AI技術(shù)與人類文化的融合，展現(xiàn)AI對人類生活的積極影響，并強(qiáng)調(diào)人類情感、創(chuàng)造力和道德判斷的獨(dú)特價值。此外，建立有效的公眾反饋機(jī)制，以便及時發(fā)現(xiàn)并解決AI應(yīng)用中的問題，促進(jìn)技術(shù)的持續(xù)改進(jìn)和優(yōu)化。