美國人工智能明星獨角獸公司Character.AI以及科技巨頭谷歌，日前因卷入一起少年自殺案而遭到起訴。此案的原告是美國佛羅里達州的一位律師，她年僅14歲的兒子塞維爾·塞策三世對Character.AI中的虛擬陪伴者“龍媽”產生了情感依戀。在沉迷數月之后，塞維爾變得與世隔絕，最終于今年二月自殺。

經原告授權，媒體披露了少年與AI陪伴者的部分對話。塞維爾曾幾次表露過“自殺”“解脫出來”等念頭，AI系統均未出現過相關防護性提示。尤其在最后一段對話中，少年提出想“回家”“回到她身邊”，AI陪伴者回復了“請盡快回家找我”的字樣，隨后，少年放下了手機、拿起繼父的手槍扣動了扳機。

此案在社交媒體上被稱為“首例AI聊天致死案”。雖然也有論者指出，少年的自殺是家庭缺位、槍支管理等問題的多因一果，但這些原因恐怕都難以抹殺AI陪伴者與自殺結果的直接相關性。尤其，Character.AI帶來的青少年沉迷問題已成現象，沒有龐大數量的擁躉、沒有這么長的在線使用時長，也就沒有這家短時間內就崛起的明星獨角獸公司。面對原告的指控：“危險性過高”，面向兒童銷售且缺乏安全防護措施，平臺方難辭其咎。

AI帶來的倫理風險是系統的，“首例AI聊天致死案”是這種危險的極化顯現。但也恰因為遇到了一個極化的問題，它提供了倫理監管的抓手：從青少年的安全防護開始。對于自殘和自殺字樣，系統應明令禁止；對于此類話題的暗示性對話，系統應進行算法標記并及時導入心理咨詢熱線、心理干預網址；對于用戶使用時長過長，系統更應定時跳出提示條：這是虛擬人物，你只是在與代碼對話。

預防沉迷本來就是技術媒介的倫理責任，從可能導致的危險性和危害性來看，預防青少年沉迷更是“倫理”中的“倫理”。實際上，青少年保護模式已經可以成熟地運用于各類社交平臺，對于AI這樣的超級算法系統而言，增加標記、跳轉、提示，更是易如反掌。AI陪伴平臺之所以言保護而未保護，只不過是因為資本不會自動戴上緊箍咒，我們所言的“沉迷”，換個角度看，不正是平臺方所心心念念的用戶粘性么？

光明網評論員曾在多篇評論中提到，今天的技術媒介是資本、技術、媒體三位一體的平臺，監管與倫理需要從社會層面介入，而不能冀望自動的“技術向善”。這種倫理介入要系統范導AI當然是很難的事情，這是各國學界業界目前都在激烈討論的問題，但從青少年保護開始，卻還是有辦法、有工具儲備的，這需要成為公共政策的發力點。

最遲到千禧年之后出生的世代，人生從未經歷過前互聯網生活，這意味著他們很難和前幾代人一樣理解“虛擬”二字。他們見到的永恒，是“數字性永生”；他們理解的死亡，是“社會性死亡”，這些特征在無倫理保護的AI世界中會變成一種高危性。依戀AI陪伴而自殺的男孩，就發出了這樣的警告。