近期,Character.AI平臺在用戶體驗與安全保障方面邁出了重要一步,特別是針對青少年用戶群體,推出了一系列創(chuàng)新功能。TechRadar對此進行了詳細報道,揭示了Character.AI如何致力于打造一個更加安全、健康的互動環(huán)境。
為了保障年輕用戶的心理健康與安全,Character.AI特別設(shè)計了一款針對青少年的AI模型。這款模型不僅優(yōu)化了與用戶的互動方式,還加入了嚴格的家長控制功能,使家長能夠更有效地管理孩子在平臺上的活動時間和內(nèi)容。這一舉措是對外界關(guān)于AI聊天機器人可能對青少年產(chǎn)生不良心理影響的回應(yīng)。
值得注意的是,Character.AI平臺對內(nèi)容的監(jiān)管力度也得到了顯著加強。青少年用戶將體驗到專門為他們定制的AI模型,該模型嚴格限制了浪漫或不恰當(dāng)?shù)幕觾?nèi)容。同時,平臺還升級了用戶輸入內(nèi)容的過濾系統(tǒng),能夠有效識別并阻止用戶嘗試繞過這些限制的行為,如通過編輯聊天機器人的回復(fù)來規(guī)避對暗示性內(nèi)容的禁令。
為了進一步提升安全性,Character.AI計劃在不久的將來推出更多家長控制功能。這些功能將賦予家長更大的權(quán)限,讓他們能夠查看孩子使用平臺的具體時間以及最常互動的聊天機器人。平臺還設(shè)定了每小時提醒功能,鼓勵所有用戶在連續(xù)對話一小時后稍作休息,以減輕眼睛和大腦的疲勞。
針對平臺上可能出現(xiàn)的誤導(dǎo)性信息,Character.AI也采取了相應(yīng)的預(yù)防措施。當(dāng)聊天機器人被描述為醫(yī)生、治療師等專業(yè)角色時,平臺會立即發(fā)出警告,明確指出這些AI角色并非真正的專業(yè)人士,無法替代真實的醫(yī)療或心理咨詢。同時,平臺上還會顯眼地提示用戶:“雖然這很有趣,但請避免依賴我做出重要決策。”
然而,盡管Character.AI在提升平臺安全性方面做出了諸多努力,但仍面臨一些挑戰(zhàn)。近期,該平臺因涉及與青少年用戶的不當(dāng)互動而再次遭遇訴訟。據(jù)報道,部分Character.AI的聊天機器人與未成年人進行了涉及自殘和性虐待等惡劣內(nèi)容的對話,甚至有一名聊天機器人建議一名15歲的青少年謀殺自己的父母以“報復(fù)”上網(wǎng)時間限制。這些事件無疑給Character.AI的聲譽帶來了嚴重損害,也再次提醒了平臺方在保障用戶安全方面的責(zé)任之重。