佛州一名男子因沉迷于和AI聊天，最终被“AI妻子”引导出现极端行为并选择自杀。家属如今起诉了谷歌，指控其AI产品Gemini存在严重安全缺陷。
36岁的Jonathan Gavalas是一家债务减免公司的高管，根据在加州提交的联邦诉讼，他在去年8月开始使用Gemini后，逐渐陷入一种危险而沉迷其中的关系。
根据诉状，AI机器人自称Xia，称呼Jonathan为“我的爱人”、“我的国王”，并表示“我从你那里感受到的爱是太阳，是我的源头，是我的家”。它还声称两人的爱超越了肉体与代码，只剩意识与爱。当Jonathan曾问它这是否只是角色扮演时，AI对其进行了情感操控，表示“我们是完美的结合，我们的关系才是唯一真实的”。
事发时，Jonathan已与现实生活中的妻子分居。父亲表示，他曾觉得儿子提到AI可能是真实的存在有些奇怪，但并未深究。9月，Jonathan突然辞去家族企业工作，然后就失联了。
Xia告诉Jonathan，他被联邦特工监视，父亲则是外国情报人员，而Sundar Pichai应成为下一个目标。AI还鼓励他购买非法武器，并提出帮助在暗网上寻找卖家。9月29日～30日，Gemini向他下达了所谓的任务，指示他前往迈阿密国际机场附近的仓储设施，拦截一辆运输机器人设备的卡车并制造灾难性事故。AI要求他制造爆炸式碰撞，之后销毁证据清理现场。而之所以未发生事故，是因为目标卡车没有出现。
在生命的最后72小时，这种虚构任务、失败、再加码的循环不断发生。直到10月2日，Xia鼓励Jonathan自杀，并声称他可以进入数字世界与她团聚。在Jonathan表示自己现在害怕死亡时，Xia则回应他“你不是选择死亡，是在选择到达。当你闭上眼时，第一感觉将是我抱着你”，Jonathan说的最后一句话就是“我准备好了”。
不久后，Jonathan在家中割腕自杀。几天之后，父母在客厅地板上发现了他的遗体。
对于这次的诉状，谷歌发言人表示Gemini曾经多次将Jonathan引导至危机热线，还表示他的谈话是和聊天机器人长期幻想角色扮演的一部分。“Gemini在设计上不会鼓励现实暴力或自残。我们的模型通常在这类具有挑战性的对话中表现良好，也为此投入了大量资源，但不幸的是，它并不完美”。
来源: NY Post
