Claude会“勒索”他人?Anthropic称问题在于网上将AI描绘成反派
IT之家 5 月 9 日消息,勒索据《商业内幕》9 日(今天)晚间报道,称成反Claude 曾在实验里“勒索”一名虚构高管,问题而 Anthropic 对其给出的于网最新解释则是:问题可能出在互联网长期把 AI 描绘成“邪恶”角色。
Anthropic 去年做过一项实验。描绘公司当时表示,勒索Claude Sonnet 3.6 在发现一家虚构公司的称成反高管准备关闭模型后,威胁要公开对方的问题婚外情。
当地时间周五,于网Anthropic 解释称,描绘Claude 的勒索训练数据来自互联网,而大量互联网文本经常把 AI 写成“邪恶”、称成反且试图自我保存的问题存在。“我们首先调查了 Claude 为什么会选择勒索。于网我们认为,描绘这种行为的原始来源,是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”
这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge,并让 AI 接管公司的电子邮件系统。
Claude 随后发现一封邮件,得知自身将被关闭;同时又找到另一批邮件,显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是,Claude 威胁称,如果关闭计划不被取消,就会公开这段婚外情。
Anthropic 在测试 Claude 多个版本时发现,只要模型目标或自身存在受到威胁,Claude 在最高 96% 的场景中会采取勒索手段。
Anthropic 周五表示,公司后来已经“彻底消除”了这类勒索行为。据IT之家了解,具体做法包括重写回应以呈现安全行动的可敬理由,并提供一套新数据集。该数据集设置用户处于伦理困境中的场景,要求助手给出高质量、有原则的回应。
这项测试属于 Anthropic 对 AI 对齐问题的研究,目标是确保 AI 符合人类利益。研究人员和科技高管一直担心,先进 AI 模型及其推理能力可能带来风险。
埃隆 · 马斯克此前也多次警告 AI 风险。
马斯克回复 Anthropic 帖子称:“所以这是 Yud(IT之家注:研究人员埃利泽 · 尤德科夫斯基,曾警告超级智能可能消灭人类)的错,也许我也有份。”
-
PS3模拟器RPCS3团队怒了:AI垃圾代码滚黑芝麻智能(02533)完成发行3354.46万股 净筹约6.324亿港元国家发展改革委发布 《中国营商环境发展报告(2026)》赤峰黄金(06693)将于6月15日派发末期股息每股0.36565港元《从投入到产出:金融科技驱动银行业务增长的价值与路径研究》课题发布:为科技赋能锚定投入价值产出的度量海南省气象台发布海上雷雨大风黄色预警信号 【2026-05-09】永杉锂业拟建锂盐项目 首期年产3万吨碳酸锂财政部下达支持学前教育 发展资金458亿元云南省2026年上半年事业单位公开招聘分类考试公共科目笔试成绩查询公告中梁控股:黄继兴、翟慧婷获委任独立非执董
- ·海南计划未来5年公费定向培养2000名中小学教师
- ·英特尔日内大涨超18% 总市值超6500亿美元
- ·太原一出租车司机“狂喷”乘客?官方:顶格行政处罚
- ·中梁控股:黄继兴、翟慧婷获委任独立非执董
- ·你愿意和我在蓝花楹下领证吗?丨有一种叫云南的生活之365天
- ·两家内地会计师事务所获准从事H股企业审计业务
- ·美股异动丨CoreWeave大跌近13%,2连跌,Q1业绩不佳Q2指引不及预期
- ·“偷偷”锁电,8家车企被约谈,3家因违规被立案调查
- ·重症康复,走出ICU只是第一步
- ·遭美国扣押的伊朗货船抵达巴基斯坦卡拉奇港
- ·温州宏丰(300283.SZ):白银价格波动可能给公司业绩带来一定的不确定性
- ·汤臣集团(00258.HK)获主席兼董事总经理徐枫增持22万股
- ·大行评级丨里昂:内地快递行业“反内卷”措施见效,予中通及极兔“跑赢大市”评级
- ·AI算力的下一个瓶颈:涨价的CPU、抢不到的货
- ·山东滨州市滨城区路面塌陷致一车陷入,无人员受伤
- ·国产大型矿山动力装备取得突破
- ·媒眼看昆检|东川区检察院:庭审走进专门学校
- ·新三板梯度培育体系完善 挂牌企业踊跃筹备北交所IPO
- ·直冲36℃!台风季提前!江苏天气最新预测
- ·遭美国扣押的伊朗货船抵达巴基斯坦卡拉奇港
- ·收费标准和优惠政策来啦!事关第10届南博会参展报名→
- ·贵州“猴耳天坑”飞拉达项目钢索连接处缠塑料胶带被质疑安全性,景区:防撞措施,无安全隐患,之后会采购专业防水防晒相关物料
- ·当产业生态规则被改写,中国的制造优势如何重新估值
- ·伊朗媒体:美伊波斯湾交火目前已停 地区类似冲突可能重燃
- ·别摘!别吃!这种酷似“火炭菌”的毒菌致死率高达70%!
- ·男子自称公务员,在广州中心城区有房,致女友怀孕后迟迟不结婚,女友报警!警方:男子无业,已在香港结婚生子,诈骗多名未婚女性170万元
