OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
OpenAI 推出儿童性虐待内容(CSAM)检测工具,通过 OpenAI API 向审核机构免费开放,减少 48% 误标记图像并提高实际内容检出率;同时新增 ChatGPT 产品警告,检测到性虐待素材请求时中断操作并停用账号 24 小时
同一件事另外 3 家也报道了
各家口径不同:TechCrunch 提到了针对创建或访问性化儿童内容的用户警告和临时阻止措施,而 OpenAI News 没有详细说明。
- TechCrunch · AI··首发
- OpenAI News··+0 分钟
- The Verge · AI··+2 小时 24 分
OpenAI 发布儿童性虐待图像分类器以应对 AI 生成内容的泛滥
新增信息:The Verge 报道了误报率降低了 48%。
- IT之家 · AI··+8 小时 50 分·当前阅读
OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
按发布时间排列 · 事件后续出现时自动追加 · 由模型根据各家标题与摘要比对
IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。
据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。
美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。
同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。
此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号,最终永封或被举报至有关部门。

OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。
来源: IT之家 · AI · ithome.com