TOPLOC:一种用于可信验证推理的局部敏感哈希方案
TOPLOC 通过局部敏感哈希机制检测模型、提示词或计算精度的未授权修改,验证速度比原始推理快 100 倍,每 32 个新 token 的提交存储只需 258 字节(对比 Llama-3.1-8B-Instruct 的 262 KB)。该方案在多种硬件配置、GPU 类型、张量并行维度和注意力核实现下保持鲁棒性,内存开销降低 1000 倍,适用于大规模部署。
TOPLOC 通过局部敏感哈希机制检测模型、提示词或计算精度的未授权修改,验证速度比原始推理快 100 倍,每 32 个新 token 的提交存储只需 258 字节(对比 Llama-3.1-8B-Instruct 的 262 KB)。该方案在多种硬件配置、GPU 类型、张量并行维度和注意力核实现下保持鲁棒性,内存开销降低 1000 倍,适用于大规模部署。
Dify 宣布开源 DifySandbox 以提升代码透明度,该沙盒为 Dify 工作流中的代码节点、模板转换节点、LLM 节点和工具节点中的代码解释器提供安全执行环境,通过操作系统、文件系统、网络和权限隔离策略增强安全性,支持 Python 和 Node.js 并具备扩展性,源代码已托管于 GitHub。
DifySandbox 是 Dify 平台提供的代码执行沙箱服务,用于在后台处理 JSON、XML 数据及执行用户自定义代码,同时通过隔离文件系统、数据库和网络来确保安全。它支持 Python 和 Node.js 两种语言执行,采用系统级解决方案而非特定语言沙箱,避免 Docker 容器带来的性能和安全问题。该服务通过限制恶意代码访问核心资源,防止用户代码执行漏洞,保障平台正常运作。
Anthropic 提出一种评估语言模型潜在歧视影响的方法,在 70 种社会决策场景中系统变化人口信息,发现 Claude 2.0 在特定设置中存在正负歧视。通过提示工程可显著减少此类歧视,为安全部署提供路径。团队发布相关数据集和提示。