Dosu如何通过评估驱动开发提升大语言模型可靠性
Dosu 通过评估驱动开发(EDD)提升大语言模型可靠性,使用 LangSmith 监控和搜索活动以应对增长带来的挑战。团队采用 EDD 流程改进核心逻辑、模型或提示,确保维护性能并改善薄弱环节。LangSmith SDK 提供了所需的细粒度控制和可定制性,支持将提示作为代码管理并跟踪元数据。
Dosu 通过评估驱动开发(EDD)提升大语言模型可靠性,使用 LangSmith 监控和搜索活动以应对增长带来的挑战。团队采用 EDD 流程改进核心逻辑、模型或提示,确保维护性能并改善薄弱环节。LangSmith SDK 提供了所需的细粒度控制和可定制性,支持将提示作为代码管理并跟踪元数据。
Anthropic 提出一种评估语言模型潜在歧视影响的方法,在 70 种社会决策场景中系统变化人口信息,发现 Claude 2.0 在特定设置中存在正负歧视。通过提示工程可显著减少此类歧视,为安全部署提供路径。团队发布相关数据集和提示。