LangSmith LLM可观察性:通过服务证明痕迹树

长史密斯可以显示一个清洁的成功跨度, 缺失的证据可能是一个从未加入了痕迹的工人,在服务跳跃后创建的第二根,或者没有证明所需文物到达目的地的完整的痕迹. 实际默认是简单的:将 one接受代理请求视为一个可靠的追踪树 ,然后对预期服务表进行测试. 一个健康的判决需要一个根源,可解决的父母链接,预期的服务阶段,新的进展或明确的等待, 仅仅完成痕迹并不意味着完成任务. 本指南将该规则转化为对 langsmith llm可观测 的八例审计. 这里没有提示,答案,秘密,或工具的有效载荷. 它将一个天真的"每一个时间都说好了"规则与更严格的运营决定进行比较,并揭示了五个虚假绿色的案例. 默认设置:在可信的服务跳转中保存一个根 兰格史密斯定义了痕迹为运行树,其分布式追踪文件描述了请求如何在服务中继续. 原始服务将当前运行树串行到 langsmith trace 标题中,可为元数据和标签选择 baggage . 接收的内部服务恢复了这种背景并继续追踪. 这就是为一个将工作交给规划者,然后给一个工人的API的合理实现默认. 它给运营商一个因果树,而不是无关的本地痕迹. 同样的文档在功能旁边设置了一个重要的边界:这些标题是可信的追踪环境. 公共终端点不得接受他们作为权威的家长,也不应接受不信任的通话者任意的行李. 在边缘处剥离它们,开始接受请求的新根, 对于每一个被接受的请求,记录一个无内容的表格,如: requestKey 应是一个不透明的标识符,而不是提示或客户名称. 没有它,任何痕迹都不能告诉你预期的服务没有发出任何信息. 在评估跨度状态之前的审计结构 首先是结构,因为当地的成功范围的集合仍然可以描述错误的执行. 按照以下顺序进行这些检查: 检查 证据 失败状态 信任界限 根源是在公众边缘之后创建的;传播的行李只来自内部服务 UNTRUSTED CONTEXT 根数量 准确的接受请求的根图 SPLIT TRACE 父母的完整性 每个非根源的 parent run id 都在同一条痕迹内解决 ORPHAN SPAN 服务覆盖范围 每个必要的表现阶段至少有一个预期的运行 TRACE GAP 清新感 开放工作有最近的进展或有效的依赖期限 STUCK 或 WAITING 结果 指定目的地具有确定性收据 OUTCOME UNVERIFIED 最终判决 所有适用的检查均通过 HEALTHY 这个命令很重要. 如果公众通话者能提供可信的行李,即使树的形状是完美的, 如果有两根根, 检查孩子只在一个根根根下可以隐藏一半的处决. 如果没有父母身份证,时刻标签不会弥补因果差距. 不要强迫跑步的痕迹包括尚未达到的阶段. 服务覆盖范围在相关生命周期边界进行评估. 在规划者发出工作之前,没有工人是正常的. 在运行报告完成后,相同的缺席是痕迹差距. 保存生命周期的里程碑在表旁边,而不是仅仅从墙钟时间推断. 复试也需要明确的规则. 第二次工作时间不一定是重复的失败. 记录一个稳定操作键和试验号码,然后问是否重新试验保持在相同的受理根下,并且是否只发生了一种效果. 这项追踪树审计检查了因果覆盖率;无效或效果接收审计处理了重复的副作用. 再播放八个不方便的痕迹 研究文物使用了四项必要服务 api , planner , tool worker 和 verifier ,并复制了八个案例: 1. 一个完整的分布式痕迹,其中包含一个验证的文物; 2. 失踪工人时间; 3. 没有父母身份证的工人; 4. 一个被接受的请求的两个根; 5. 一个新的等待与所有者和未来的最后期限; 6. 开放式工作者,进展不稳定; 7. 一个完整的跟踪,没有目的地收据; 8. 从公共传播来源接受的行李. 使用 Node 运行确定分类器: 产生的确切装置: 结果是六个天真的绿色和一个被验证的健康运行之间的差距. 五起案件仅包含 ok 范围,但未经结构性,信任或结果检查. 这位老工不是天真绿色的,因为它仍然开放. 但它被转移到 WAITING ,而不是被误称为失败. 这并不意味着七名特工被打破. 这意味着只有一个案例有足够的证据来得出一个健康的结论. WAITING 是一个有效的运营状态,空白状态确定在决定之前必须恢复哪些证据. 一个紧的分类器可以实现优先级: 优先级保证了活动与有用进展之间的区别. 它还防止后期绿色状态消除早期证据失败. 查询树没有出口即时内容 兰格斯密官方SDK查询指南建议使用 list runs 或 /runs/query API. 它记录了 is root=True 用于根运行选择和 read run(..., load child runs=True) 用于化候选树,当本地儿童预示需要服务器侧过器不暴露的字段时. 最少的Python收集路径是: 调整 select 列表到安装的SDK. 研究快照观察到2026年7月28日发布的官方 langsmith sdk 版本其他类型:; 在复制字段名称到生产代码之前,请验证当前的参考. 审计不需要 inputs 或 outputs . 穿过水的幼儿树,只保留: 运行和追踪身份证; 父母运行身份证; 申请发行服务或舞台标签; 开始,结束和最后进步时间; 状态或错误存在; 不透明操作和请求密钥; 等待所有者和截止日期; 目的地收据的识别符和验证结果. 其他国家 兰格斯密观察性概述 正确地分开追踪调查,仪表板,警报,自动化,在线评估和反. 结构轨迹审计补充这些表面;它不取代评估,也不声称每一个失败都可见于元数据. 保持等待,停留,和结果验证分开 长期的时间不够叫一个代理被困. 要求有新鲜度的违规行为,以及没有有效的等待合同. 一个等待合同需要一个拥有者,一个依赖者,一个截止日期. 工作人员在此之前已经取得了进展,等待了评审员,并且有未来的截止日期. 正确的状态是 WAITING . 这位老工没有这样的解释,他已经超过了五分钟的清新窗口,所以它变成了 STUCK . 任何一个国家都不是 HEALTHY . 等待需要向命名的主人进行路由; 工作需要进行调查, 也许需要一个有限的恢复建议. 不要仅仅因为痕迹停止移动而再尝试,尤其是在副作用边界附近. 最后,需要出于踪迹的证据. 一个成功结束的验证器跨度证明代码运行. 它不证明所需文件存在,部署到达预期修订,或消息到达预期目的地. 定义可用的最强的确定性收件:一个不可变的对象哈希,数据库行加不变,远程修改或API回读. 限制是故意的. 这项审计不能重建从未发行过的跨度,从元数据中判断语义质量,或者在没有应用程序生成的收据的情况下证明工具效果. 它可以证明证据是不完整的, 在产品方向上,Sidewisp使用了相同的健康第一界限:痕迹是证据,而有用的进展和预期结果需要自己的检查. Sidewisp 目前处于私密预览阶段。 它的现场场是早期访问体验和互动示范;生产代理 健康收集和自动恢复通常不出货. 加入私人预览,如果你想帮助塑造一个健康层,