数据狗 LLM 床可观察:证明内部痕迹

数据犬 LLM 贝德罗克的可观性可以解释捕获的模型电话或代理调用, 对于现有亚马逊床包代理,需要五份收据:预期配置已经准备好,正确的姓名或版本运行,内部痕迹事件到达,任何行动转移都达到定义状态,并且所承诺的结果在目的地存在. 这种区别现在很重要. 亚马逊Bedrock Agents现在是 AmazonBedrock AgentsClassic ,并将于2026年7月30日开始不再向新客户开放. 因此,本指南是对现有Bedrock Agents Classic部署的审计. 它不是绿色建议,也不假设AgentCore集成具有相同的远程测量. 开始与你追踪的Bedrock合同 第一个陷是把床追踪作为一个特征. 数据库记录了Bedrock运行时间方法 InvokeModel() 和 InvokeModelWithResponseStream() 的自动追踪. 这些跨度可以携带延迟,错误,消息和代码用于模型调用. 一个Bedrock代理使用不同的运行时间操作: InvokeAgent . 据Datadog目前的自动仪器参考显示,其Python Bedrock Agents集成默认地追踪了整个 InvokeAgent 调用. 要求必须使用 enableTrace=True 来揭示代理内部步骤. AWS给了同一个交换器一个运行意义:跟踪启用跟随代理人的推理过程,行动和结果. InvokeAgent 响应是一个事件流,可以包含输出块,追踪事件,错误,引用和返回控制有效载荷. 因此,只看到外面的呼唤,就不像看到内部的配套,知识库,护和行动组的证据. 证据层 这证明了什么? 它没有证明的 床模型跨度 捕获的模型调用,持续时间,错误和可用的使用字段 哪个代理版本要求打电话,或者任务是否完成 根跨度 InvokeAgent 申请要求Bedrock代理运行时间 那些嵌套的管弦乐队被捕获 嵌套的追踪事件 选择的调用揭示了内在的推理和行动步骤 预期的草案已编制或存在外部影响 完成的响应部分 贝德罗克回应了互动的最终反应 答应的交付品经过接受 目的地收据 文件,记录,消息或其他预期效果存在且有效 为什么一个前任的特工行动 默认的好处是保留支持的电话自动仪表,并在 InvokeAgent 周围添加一个小,无内容的健康收据. 不要上传提示,凭证,工具参数或完整的答案,只是为了建立状态. 存储标识符,时刻标签,布勒元,计数和哈希,如果它们足够. 收取每次重要调用的五份收据 每个边界拥有一个收据, 1. 预备配置收据 AWS 区分工作草案与准备版本和名. 在修改工作草案后,您必须在测试或部署之前准备它. AWS还建议检查代理的 preparedAt 值. 记录: 确定性规则很简单: 如果失败,将运行归类为 CONFIG NOT PREPARED . 不要调试详细的痕迹,好像它代表了预期的配置. 2. 报价身份验证 只有在继续同样的谈话时再使用相同的Bedrock sessionId . 选择的代号或版本在会话识别器的单向哈希旁边保存. 这将Datadog根跨度,Bedrock事件流和运营商预期范围绑定,而不会保留用户内容. 最近出现错误的名是错误的证据,而不是健康的证据. 3. 内部追踪覆盖的收据 在操作问题取决于内部步骤时,设置追踪启用在请求上: 永远不要在生产诊断中打印值. 收据只需要: 如果根跨度存在,但被禁用或没有出现嵌套事件,则返回 TRACE INCOMPLETE . 这是一个报道判决. 这并不证明代理失败了. 同样,缺失的Datadog根跨度应是 TRACE MISSING ,而不是 AGENT FAILED . 采样,出口商配置,运输,未支持的图书馆版本或仪器订单都可以删除证据. 数据狗暴露了追踪样本率设置,因此缺席必须保持不确定性. 4. 行动状态收据 代理可以调用一个支持Lambda的行动组,查询知识库,或返回调用应用程序的控制. 在返回控制路径中,申请收到预测的行动,必须提交结果以继续. 记录是否: 发生行动错误; 返回控制有效载荷抵达; 申请提交了相应的行动结果; 一个响应部分仍在等待. 如果返回控制存在并且没有提交任何结果,正确状态是 WAITING FOR ACTION RESULT . 它有一个主人,还有下一个行动. 称之为着会产生噪音的警报;称之为完整会失去工作. 5. 结果收据 数据可以将定制评估放在跟踪旁边,这些评估对于主观质量或政策检查有用. 如果承诺可检查时,最好采用确定性验证器: 文件交付:预期路径,MIME,大小,检查数量和方案; 编写数据库:记录键,版本和所需的字段; 出境信息:提供商收据和目的地哈希; 部署:目标修订加上独立健康检查; 知识答案:需要引用,加上域名接受规则. 结果收件应包含复制判决所需的最低证据. 答案是"已完成"不属于这些领域之一. 运行八州决策规则 附带的文物按固定顺序运行收据. 早期的边界阻止了后来的证据产生虚假的绿色: 我对八个无内容案件进行了分类. 八个都符合他们预期的判决: 装置故意将 outcomeVerified: true 用于陈旧制备盒. 它仍然返回 CONFIG NOT PREPARED ,因为错误准备的配置结果不能证明预期的释放. 它还给了贝德洛克对假的案件的完整反应; 没有目的地收据,最终判决仍然是红色的. 每个判决都将被限制在一个行动中. 如果其状态改变操作员的下一步行动,分类器才有用. 判决 第一个行动 不要这样做. CONFIG NOT PREPARED 准备预期的草稿,确认 preparedAt ,然后再播放一个卡纳里. 诊断旧痕迹作为新版本 TRACE MISSING 检查支持的SDK和跟踪器版本,初始化顺序,出口商交付和样本采集 试试代理,好像缺席证明了失败. TRACE INCOMPLETE 确认 enableTrace=True 和嵌套事件达到Datadog的痕迹 呼叫外面跨度的完整代理覆盖 WORKING 在调用截止日期内等待, 仅在过去的时间上进行警告 WAITING FOR ACTION RESULT 转发回归检查请求给其所有者,有最后期限 重新启动代理,或者标记它着. ACTION FAILED 检查第一个失败的操作及其错误边界;只要效果是安全的,再试一次 盲目地播放一个不确定的副作用 FALSE COMPLETE 运行目的地验证器并修复缺失结果 接受最终回复文本作为交付 HEALTHY 保持紧的收据并关闭运行 保存敏感的有效载荷 只为防范 这项命令也澄清了事件的所有权. 数据数据覆盖问题属于仪器或运输. 返回控制等待属于应用程序或拥有外部决定的人. 一个失败的行动属于工具界限. 缺失的交付证件属于结果验证器. 一个通用代理错误警告不能携带这些区别. 保持Datadog和Sidewisp的边界诚实 检查捕获的痕迹,跨度结构,模型和工具延迟,可用的代币使用,错误和评估. 贝德罗克集成文档提供了具体的设置和验证步骤,包括检查跟踪器状态和调试传输问题. 上面的审计增加了释放和结果的边界;它不会减少痕迹证据. 它阻止这些证据回答一个问题,它不是为了单独回答. 还有三个限制: 1. 该装置验证了决策优先级,而不是AWS,Datadog或目的地数据的真实性. 2. 采样可以故意删除痕迹. 覆盖 SLO 需要控制的鱼或其他命名符;仅仅没有生产痕迹是模糊的. 3. 一个LLM法官可能有助于客观答案质量,但它不应取代确定目的地检查可检查效果. 因此,对于现有的Bedrock Agents Classic部署,实际的终点线是:当前的准备版本,正确的调用范围,必要时的完整的内部痕迹,解决的行动状态和验证的结果. 任何不一样的东西都应该继续工作,等待,不确定或失败不绿色. Sidewisp 目前处于私密预览阶段。 它旨在在在现有的运行时间中增加一种代理健康层,但其生产的Bedrock和Datadog适配器没有出货. 加入私人预览,如果您的健康证据工作流程与您的代理运营方式相匹配; 继续使用Datadog和AWS, 来源 数据狗亚马逊床包集成 机器可观察性自动仪器 在亚马逊Bedrock上建立的监控代理 AWS InvokeAgent API 参考 AWS:测试和故障解决代理行为