Azure LLM可观察性:审计采样绿色差距

蓝色 LLM 在接受一个健康的判决之前,证明同一次运行的四个条件:远程测量可查询和新鲜,执行状态是理解的,每项要求的质量检查实际上涵盖了运行,并且所承诺的结果在目的地存在. 微软公司给你提供了有用的证据. 它可以在Azure监控应用洞察中放置服务器侧痕迹,在代理监控仪表板中显示操作指标,并对采样生产响应进行评估. 这些碎片是不可替换的. 一个评估员跳过跑步时,一个痕迹可能是新鲜的. 一个评价者可以通过一个文件,门票,部署或消息未到达目的地. 完成的运行也可能等待一个合法的人的决定, 因此,实际的违约是覆盖性审计,而不是复合成绩. 保持不可用的证据不可用,将采样视为覆盖,而不是成功,并让工作负载特定的结果收据填补最终差距. 阅读炼厂表面作为独立的证据 微软的可观性概述分开了三个功能: Tracing 记录执行路径,包括模型调用,工具使用,延迟和相关跨度. 监测 总结了像代币,延迟,错误率和运行成功等操作措施. E评估 通过内置或定制评估器测量选择的质量或安全性特性. 在事件中,分离是重要的. 成功的时间段证明,仪器操作达到终端状态. 它并不能证明当前仪表板可以看到所有相关范围,评估员是否检查了此反应,或者是否发生了所需的副作用. 造厂追踪设置指南明确了两个有用的界限. 首先,在项目连接到应用洞察后,主机服务器侧追踪开始. 第二,新的痕迹可能需要几分钟才能出现. 如果没有预期的痕迹, 责任的判决不是失败或健康. 没有证据 在你区分连接,授权,摄入延迟,采样和仪器之前. 查询访问是另一个独立的条件. 工厂监测文档需要适当的Azure基于角色的访问应用洞察和,用于日志视图,相关的日志分析工作空间. 一个可以开启项目但无法查询其受保护的远程测量的运营商存在可见性问题,而不是健康代理的证据. 同样的警告适用于监控标签. 监控代理仪表板指南描述运行成功率,代币,延迟和评估结果. 它还表示,持续评估是采样 的 响应. 采样是一个有效的成本和产量决定,但它会产生一个提名者问题:这个特定的运行是否得到了您所做出的决定所需的所有评估? 不要用总分来回答这个问题. 记录每次运行. 给一个运行一个覆盖记录 开始一个小的,无内容的唱片. 保持识别符号或哈希,使授权运营商找到底层证据;不要复制提示,工具参数,秘密或模型输出到新的医疗商店. 每个领域都回答一个决定: 1. 操作员能否检索当前的远程测量? 测试应用洞察连接和实际查询权限. 一个门户网站页面加载不是测试. 2. 足够为此工作流程提供新鲜的痕迹吗? 设置预期运行时间和观察到的摄入延误的预算. 不要默默地使用昨天的绿色跨度. 3. 代理正在做什么? 保存 working , waiting , succeeded ,并出现故障状态. 一个被命名的批准或外部依赖是等待,而不是停滞. 4. 需要的评价者是否覆盖了这次运行? 存储与评估结果分开的覆盖范围. 5. 预言的结果是否发生? 查询结果的主目的地. 结果检查必须与工作匹配. 对于生成的报告,验证预期对象存在,其哈希或方案正确. 查看预期的转型状态. 对于API突变,请查询目标资源,而不是信任客户端成功的HTTP交换. 对于代码任务,需要预期的diff加上相关的构建或测试结果. 这一记录故意避免了普遍的成功领域. 结合过早的不同证据是如何使未知的报道变得绿色的. 在线报警之前再播放决定 这篇文章使用的装置包含八个合成运行,没有Azure的凭证,提示或生产远程测量. 它的分类器评估运行状态前的可见性,运行状态前的质量和结果前的质量: 运行 node audit azure observability.mjs 与固定装置产生了8个匹配,没有任何不匹配: 案例 蓝色方面证据 目的地证据 判决 连接现有,查询被拒绝 无法检查电流遥测 收据礼物 EVIDENCE UNAVAILABLE 旧痕迹,其他所有田野都是绿色的 陈旧 收据礼物 EVIDENCE STALE 新的痕迹,运行活跃 目前活动 目前还没有预期 WORKING 新的痕迹,名为批准等待 目前的等待 目前还没有预期 WAITING 运行成功,所需的评估被跳过 缺少质量覆盖 收据礼物 QUALITY UNKNOWN 运行成功,样本评估失败 质量失败 收据礼物 QUALITY FAILED 运行和评估成功 在造工厂中完成 没有收据 FALSE COMPLETE 运行和评估成功 在造工厂中完成 收据礼物 HEALTHY 两种结果很容易被错误处理. QUALITY UNKNOWN 并不是一个失败的评价者. 报告指出,评估员没有涵盖这项决定所需的运行. 您可以将这种状态转移到确定性替代品,适当时一次性评估或人类审查. 您不能将总计仪表板分数重新标记为此运行的结果. WAITING 也不是一个失败. 如果这条痕迹是新鲜的,并标识了合法所有者和依赖者,有用的行动是将等待对该所有者进行表面化. 重新启动代理可以重复工作或丢弃文本,而不会解决依赖性. 设置警报失败状态,而不是颜色 一个警报应列出破产的证据: Telemetry unavailable :验证 Foundry to Application Insights连接,查询RBAC,保护表访问,仪器和最近的流量. 证据已过时 :将最后观察到的追踪时间与工作流程的新鲜度预算和已知摄入延迟进行比较. Q 质量未知 :检查配置的样本率,并查看该决定是否实际需要评估人员. 质量失败 :在调查之前保留评估器名称,版本,门和测试运行标识符. 错误完成 :在副作用边界停止自动重复试验,并通过稳定的工作标识符调整目的地. 这使得操作更安静,而不是每一个缺失的样本或长时间的报警. 微软的仪表板指南提供了广泛的调查门,例如研究低运行成功率或高延迟. 这些舰队信号是找到队伍的有用. 每次覆盖记录决定了某件工作的错误. 清新也需要一个主人. 应用洞察控制证据可查询的时间; 摄入和查询权限控制现在是否可见. 保存最后一次成功查询时间和最新匹配的追踪时间分别. 装载的仪表板证明没有. 保持预览和隐私界限的可见性 造厂目前的文档标志着代理追踪和监测部分作为预览. 根据代理追踪概况的说法, 随访通常可用于提示和托管代理, 而工作流程和外部代理追踪则在预览中. 监控指南还标记仪表板功能为预览. 在运行簿中记录代理类型和功能状态;不要在检查当前合同的情况下将担保从托管代理路径转移到外部工作流. 追踪可以捕获提示,输出,工具参数和工具结果. 微软建议在远程测量之前删除敏感内容,并应用生产访问和保留控制. 卫生层应尽可能使用无内容标识符引用证据,而不是创造第二个敏感有效载荷. 在判决之外,还有最后一个限制:这个分类器测试了证据的优先级. 它不会与Azure订阅联系,推断摄入服务水平目标,或者决定应用程序的成功意味着什么. 目的地收据是故意针对工作负载的. 这里是关键的边界. Azure LLM可观测性可以暴露执行,性能,样本质量和调试证据. 运营健康还需要清新,覆盖,正确的等待状态,以及预期结果的证明. Sidewisp 目前处于私密预览阶段。 它的方向是将现有代理运行时间的证据转化为清晰的健康视图,同时保持不确定性和人类批准的边界; Sidewisp 集成.