弹性LLM可观察性:在绿色之前进行审计支持

弹性LLM可观测性可以告诉你很多关于模型调用, 在信任它之前,请以五个层次的顺序验证:收集路径,支持准确的语言/提供商对,远程测量新鲜度,所需的GenAI字段和目的地结果. 这个命令很重要. 弹性文件采集的方法有两种:为指标和日志的供应商集成,以及通过OpenTelemetry的弹性分布 (EDOT) 进行应用追踪. 这些方法的覆盖范围不同. 即使是支持的,无错误的LLM跨度也不能证明应用特定的业务逻辑运行或承诺的交付值存在. 这本指南将这些边界变成一个小审计, 在阅读仪表板之前确定收集路径 弹性LLM和代理 AI可观测性的概述描述了广泛的供应商集成,APM跟踪,指标,日志和仪表板. 第一个操作错误是将所有这些压缩到一个称为"弹性监控"的功能中. 保持两个收集飞机分开: 飞机 为什么有证据? 有用于 没有确立的 提供商集成 提供商或云服务发送指标和日志 提供商错误,延迟,使用,防护轨事件,平台健康 您的申请发射了LLM跨度或完成了自己的工具效果 追踪EDOT应用程序 一个仪器化的Java,Node.js或Python进程将OTLP跨度出口 要求流量,模型调用,持续时间,错误,代币字段,相关性 没有支持的图书馆使用仪器或外部可交付的存在 这不是产品的弱点. 这是证据的边界. 一个Bedrock集成可以提供新的服务指标,而一个Java应用程序没有记录的EDOT Bedrock LLM仪器. 相反,OpenAI客户端跨度可以完成,而后来的自定义数据库写作则没有工具. 弹性电气电气 EDOT LLM 支持页面使语言/供应商界线更加具体: 提供商路径 编辑器 Java 编辑器 Node.js 编辑:Python : : : 开放AI客户端 支持 支持 支持 AWS 床 没有列出 没有列出 支持 谷歌 Vertex AI 没有列出 没有列出 支持 该页面将LLM在三个 EDOT 发行中可观测性标记为技术预览,并将操作员引导到SDK 特定页面以查看精确的版本. 把那张桌子当作一个过期的支持快照,而不是一个永恒的能力承诺. 因此,审计由两个问题开始,仪表板无法为您回答: 1. 预计哪个飞机将包含这一事件的证据? 2. 部署的语言,供应商,客户端包和版本是否记录了该飞机上的仪器? 如果对第二个问题的答案是否,请不要等待一个缺失的跨度出现. 归类为未支持的路径,选择记录的原生或手动OpenTelemetry仪器,或更改证据要求. Elastic中没有错误是没有意义的,当相关事件从未预计将被捕获时. 测试支持和方案作为单独的门 支持并不意味着被观察,观察并不意味着完整. EDOT Python技术表 文件Python版本,客户端包范围,跟踪器名称和语义公约状态. 在本次审查期间,其OpenAI仪表行标记了语义公约为 development . 同页面明确表示,自动仪器不能涵盖定制或专有框架,封闭源未支持的组件或应用特定的商业逻辑. 这给了我们四个不同的检查: 1. 支持: 记录的矩阵包括语言/提供商对. 2. 可访问性: 收藏器和摄入路由接受电流远程测量. 3. 存在: 运行产生预期的LLM跨度. 4. 计划: 跨度包含运营商决定所需的字段. 最少的现场合同可能需要: 不要把这个例子当作一个普遍的方案. 印您部署使用的语义公约和仪器版本. 现在OpenTelemetry的前GenAI会议页面指向了专用GenAI语义公约存储库,这是记录来源的另一个原因,而不是假设属性集是无时代的. 下面的分类器保留了重要的故障状态: 运行审计与固定器件相比, 试验只有快乐的道路: 随之而来的九起案件, 这种优先事项可以防止一个常见的监测错误:让后来的绿色信号掩盖早期的证据差距. 成功的跨度不能取消无法到达的收藏员检查,完成的运行不能取消缺失的目的地收据. 保持等待,缺少证据和失败的不同状态 批准暂停不是仪器故障. 缺失的跨度并不是自动的供应商故障. 没有支持的路径不是陈旧的远程测量. 这些区别改变了运营商的下一步行动: 判决 含义 限制下一步行动 UNSUPPORTED PATH 预期的自动LLM仪器在文档矩阵之外 添加记录的原生/手动范围或更改证据合同 TELEMETRY STALE 有相关的证据,但没有在跑步的新鲜度窗口内 检查出口,收藏器,摄入,钟表和查询窗口 INSTRUMENTATION GAP 路径支持,新的远程测量到达,但LLM跨度没有 验证包装范围,启动带,禁用仪器和追踪器身份 SCHEMA GAP 距离存在,但不能回答所需的问题 检查会议版本和场地映射;同时报告该场为不可用 WAITING 有名的依赖或认可是出色的 通知记录的所有者;不要盲目重新尝试工具 FALSE COMPLETE 弹性显示清洁完成,但未经验证的结果 在关闭事件之前进行确定目的地检查 请注意这张表所不建议的:把每一个空白视为重新启动代理的理由. 没有诊断的恢复可以复制外部效应,花更多的代币,或删除有用的证据. 为了合法等待,请保留所有者,理由,开始时间,截止日期和恢复状态. 这将一个模糊的暂停转化为可检查的操作状态. 如果截止日期过去了,国家可能会陷入困境或需要人类的注意力, 要求在线查询结果收据 一个LLM跨度回答了一个模型调用问题. 交货物属于申请人. 假设一个代理要求一个模型准备一个账单, 弹性可能显示: 一个新鲜的痕迹; 预期的供应商和模型; 没有例外; 合理的延迟和代币计数; 已完成的根交易. 账单可能仍然没有. 客户端API可能没有承诺接受请求,一个异步工作者可能失败,或者代理人可能跳过工具,只提出文本要求. 定义证明承诺效果的最小确定性收据. 例如: 预期对象在目的地存在,并与内容哈希匹配; 数据库行具有预期的业务密钥和承诺状态; 在预期的存储库和首席SHA中存在抽取请求; 报告终端返回新版本并通过方案验证; 消息提供商返回可以后调整的交付标识符. 仅存储最低安全证据: 追踪身份证提供了相关性. 这不是证据本身. 在固定器中, FALSE COMPLETE 和 HEALTHY 之间的唯一区别是 outcomeVerified: true ;Elastic跨度字段中没有任何变化. 这就是核心操作规则:只有在远程测量覆盖和应用结果证据一致时才能清除事件. 对待隐私和版本漂移作为健康的一部分 弹性的概述说,LLM追踪可以捕获提示和响应. 这可能是诊断有用的,但它也改变了数据界限. 在启用之前,明确决定是否允许内容. 当未需要完整内容时,优先使用标识符,长度,哈希,分类,代币数量和编辑错误类别. 每次覆盖审计时记录这些值: 弹性部署和EDOT分布版本; 语言运行时间和仪器式客户端包版本; 活动仪器包和追踪器名称; 语义公约来源和修订; 收藏器和摄入路径; 要求的字段和新鲜度窗口; 内容捕获政策; 目的地验证器版本. 当这些值发生变化时,再运行装置. 包装升级可以添加支持,更名或迁移字段,或改变默认仪器. 一个存储的仪表板对象可以保持绿色, 实际的默认是温和的:使用Elastic用于其实际收集的模型和应用证据,保持未支持或缺失的信号明确,并为用户关心的结果添加一个决定性收据. 没有假装一个仪表板拥有每个层. Sidewisp 目前处于私密预览阶段。 它的产品方向是将可访问性,进步,工具访问性,背景,成本和验证结果等证据转化为清晰的健康视图;目前没有直播Elastic监控适配器. 如果您的代理堆中跟真工作之间的区别很重要, 私人预览等待列表是分享您需要覆盖的故障案例的合适地点.