AI 代理仪表板: 6 个信号显示运营健康

在绘制代币图表之前,AI代理仪表板应回答一个操作问题: 这个运行现在需要注意吗? 最小的有用行组合了六个信号收集器新鲜度,时间表的及时性,心跳活动,有用的进展,明确的等待依赖和结果验证. 按一定的顺序应用它们,这样一个安静的批准等待不会被误认为是停顿,一个繁忙的重试循环不会被误认为是健康的工作. 保持延迟,模型调用,工具调用,代币,成本和跟踪. 它们是有价值的诊断证据. 它们本身并不能证明计划的运行开始,报告发生变化,批准正在等待,或者承诺的交付现有. 开始一个状态行,而不是一个图表的墙 对于LLM应用仪表板来说,合理的默认标准是服务远程测量. 例如,Sentry官方的AI代理仪表板包括代理运行,LLM调用,持续时间,模型使用,代币,工具调用,错误和跟踪细节. 那些面板有助于回答"执行过程中发生了什么? 一个面临20个自动运行或计划运行的运营商早些时候决定:我应该打开哪个? 一个紧的状态行可以回答: 领域 举个例子 支持的决定 代理和工作流程 researcher / weekly brief 哪些工作受到影响? 国家 waiting:human approval 它需要干预,路线,或耐心吗? 证据的年龄 collector 14s ago 这项判决是基于新的数据吗? 最后的有用进展 3 sources added, 4m ago 结果是运动的,而不是仅仅是过程? 下一个预期事件 approval by owner 接下来会发生什么? 结果检查 brief.md schema: pending 在"完整"成为可信之前,什么必须是真的? 州是根据证据的判决,而不是运行时间的最后状态串的副本. 把决定性的证据放在旁边. 没有进展窗口是意见; 心跳保持新鲜时13分钟没有源设置的变化可检查. 这种分离具有外部代理系统的有用先例. Kubernetes不会将启动,活力和准备性分解为一个探测器,因为正确的反应不同:等待启动,在真实的活力失败后重新启动, 它的文档还警告说,一个设计不良的生命探测器可能会造成断故障. 一个代理仪表板有同样的控制问题:一个标签只有当它暗示了下一步行动时才安全. 收集六个信号,显然是新鲜的. 下面的六个信号构成一个紧密的医疗合同. 它们可以作为运行记录中的字段存储或根据运行时间事件计算. 每个人都需要一个时间,来源和无法获得的状态. 1. 收藏器新鲜度 记录仪表板最后一次达到运行时间或收到可信的事件. 如果收藏器已过时,在解释较老的心跳和进步之前,将跑步归类为 unreachable 或 uncertain . 否则,一个不连接的宿主可以看起来很平静. 使用与收藏序列相关的门. 一个例子中的一分钟调查员可以使用120秒的新鲜度限制;对于每小时同步的工作来说,这是无稽之谈. 显示观察到的年龄和配置的限制. 2. 时间表 存储预期开始,实际开始,时间区,宽限窗口,和时间表政策. 没有运行,没有这些领域, 一个安排器可能会暂停,一个重叠政策可能会故意跳过开始,或者一个追赶窗口可能会推迟错过的工作. 时间表文档使这些区别具体化:时间表可以暂停;重叠政策可以跳过,缓冲,取消,终止或允许同时执行;追赶窗口决定停机后执行错过的操作. 其他运行时间使用不同的名称,但仪表板仍然需要保留解释差距的政策. 3. 心跳活动 一个心跳证明了最近的接触或执行活动. 它有助于将无法达到的运行时间与现场流程分开. 它不应该提升进步时钟. 让事件变得狭窄: heartbeat at , source ,也许是一个单调的增长序列. 不要仅仅是因为这个序列不断变化而称跑步为健康. 4. 有益的进步 定义一个特定任务的三角形. 编码剂可能会改变补丁的消化或增加通过测试的数量. 一个研究代理可能添加一个可访问的首要来源或将简单从 schema invalid转移到 schema valid. 一个支持代理可能会创建承诺的门票. 进展记录需要 last progress at ,对三角洲的简短描述和验证版本. 避免模糊的计数器,如步骤完成,除非每个步骤都将结果映射出来. 5. 等待依赖 显然表示合法等待: human approval , credential , rate limit , external job ,或其他命名的依赖性. 添加一个所有者,要求采取行动,并在已知时最后期限. 这种字段改变了操作. 一个等待批准的运行需要向授权人进行路由,而不是重新启动. 需要耐心等待. 一个缺失的证书需要一个人,能够提供它,而不需要向仪表板揭露秘密. 6. 结果验证 在跑步开始之前,写完成预测. 例如: report exists, parses, and contains two reachable primary sources ; pull request exists and named checks pass ; ticket ID was returned and can be fetched ; scheduled export contains the expected date partition . 保存 declared complete 与 outcome verified 分开. 第二个应是 true , false 或 unavailable ,具有验证器和检查时间. 一个成功的命令是活动. 预期的文物是结果. 应用一个优先级序列 仪表板不应该在同一行上堆放所有可能的警告. 首先要评估最安全,最有解释的状态: 1. 陈旧收藏器 → unreachable ; 2. 预期开始在其优势窗口之后 → missed schedule ; 3. 命名的依赖 → waiting:<dependency ; 4. 已宣布完整,没有得到证实的结果 → false success ; 5. 新鲜的心跳加上陈旧,没有进展 → stuck ; 6. 验证结果 → complete ; 7. 积极进步 delta → working ; 8. 缺乏或相互矛盾的证据 → uncertain . 这条订单是产品决定,而不是自然法则. 这仍然比允许三个独立的警报声称同一次断开运行同时被困,迟到,并错失了结果更好. 保持底层信号进行调查,但给运营商一个主要状态和一个下一步行动. 附带的装置测试了六个案例与明确的示例限制:收藏器新鲜度120秒,时间表优雅度300秒,心跳新鲜度60秒,进步时间600秒. 使用Node.js 20或更新版本运行: 正确的输出是: 最重要的对是 approval wait 与 retry loop . 两者都有新鲜的心跳,没有进步,和旧进步. 这种依赖性使得第一个依赖性成为合法等待;缺乏依赖性使得第二个依赖性成为停滞后的候选人. 在 false success 案例中,最近有进展和完成要求,但结果验证是错误的,因此完成要求没有赢得信任. 在判决背后,要进行诊断. 一旦状态行确定了值得打开的运行,细节视图可以解释为什么. 组织它围绕失败的过渡而不是最容易绘制的远程测量来源. 对于 missed schedule ,显示时间表表表,时间区,启用状态,预期和实际启动,重叠政策和最近运行历史. 对于 waiting ,请显示依赖性,所有者,要求的权威性,年龄和有限的提醒行动. 对于 stuck ,除了进展证据和重复工具签名之外,显示心跳节奏. 对于 false success ,除了失败预测之外,显示完成要求. 然后添加跟踪,延迟,代币,成本,模型和工具面板. 连接到一个被困的运行时可执行的代币点;与验证结果连接的同一个点可能是成本审查项目而不是事件. 工具调用重复可以解释停滞,但相同的调用并不是循环的证据,直到任务进展证据也停止改变. 使用因果关系的时间表: 这种观点使得静静的时期是可以理解的. 它还给每一个警报一个证据的年龄. 如果自适配器在12:03后停止报告,仪表板应转向 unreachable 或 uncertain ,而不是永远保持绿色状态. 将门和数据收集视为产品界限 该装置是一个反例集,而不是生产基准. 没有文件更改的10分钟可能是深度分析的正常情况, 根据工作流程进行校准窗户,然后记录判决旁边的配置. 进步是最难的信号. 偏好消化,行数,状态代码,测试结果或方案检查等确定性证据. 当结果质量时,一个版本评估者可以提供证据,但其分数是不确定的. 保持 unavailable 的现实状态;不要将缺失的证据转化为健康的证据. 收集必要的最低限度来建立健康. 一个状态行通常不需要提示,答案,秘密,原始工具有效载荷,或绝对的本地路径. 一个不透明的运行标识符,时刻标签,小计数器,验证器结果和编辑的依赖类可以驱动第一个决定. 更丰富的痕迹可以有单独的保留和访问规则. 最后,不要直接将原始状态连接到不可逆转的自动化. 库伯尼特斯的生命警告在这里很重要:过度自信的健康检查可能会使恢复变得更糟. 仪表板可能建议重新尝试,暂停或提醒,但该行动应尊重权威,重新尝试,时间和成本限制,问题应在有用的进展或预期结果观察后才解决. 适合Sidewisp的地方 Sidewisp的产品方向是人们已经运行的代理人的健康观:可访问性,有用的进展,存储和工具访问性,结果证据,成本信号以及明确批准的控制恢复. 它不旨在取代运行时间,调度器,模型网关或原始追踪系统. 这种描述是产品方向,而不是一般可用的监测的要求. Sidewisp 目前处于私密预览阶段。 公共网站,交互式示范和文章系统是现场;生产代理健康收集,运行时间适配器,自动恢复, cron管理和代币成本分析通常不出货. 如果这个六信号仪表板合同与你需要解决的运营问题相匹配,请加入私人预览. 主要来源 警卫 AI 代理仪表板 官方的运行字段,LLM呼叫,持续时间,模型,代币,工具,错误和痕迹. 库伯内特的活力,准备性和启动探测器 官方分离健康检查,反应,门和故障警告. 时间表 官方时间表,暂停,重叠,追赶和失败政策语义.