AI代理评估指标:五个信号,没有复合分数

AI代理评价指标应回答释放问题,而不是装饰仪表板. 对于使用工具的代理人来说,一个紧的默认是五项分别的测量:任务质量,有用的进展,工具效果完整性,每个验证结果的成本和错误成功率. 记录每一个证据的覆盖. 然后,在优化平均值之前,将缺失的结果和未知的工具效果做成硬门. 命令是重要的. 候选人可以写出更好的散文,更快地完成, 如果把这些信号平均成一个分数,将不安全的释放转化为数值改善. 保持五个分母而不是一个分数 经纪人评价有多个兴趣的目标. 机器人评估工程指南区分任务,重复试验,评级,转录以及环境的最终状态. 它的航班预订例子是有用的边界:转录可能表示航班已预订,而结果是预订是否存在于数据库中. 现在的维特克斯AI代理评价描述又进行了分离. 最终反应评估询问代理是否实现了目标;轨迹指标检查了路径,包括准确或有序的行动匹配,精度,召回和单工具使用. 两种观点都是有用的,但两种观点都不应该默默地取代另一个观点. 用这个五度合同: 计量 计数器 标称器 单独保存 释放作用 任务质量 编译分类或确定性质量分数的总和 质量评级人员实际上进行的试验 评级版本,覆盖范围,分歧 经过强有力的证据后优化 有益的进步 有关任务特定的证据分别的活跃观测窗口 观察到的活跃窗户 显而易见的等候窗户和陈旧的收藏器 楼层,然后优化 工具效果完整性 在目的地验证的外部影响 验证+失败+未知效果尝试 故意拒绝电话,未知的效果 坚固的地板 每个验证结果的成本 覆盖的运营成本总额 目的地验证结果 估计成本,缺失账单覆盖 预算层和优化 失败率 已宣布完成,未能核实结果 所有已申报的完成 没有验证器的完成 严格的否决权 每个指标都阻止了不同的谎言. 平均质量,而没有评级覆盖率, 没有目的地证据的工具的成功将成功的呼叫与成功的效果混在一起. 每次运行的成本是便宜的失败. 完成率奖励代理人评分自己的索赔. 运营远程测量仍然属于本书. 固定的开放Telemetry GenAI指标快照定义了开发状态仪器用于代币使用,运行时间,代理时间,推断调用数量,工具调用数量和工具时间. 这些测量解释了工作量和效率. 他们不声称文件存在,发票一次创建,或计划报告到达目的地. 在选择门之前,写出证据记录 每次试验都从一行开始. 不要用总体图表开始. 一个最小的记录需要足够的信息来复制每一个数值器,命名器,排斥和不可用状态: 重要的值不是 0.90 ,而是它周围的分歧. 响应评级器喜欢输出,但结果验证器无法使用,工具效果仍然未知. 这次试验可能会教你反应质量. 它不能支持释放的要求. 在可能缺席的情况下,使用三个证据状态: " verified "是指命名的预示标已撞向预期目的地并通过. failed 意味着预告运行,预期状态是缺席或不可接受的. unavailable 这意味着没有判决是可能的,因为验证者,收藏者,许可或目的地证据缺失. 不要将 unavailable 转换为零或成功. 零是测量;不可用是覆盖缺陷. 等待需要类似的照顾. 一个经过明确批准的车主,请求的决定,最后期限和可恢复状态的运行不会被困. 在等待前在活跃窗户中计算有用的进展,然后停止活跃进度时钟. 保持拒绝的高影响工具呼叫作为证据证明边界有效;不要将故意拒绝视为工具失败. 工作质量是需要多种类型的标准. 使用对结构化字段,文件,数据库行,HTTP状态和准确的政策条件的确定性测试. 模型评级器可以评分音调,相关性或无限的文物,但可以存储其提示,模型,轮标版本和校准样本. 如果判断是后果的,或者模型评级率的不一致率不理解,则仍然需要人为审查. 复制释放逆转 在本文中保留的文物中包含了十项合成试验: stable v1 的五项和 fast v2 的五项. 使用Node.js 20或更新版本运行: 申报的门值为: 总结: 变量 质量 有益的进步 工具效果得到验证 成本/运行 成本/验证结果 错误的成功 未经验证的完整 门口 : : : : : : : stable v1 0.818 (4/4) 14/14 5/5 $0.41 $0.52 0/4 0 通过 fast v2 0.902 (5/5) 15/16 4/5 $0.38 $0.63 1/5 1 失败 三项观察改变了决定. 首先, fast v2 看起来更便宜,当代号运行时:0.38美元而不是0.41美元. 一旦通过验证结果划分了支出,结果就会反转:0.63美元而不是0.52美元. 速度更快的版本在每次尝试上花费少,而在每次结果上花费更多. 其次,较高的0.902质量分数不会修复错失的结果. 一个抛光完成品未能检查环境;另一个没有可用的验证器. 质量和有用进展平均水平仍然是诊断性的,但它们并不是发布,支付,消息,删除或以其他方式接受外部影响的权力. 第三, stable v1 包含一个合法的批准等待. 在完成试验质量指标中没有,但在等待前取得的进展和故意拒绝的工具调用仍然可见. 标准合同既不奖励完成剧场,也不惩罚正确的暂停. 这项实验是反例,而不是基准. 价格,试验和门是为了测试会计规则而构建的. 他们没有估计生产失败率, $0.60 并不是通用预算. 在优化质量之前的门证 按固定顺序运行指标: 1. 检查覆盖率. 每个宣布完成的都需要结果判决或明确的不可用状态. 任何具有效果的工具尝试都需要验证,失败或未知的目的地证据. 2. Block 错误成功. 如果宣布完成未能检查结果,则停止释放. 调查完成预测,而不是反应风格. 3. Block未知效果. 未知副作用是事件界限. 在再次尝试之前,请查询目的地或调整一个无能度密钥. 4. 检查进展和工具地板. 比较类似任务并保留有效的等待. 进步回归或失败的工具效应率可能会使最终质量上升时也可以推翻. 5. 优化质量和成本. 现在只要比较分数,延迟,代币和成本, 这不是一个重量化复合物. 权重会导致无关的损害之间的谈判:足够的流动性可以数学上取消一项重复付款;足够的廉价运行可以掩盖一个缺失报告. 一项政策仍然可以在任务质量分类内使用权重,但证据覆盖和外部影响仍然不在该分数之外. 在工作流程的后果和基线中选择门. 一个只读的研究代理可能会容忍较低的工具效应地板,因为大多数电话是可逆的. 发布,发票,客户信息或访问控制代理应要求对覆盖的测试套件提供目的地收据,无效率和零错误成功目标. 报告试验数量足够大时的可信度间隔,并显示不值时的原始数量. 五项试验是 0/5 ,而不是零人口失败率的证据. 保持评估和生产健康的联系,但分别. 在线试验告诉你一个候选人是否能生存出已知的场景. 产品监测告诉你是否真正的时间表,凭证,依赖性,成本和结果在发布后保持健康. 通过套件是根据声明范围部署的许可,而不是证明未来运行不能失败的证据. Sidewisp产品方向是将结果,进步,工具,可用性,内存和成本证据放在现有代理运行时间的健康视图中. 它不是替代运行时间,强制性门口或自主固定器. Sidewisp 目前处于私密预览阶段。 公共网站和文章库是现场;生产代理健康收集,运行时间适配器,代币成本分析和恢复执行通常不发货. 首先使用五度合同在一个后续工作流程上. 如果最好的平均值的版本仍然未能找到结果或工具效果门口,