LLM 评估:将每一个决定都推向正确的证据

评估LLM是测试模型动力系统是否符合定义目标的定义标准的实践. 有用的默认方法很简单:首先命名决定,然后收集最狭的证据来支持它. 一个整理的数据集可以支持发布前质量要求. 基线比较可以支持回归决定. 采样生产运行可以显示现实质量漂移. 它们本身都没有证据表明一个代理人可以达到,完成工具效果, 这边界是重要的,因为评价通过的声音比现在更广. 一个分数总是有一个目标,一个钟, 如果把它视为普遍的健康判决,就会产生虚假的绿色:反应看起来很好, 首先要做出决定,而不是指标. 在选择精确的匹配,嵌入分数,LLM评委或平台之前,请以以下形式写一个句子: 在 这个时间 ,决定 这个行动 从 这个目标 使用 这个证据 . 这句话将工作推向一个行径: 决策 目标 钟表 最少证据 最强可支持的索赔 候选人足够好吗? 精选的例子 在部署前 数据集,具体任务的得分符 候选人符合本数据集中所列的指定的标准 释放率下降了吗? 基线和候选人 在释放时 双跑,门 候选人没有超过所谓的回归限制 现实质量正在漂移吗? 采样生产运行 在交通过程中 新品样品,生产评估器 这个样本是否符合现场标准 代理人健康吗? 运行时间和预期工作 在预期运行时间 心跳,时间表,进展收据 运行时间可以达到,有用的工作正在移动 预期的结果是否实现了? 外部目的地 效果或完成截止日期后 目的地收据,检查金额,接受检查 效果或可交付的存在并通过验证 最后两个行不是更好的评价.它们回答不同的问题. 评估人员可以检查响应或跟踪;运营健康需要有关该过程的证据;结果验证需要来自该结果应该存在的目的地的证据. 离线评估支持限制的预发布要求 OpenAI的评估指南定义了一个有用的工作流程:声明目标,收集数据集,定义指标,运行比较,并随着系统的变化继续评估. 它还警告对通用指标和基于vibe的评估. 实际上,一个离线分数需要附加的释放决定. 假设一个支持代理必须选择正确的工具,通过正确的帐户识别器,并返回符合政策的答案. 不要把它们分解成一个平均值. 使用三个检查: 对选定的工具和参数进行精确或基于方案的检查; 对答案的任务特定质量条目; 申请合同所要求的任何输出领域的确定性检查. 然后将当前的候选人与同样的病例的释放基线进行比较. 提升答案风格,但降低账户ID准确度的候选人不比0.7%更好. 释放门应该说明该交易是否允许. 因此,回归测试是一种非线评估的特殊用途,而不是所有评估的同义词. 它需要稳定的基线,对应的案例,以及与释放行动相关的门. 记录数据集版本,得分版本,模型和提示配置,样本数量和分歧. 没有那个表, 评分变化不能安全地归因. 合理的地板可能很小. 每个关键组件的五到十个仔细审查的例子比一个不清楚的接受标准的大型合成组更有用. 从真实事件,边缘案件和评论家的分歧扩展集. 一个数据集应该变得更加困难,因为系统告诉你它失败的地方,而不是因为仪表板奖励案例数量. 在线评价观看现场行为, 兰格斯密的评估概念具有重要目标区别. 在线评估基于数据集和示例,通常具有参考输出. 在线评估是在生产线或线程上进行的,通常没有正确的参考. 这改变了判决的意义. 在线评价者可以标记安全模式,错误输出,主题漂移,用户满意度低,或不寻常的轨迹. 它还可以为线下回归集收集困难的现场案例. 它不能默默地继承引用支持的测试的信心. 它的样本可能是陈旧的,过的,不代表性的,或者被一个漂移的法官评分. 对于每一个在线规则,请保留: 采样政策和排除; 无泄漏敏感内容的运行或线程标识符; 评估者版本和条款; 观察时间和新鲜度窗口; 由于错误引发的行动; 一个人类审查和分歧捕获的路径. 谷歌的代理开发套件文件将工具使用轨迹的评估与最终反应的评估分开. 这很有用,但轨迹匹配需要克制. 两个有效的代理可以通过不同的工具序列解决相同的任务. 如果订单是安全合同的一部分,准确的轨迹匹配是适当的;否则,要验证所需的效应和禁止的行动,而不是要求一个理想的路径. 生产监测还包含非评估信号. 延迟,错误率,代币使用和跟踪完整性描述服务行为. 响应质量评估人员描述采样内容或行为. 没有一个证据表明明天的工作人员可以到达. 如果一个平台显示它们在一起,则保持这些索赔分开. 结果界限需要收据,而不是另一个法官 文章中的三起案件产生了相同的陷:一个通用的LLM分数通过,然而唯一可辩护的判决是 UNKNOWN . 1. 跑时健康案例有预期的时间表和进展记录, 过去的好工作并没有证明现在的可用性. 2. 工具效果盒有稳定的操作身份证,但目的地没有收据. 一个暂停时间可以隐藏任何效果或完成效果. 3. 最终交付的案例具有接受性测试定义,但没有文物检查额度. 没有什么具体的东西可以测试. 一个LLM法官不能修复这些缺陷. 问一个模特是否可能还活着, 问是否可能发送电子邮件不会产生提供商收据. 问一个文件是否听起来完整并不证明该文件在所需的路径上存在. 在边界附近最喜欢确定性证据: 一个新鲜的心跳和预期运行可用性记录; 一份与非秘密运行身份证的执行进展收据; 一个无效密钥加上外部效应读取的目的地密钥; 一个交付品的检查总数,方案验证,测试结果或目的地查询; 关于不可逆动的行动的授权决定收据. 缺失的证据应该仍然缺失. UNKNOWN 是一个操作上有用的状态,因为它在未发明成功或失败的情况下进行调查. 复制8例证据路由审计 在本文中使用的可检查器件中包含了八个决策案例. 每个案例都声明了决定,可用的证据,预期的路线和预期的判决. 核心政策是故意的机械化: 预测包括候选人质量,释放回归,现场质量漂移,运行时间健康,外部影响,最终结果,主观审查和人权. 运行产生的: 八个案件都达到预期的证据轨道. 五个有足够的证据来证明他们的要求. 如果政策接受了通用通过分数, 这不是一个普遍的标准. 用一个真正的工作流程的决定取代设备. 添加您的运行时间和目的地可以产生的确切证据名称. 保持失败行为:如果没有所需的信号,请返回未知,并列出缺失的字段. 不要将缺席转换为零分数,因为零表明测量发生了. 只有在证据目标之后才选择得分者 一旦目标是正确的, 使用代码当属性是确定性的时:JSON形状,工具名称,参数范围,检查数量,文件存在,测试状态或目的地状态. 如果房产是真正的质量,并且有明确的条款,校准设置和意见不一致的审查路径,请使用LLM评判器. 开放AI的指导指出,模型在区分选项方面往往比产生无限判断更可靠,因此对比或分类可能比无限制分数更强. 如果决定涉及没有稳定的条例,法律或政策权威,具有高影响力的模糊性,秘密或不可逆转的行动,则使用人为审查. 法官可以为审查者总结证据;它不能成为授权的人. MLflow的评估文件描述数据集,得分符,预测功能,人类反,系统评估和生产监测作为相关能力. 这是一个有用的执行菜单. 路由规则仍然属于应用程序所有者:工具可以计算分数,但只有所有者才能定义该分数可以支持的决定. 在释放和运营记录中保存四项判决 一份紧的评估记录应独立回答四个问题: 申请人是否符合其离线质量标准? 它是否避免了与基线相比的禁止回归? 一个新鲜生产样本是否符合其在线标准? 预期的工作是健康的吗? 不要平均这些答案. 一个发布可以通过离线评估,而现实证据尚未提供. 产品样本可能看起来很健康,而错过计划的运行. 一个痕迹可以看起来完整, 保存每一个判决,证据的时间,以及其范围. 这产生了一个更平静的操作规则:通过数据集和样本运行评估模型和应用行为;通过可访问性,时间表,等待和进展证据评估运行时间健康;在目的地验证外部结果. 只有失踪或失败的车道. Sidewisp 目前处于私密预览阶段。 它正在被设计为现有代理运行时间的健康层,但生产监测适配器和恢复系统通常没有出货. 如果您试图解决的问题是看起来好运行和验证结果之间的区别,则私人预览等待列表是适当的下一步.