LLM評価: 各決定を正しい証拠に導く

LLM評価は,モデル駆動システムが定義された目標に関する定義された基準を満たしているかどうかをテストする実践である. 決定を最初に名付け 支持できる最も狭い証拠を集めます キュレーションされたデータセットは,リリース前の品質の主張を裏付けることができる. ベースライン比較は,回帰決定を裏付けることができる. 試料を採取した生産は,ライブ品質の漂移を明らかにすることができる. 道具効果を完成させたり 約束された道具を 届け出したりする 証拠はありません 境界線は重要だ 評価が合格したので 大きく聞こえる スコアには常に目標があり 時計があり 証拠が欠落しています 普遍的な健康上の判断として扱えば 誤った緑色が生まれる: プロセスや結果が壊れている間に 反応は良好に見える. 決定から始めましょう メトリックではなく 正確なマッチ,インベディングスコア,LLM判定者,またはプラットフォームを選択する前に,この形式で一つの文を書く. について 今度は 決定する この行動 から この目標 使用する この証拠 . その文は 作業を レーンに 導いてくれます 決定 ターゲット 時計 証拠の最小値 最も強い支持可能な主張 候補は十分か? キュレーションされた例 配備前 データセット,タスク特有のスコア 候補者はこのデータセットの指定基準を満たしている 解放は下がったのか? ベースラインと候補者 放出時に 配列走行 限界 候補者は指定された回帰制限を超えなかった 質が下がっているのか? 採樣された生産走行 交通中に 新鮮なサンプル,生産評価者 このサンプルは生体基準を満たすか否か エージェントは健康なのか? 実行時間と期待される作業 予想される運行時間 心拍数 スケジュール 進歩の領収書 実行時間は達成可能で有用な作業は動いている 意図された結果が実現したのでしょうか? 外部目的地 効力または完了期限後 目的地領収書,チェックスム,受け入れ試験 効果または配信対象は存在し,検証を通過する 最後の2行は より良い評価ではない. 異なる質問に答えています. 評価者は応答または追跡を検査することができる. 運用衛生は,実行されるべきプロセスに関する証拠を必要とする. 結果の検証は,結果が存在すべき目的地からの証拠を必要とする. オフライン評価は,制限されたプレリリース請求を支持する OpenAIの評価ガイドラインは有用なワークフローを定義します:目標を指定し,データセットを収集し,メトリックを定義し,比較を実行し,システムの変化に応じて評価を続けます. また,一般的なメトリックと vibeベースの評価に対して警告しています. オフラインスコアには リリース決定が必要になります サポートエージェントが正しいツールを選択し,正しいアカウント識別子を入力し,ポリシーに準拠する答えを返さなければなりません. 平均的な数字を 割ってはいけません 3つのチェックを使用します 選択したツールや議論の正確なチェックやスケーマに基づくチェック 答えのためのタスクの特定品質項目は, 申請契約に要求されている出力フィールドの決定的なチェック. その後,同じ症例でのリリースベースラインと現在の候補者を比較します. 回答スタイルを向上させるが,アカウントIDの精度を低下させる候補者は 0.7%も優れているわけではありません. 放出ゲートには その取引が許可されているか書いておくべきです したがって,逆転テストはオフライン評価の特定の用途であり,すべての評価の同義語ではありません. 安定したベースライン,ペアケース,および解放行動に結びついている限界が必要です データセットバージョン,スコアバージョン,モデルおよびプロンプト構成,サンプル数量,意見の不一致を記録する. その表がないと スコア変更は安全に 認められない. 合理的な床は小さいかもしれません 重要な要素ごとに注意深く検討された5~10例は,不明確な受け入れ基準を持つ大きな合成セットよりも有用である. リアルな事件やエッジケースや審査員の意見の不一致から セットを広げてください データセットが難しくなるのは システムが 失敗を教えてくれたからです ダッシュボードが 報奨ケースを数えるからではありません オンライン評価は 弱った参照で 行動を見ています ラングスミスによる評価概念は重要な目標の区別をする. オフライン評価はデータセットや例で実行され,しばしば参照出力があります. オンライン評価は,通常,正しい参照が利用できない生産ランやスレッドで行われます. 判決の意味が変わります オンライン評価者は安全パターン,誤った出力,トピック漂移,ユーザー満足度低下,または異常な経路を標識することができます また,オフラインレグレーションセットのために難しいライブケースを採集することもできます. 参照の裏付けを受けたテストの信頼を静かに継承することはできません. そのサンプルは時代遅れで フィルターされ 代表性がないか 漂流した判事によって 評価されるかもしれません 各オンラインルールについては: サンプル採取政策と除外 ランまたは糸識別子は,敏感な内容が漏れることなく, 評価者バージョンと rubric; 観測時間と新鮮度ウィンドウ 失敗によって引き起こされた行動 人々のレビューと意見の不一致を把握するための道です Googleのエージェント開発キットドキュメントは,ツール利用経路の評価を最終応答の評価から切り離します. それは有用だが 軌道を合わせるには 制約が必要だ 2つの有効なエージェントが異なるツールシーケンスを通じて同じタスクを解決することができます. 規則が安全契約の一部である場合,正確な軌道の一致は適切である.そうでない場合,理想的な道を要求するのではなく,必要な効果と禁止された行動を検証する. 生産モニタリングには,評価しない信号も含まれています. 遅延率,エラー率,トークン使用,追跡完全性はサービス行動を説明します. 応答品質評価者は,サンプル対象の内容や行動を記述する. 明日の予定された労働者が 到着できるという証拠はありません これらの主張を1つのプラットフォームが一緒に表示しても,別々に保持する. 結果の境界線は 領収書が必要で 他の裁判官ではない 記事の固定から3つのケースが同じ罠を生み出しました 一般的なLLMスコアが合格しましたが 唯一可辩な判決は UNKNOWN でした 1. ランタイム・ヘルスケースは 予想されたスケジュールと 進歩記録でしたが 心拍数は新鮮ではありませんでした 昔の良い仕事では 現在のアクセス性が証明されませんでした 2. ツール効果ケースには安定した操作 ID があったが 目的地からの領収書はありませんでした タイムアウトは 効果がないか 効果が完了したかを隠すことができます 3. 最終的な配達可能なケースには,受け入れテストの定義がありましたが,手品のチェックサムはありませんでした. テストする具体的なものはありませんでした LLMの裁判官はこれらのギャップを修復することはできません. モデルに 労働者が生きているか尋ねると 心拍子が生じません メールが送信されたかどうか尋ねると 提供者の領収書が作成されません ファイルが完了しているかどうか尋ねることは,ファイルが必要なパスで存在していることを証明するものではありません. 境界線に近い決定的な証拠を好む: 新鮮な心拍数と,利用率を記録する予期期期期走行記録. 実行のための非秘密の実行IDに結びついている進捗領収書; 外部効果のために読み取れるアイデンポテンシーキーと目的地. チェックサム,スケーマ検証,試験結果,または配信対象の目的問い合わせ 逆転できない行動に関する決定の承認された領収書. 証拠が欠落したまま残るはずです UNKNOWN は,成功や失敗を発明せずに調査を進めているため,運用的に有用な状態です. 8件の証拠路由監査を再現する この記事に使用された検査可能な文物は8つの決定案を含んでいます. 各ケースで決定と証拠と 予想された行列と 予想された判決が宣言されます 基本的な政策は意図的に機械的なものです 対象は候補者の質,リリースレグレーション,ライブ品質漂移,ランタイム健康,外部効果,最終成果,主観的なレビュー,人間の権威です. 実行すると: 8つのケースも 予期せぬ証拠に達しました 5人の主張には 十分な証拠がありました 3つも未知で ポリシーは通用な合格スコアを受け入れたら 3つも緑色に見えたでしょう これは普遍的な基準ではありません 1 つの実際のワークフローからの決定で固定を置き換える. 実行時間と目的地が 示す正確な証拠を 追加します 障害の行動を保持する: 必要な信号が欠けている場合,未知を返して欠けているフィールドをリストする. 欠席をゼロスコアに変換しないでください. なぜなら,ゼロは測定が起こったことを示唆しているからです. 証拠の目標にたどり着いた後のみスコアを決める 目標が正しいと 得点を選ぶのは簡単になります 属性が決定的なときコードを使用します: JSON形,ツール名,議論範囲,チェックサム,ファイル存在,テスト状態,または目的地状態. LLM判事を使用する 資産が真に質的であり 明確なルシック,校正セット,意見の不一致のレビュー経路がある場合. OpenAIのガイドラインでは,モデルがオープンエンド判断よりもオプションを区別するのにしばしば信頼性が高いため,ペア式比較または分類は制限のないスコアよりも強い可能性があることが指摘されています. 安定した rubric,法律または政策の権威,高影響の曖昧さ,秘密,または不可逆の行動のない味を伴う場合,人間のレビューを使用します. 裁判官は審査員のために証拠を要約することができるが 審査員には権限を与えられない. MLflowの評価文書はデータセット,スコア,予測機能,人間のフィードバック,体系的な評価,生産モニタリングを関連能力として記述する. これは有用な実行メニューです ルーティングルールは依然としてアプリケーションの所有者に属します ツールがスコアを計算できますが,スコアが支持する決定を定義できるのは所有者だけです. 釈放と作戦記録に4つの判決を保存する コンパクトな評価記録は4つの質問に独立して答えなければならない. 候補者はオフラインの品質基準を満たしていたのか? 基準値に比べて 禁止された回帰を回避したのでしょうか? 新鮮な生産サンプルがオンライン基準を満たしているのか? 期待される仕事は健康で 約束された成果は確認されるのか? その答えを平均してはいけません. 公開はオフラインの評価を通過できるが,現存証拠はまだ利用できない. 生産サンプルが健康に見えますが,予定された実行が逃れます. 痕跡は完成したように見えますが 最終的な遺物は存在しないのです 判決,証拠の時間,及び範囲を保存する. これは冷静な動作ルールを生み出す:データセットとサンプルの実行でモデルとアプリケーションの行動を評価する;アクセス可能性,スケジュール,待機,進歩の証拠で実行時間の健康を評価する;目的地での外部結果を検証する. 失踪したレーンのみをエスカレートする Sidewisp は現在プライベートプレビュー段階です。 既存のエージェントの実行時間のための健康層として設計されていますが,生産監視アダプターと回復システム通常は出荷されていません. 見事な実行と検証された結果の区別が解決しようとしている問題である場合,プライベートプレビュー待機リストは適切な次のステップです.