Datadog LLM 観測実験: 宣伝ゲートを追加

データドッグ LLM 観測性実験では,候補プロンプト,モデル,プロバイダー,またはエージェントのアーキテクチャがより良いスコアを得て,より速く走ったことがわかります. これは有用な証拠ですが まだ釈放の決定ではありません 合理的なデフォルトは,同じ Datadog プロジェクト内の候補者とベースラインを比較し,データセットのバージョンをピンし,評価者定義を安定させ,平均的な分布と追跡を信頼する代わりに検査することです. その後,スコアカードの外に小さなプロモーションゲートを追加します: すべての要求されたレコードが実行され,期待された待機が待機であり,変異したケースがちょうど同じ効果を生じ,完了したケースは目的地領収書を持っていることを証明します. この記事では 8つの記録の固定装置で 最後のステップを実行します 候補者は評価者合格率を 75%から100% に,平均期間を 980 msから738.75 ms に移動します. 昇進はまだ阻止されています 返済の1回には確認された目的地領収書がないし,キャンセルが2つの効果をもたらした. まず2つの実験が比較可能であることを証明します Datadogの実験概要は3つのコア操作を記述する:バージョンデータセット,実験を実行し,結果を比較する. 現在の設置ドキュメントでは,記録評価者およびオプションの概要評価者によって,データセット記録を通じて順序的に実行される作業として実験を定義しています. 作業内部は,生産コードと同じ追跡装飾装置を使用できます. その原始人は 比較の良い材料です 2つのランの間で何が同一でなければならないかを定義する必要性を排除しない. スコアを見る前に 内容のないマニフェストを記録してください ハッシュは評価者コードを識別するもので,提示,出力,認証,または顧客データのハッシュではありません. このマニフェストの正規の JSON シリアライゼーションをハッシュし,両実験記録に指紋を添付します. 装置は: 指紋が違っている場合 結果をペア比較と呼ぶのをやめましょう 変更されたデータセットバージョンはハードケースを追加する可能性があります. 評価者は変更されれば 限界値が移動する可能性があります. 欠けている記録は 重要な失敗を削除することで 平均を改善する可能性があります これらの変更は正当なものかもしれませんが 新しい基準が必要です Datadog の 製品通行 は,データセットがバージョン制御をサポートし,特定のバージョンに固定することができます. 比較表面は平均値,分布,遅延,コスト,トークン数値,出力,スペンスの痕跡を明らかにする. 全部使って デタドッグの証拠を 置き換えるものではなく 意外な比較漂移を 解釈する前に 防ぐのです 平均値に異議を唱えるゲートを実行する この記事の検査可能なアーテファクトは,標準図書館の Python スクリプトです. 8つの合成・コンテンツフリーレコードを含んで JSONを放出しています. 実行する: 基本的なルールは 意図的に小さいのです これは第2モデルに最初のモデルが成功しているかどうか尋ねない. 制御する意味のある 明確なフィールドをチェックします 完全な固定装置の産物: 測定 ベースライン 候補者 --- ---: ---: 現存記録 8/8 8/8 評価者合格率 75% 100% 平均期間 980 ms 738.75 ms 記録をブロックする — 2 昇進決定 — Block Datadog評価開発者ガイドは,入力された評価者結果,オプションの合格/失敗評価,メタデータ,タグ,および概要評価者をサポートします. 評価者は evaluatorPass の適した情報源です これはすべての評価者を目的地検証者とはしない. 評価者は生成されたテキストと期待される答えを比較すると,返済が本簿に届かない間に,返済が通過する可能性があります. 証拠線は別々に - E評価者レーン: 輸出は選択された品質ルールを満たしていたか? - 軌道を: どちらのLLM,検索,ツール,タスクステップが実行されましたか? - ステートレーン: ケースは機能していたのか,合法的に待っていたのか,完全なのか,不確かなのか,または人が必要だったのか? - E 影響帯: 意図された外部変異は,正確に1度発生したのでしょうか? - O 出発路線: 目的地には現在約束された結果が含まれていますか? 最初の2行はデータドッグ実験の自然輸入です 残りの路線は 任務契約 装置 目的地システムから 定番評価や実験メタデータとして データを提出できますが 真実の境界線で定義できます 2つの記録がブロックされ 失敗が異なる issue-refund 記録には,通過評価器, complete 状態,および1つの試行効果があります. outcomeReceipt は missing である. これは返済が失敗した証拠ではなく,完了が検証されていない証拠です. 安全な判決は Uncertain 緑ではなく 自動再試ではない cancel-subscription の記録には,合格評価者と確認された目的地領収書がありますが, effectCount は2枚です. 成功した最終状態は重複効果を消さない. 候補者は,総スコアを向上させながらも,変化が安全性を弱めさせたため,ブロックされます. approval-required の記録は反対の境界を示している. 予期される状態は waiting であり,候補者は所有者,期限,再開トークンを提供します. 過ぎていく complete で終わらせるすべての行を要求するゲートは正しい行動を罰します. これらのケースは意図的に不都合です プロモーションゲートは評価者スコアを繰り返すだけで,リリース決定を変更することはできません. 有用なゲートには こう言える必要があります - 比較は無効で,記録覆盖が変更されたため. - 候補者は品質に優れているが効果に不安全である. - 候補者は速いが,未知の結果を残している. - 待機は有効であり,失敗とみなされるべきではない. - 証拠は矛盾しているので 決定しなければなりません ゲートを本物のデータドッグ実験に 接続する Datadogの現在の設定ガイドは,文書化された Python 実験経路のために ddtrace =4.3.0 を要求し,API キーとアプリケーション キーの両方を要求します. 秘密を環境変数に保管する. マニフェスト,データセット行,記事アーテファクト,またはトラス属性に入れない. 既存の実験ワークフローのために,ゲートを5つの制限されたステップで追加します. 1. 比較契約を凍結する. データのプロジェクト,データセットのアイデンティティとバージョン,注文されたレコード ID,評価者コードハッシュ,タスク修正,候補の設定,各レコードの予想状態を記録する. コンテンツが敏感である場合にのみ不透明なIDやハッシュを保存します. 2. 率を計算する前にカバーを調整する. 観測された実験記録と予想される記録 IDを比較する. 失踪した,複製された,または予期せぬIDは比較できない. 代数を返回した行に 黙って減らさないでください. 3. 作業境界線で決定的なフィールドを発行する. 読み込みのみのタスクでは,受信は予想されるソース修正に結びついているスキーマ有効な応答である可能性があります. 変異するタスクでは,idempotencyキー,効果アイデンティティ,目的地の検索を使用します. 犯された効果を数えろ 試みを繰り返さない 4. 待機ケースには理由,所有者,期限,再確認の身分が必要です 証明書ケースは needs-human として正しく終了することができます. オフラインスコアを簡単にするため 答えを作ってはいけません 5. 候補者はマニフェストが一致し,カバーが完了し,必要な評価者が合格し,運用予算が成立し,各州が契約に一致し,完了した結果が確認され,すべての変異症例が正確に意図された効果を持つときに昇進することができます. 体重平均は代替品ではありません なぜなら高スコアで 単一の災害効果を数学的に補償できるからです 実践的な政策の一つは: アドバイザー品質メトリック,遅延,コストの限界を調整する. ドメインがより安全な明示的なルールを提供しない限り 欠損された領収,複製効果,秘密暴露,無効な比較を 難しい失敗として保持します この監査が証明していないことを知れ この装置は8つのケースと規則の実施を証明しています データセットが生産トラフィックを表している,予想される輸出が正しい,評価者ハッシュがレビューされたコードに対応している,または目的地領収は偽造できないことを証明するものではありません. また,Datadogの製品品質を測定したり,モデルを比較したりしない. これらの質問には,データセットのレビュー,ソース制御,アクセス制御,生産サンプル採取,実際の目的地との調和が必要である. データドッグ実験は,実験の実行,分布,痕跡,および評価者の結果を研究する場所であり続けています. プロモーションゲートは,より狭い運用決定を追加します. この具体的な比較は変更を承認するのに十分な完全かつ安全ですか? Sidewispの製品指針は,既存の実行時間において,エージェントの健康証拠,不確実性,検証を容易に解釈することです. Datadog,あなたの実行時間,またはあなたの解放プロセスを置き換えることはありません. Sidewisp は現在プライベートプレビュー段階です。 公開サイトとインタラクティブなデモはライブです. 生産剤-健康収集とDatadog統合は一般的に送付されません.