MLflow LLMの観察性:痕跡が証拠になったことを証明する

MLflow LLMの観測能力は,追跡が耐久で検索可能な証拠になる場合にのみエージェント操作に有用である.完了したハンドラーはその証明ではない.アシンクロロングを使用して,追跡バックエンドに到達する前にアプリケーションが完了することができます.完全なキューは新しい痕跡を捨てることができます.期限切れのリトリウィンドは失敗した書き込みを捨てることができます.および追跡レベルのサンプリングは意図的にすべての痕跡を省略することができます. 実際のデフォルトは5段階の領収書です 1. 要求は追跡可能であった. 2. 痕跡は非同期輸出経路に認められた. 3. 設定されたバックエンドがそれを保存した. 4. バックエンド検索で,必要な範囲で新しい痕跡が見つかりました. 5. 要求された結果を別々の決定学的検査で確認した. ステージ1〜4は観察対象を確立する.ステージ5は,エージェントがユーザが要求したものを提供することを確立する.それらを単一の緑の状態に統合しないでください. この記事は2026年7月30日に確認された現在の PyPI リリースのMLflow 3.14.0 に対してこの境界線をテストします.この実験は,ローカル SQLite 追跡バックエンドとコンテンツフリー属性を使用します.提示,応答,認証情報,または顧客データを送信しません. 追跡が消えるのは 管理者が戻った後です MLflow 生産追跡ガイド 生産作業量における非同期追跡記録を推奨する. 追跡が事件決定を支える前に重要な3つの運用境界を文書化する. まず,オープンソースのMLflowとDatabricksのノートブック以外のワークロードでは,アシンクロログがデフォルトで有効です. 実行時間の有効モード 他の環境からコピーされた仮説ではありません 二つ目は MLFLOW ASYNC TRACE LOGGING MAX QUEUE SIZE デフォルトは 1,000 になります.ドキュメントは明示しています:その列が満員になったとき,新しい痕跡が捨てられます.成功したアプリケーション応答は,要求実行と追跡入力が別々のイベントであるため,観測可能な証拠が欠けていると共存することができます. 3つ目は,失敗した痕跡書き込みは MLFLOW ASYNC TRACE LOGGING RETRY TIMEOUT タイムアウトを増加させることで,短時間の追跡バックエンド中断時の耐久性が向上しますが,メモリ圧力と復元作業も延長します.耐久性保証ではありません. サンプリングはまた違う MLFLOW TRACE SAMPLING RATIO 選択された痕跡の範囲は一緒に残っているが,選択されていない痕跡は意図的に欠けている.それは政策の結果であり,輸出者の失敗ではない.あなたの健康論理は, deliberately unobserved 違う trace lost 採樣決定が知られたとき. これらの区別は警告を変更します.故意にサンプリングされていない要求は,覆盖の計算に影響を与えるべきです.排列の溢出または再試行は観察性の出来事です.バックエンド中断は判定を不確実なものにすることができます.すべての3つとも"痕跡がない"と扱えば,原因と安全な次のアクションの両方を隠します. プロセス出口ではなく,カナリーで持続性を証明する MLflow 3.14.0は,テストで待機中のバックグラウンド作業と查問可能なバックエンド証拠を区別できる持続制御を暴露します. mlflow.flush trace async logging() トラック書き込みを待機するフラッシュ; mlflow.get trace(trace id, flush=True) 痕跡が見つからないとき,リフッシュおよびリトープ; mlflow.search traces(..., flush=True) 捜索する前に 流出します 関連 API 行動は, MLflow Python参照その... flush テスト,部署探査,短命の仕事,および制御されたカナリーでは特に有用です. すべての生産要求を処理すると,アシンクロロングの遅延の利点がほとんど損なわれるでしょう. これは最低限の内容のないカナリーです 開発者のローカルファイルストアに対するカナリーは,リモートトラッキングサーバを指す生産容器について何も言わない. 記録されたMLflow 3.14.0実験では 差が目立っていました get trace(..., flush=False) 痕跡も返せなかった search traces(..., flush=False) 結果はゼロでした flush trace async logging() 検索は成功し 1つの痕跡を返しました その結果には カナリアの痕跡のIDが含まれていました これは,普遍的な遅延基準ではなく,一つの観察である.ファーストクエリ前に高速バックエンドが持続可能であり,遅いまたは失敗したバックエンドは時間がかかる可能性があります.持続可能な規則は,制御されたフラッシュの後での主張であって,フラッシュ前の正確なカウントではない. 長期間のサービスでは カナリーを100%のサンプリングで保持できる 格安な速度でスケジュールしてください 労働者と部署のアイデンティティ URIの指紋を効果的に追跡する,決して認証書ではない. 追跡識別と実験または場所 排隊時間,フラッシュ完了時間,検索時間 期待される根と要求される子供範囲の名前 フレッシュな期限 別々の目的地チェックの結果. これらのフィールドは,事業者は,その範囲を創造しなかった労働者と,それを維持できなかった輸出者と区別することができます. 道路8州 偽緑なし 有用な監査は found: true 次の8つのケースで 失敗の境界線ごとに 異なる判定が得られます 証拠 判決 オペレーターの決定 サンプル採取政策は,要求を除外した deliberately unobserved 重要な経路の検定を再計算または増加させる 排列は新しい痕跡を拒否した discarded queue full 圧力を削減し,限られた容量を増やし,規模を拡大する輸出業者 輸出の再試行はタイムアウトを終了しました discarded retry expired バックエンドやネットワークを調べる 証拠はありません 地元の作業が終了しましたが バックエンドのストレージは証明されていません backend persistence unproven 探査機にスプッシュして設定されたバックエンドを問い合わせます 保存された痕跡は証拠の期限より古い stale evidence カナリーを再使用し,古い緑を再利用しないでください. 痕跡は新鮮ですが,必要なツールや目的地範囲は欠けている. incomplete trace 診断に使用する前に 装置を固定する 追跡が完了しましたが 配達可能は確認されていません observed outcome unverified 目的地または文物を直接確認する トレースは新鮮で完成し 結果の領収書のパスです verified この証拠を健康決定に承認する 優先順位は重要です. 要求が故意にサンプリングされていない場合,その要求の排列入場を診断する理由はありません. 持続性が証明されていない場合,スペン完全性は不明です. 追跡が完了していますが,外部アーテファクトが欠けている場合,結果は誤った成功であり,機器の勝利ではありません. この記事に付随する実行可能な監査は 判定ごとに 1 つのケースを正確に再現し verified また,MLflow 3.14.0 機能のサインをチェックし,新鮮なSQLite バックエンドにキャナリーを保存した.このフィッシングは意図的に小さい.その値はロードテスト現実主義ではなく決定境界である. 完成したタスクと完成したタスクは別々の領収書です MLflow Tracing は,入力,出力,メタデータ,モデルコール,取得,ツールコール,その他の中間ステップを捕捉することができます. 追跡概要 これらの痕跡をデバッグ,モニタリング,評価,フィードバック,およびデータセット収集のための証拠として提示します ランの振る舞い . . . これは,すべての外部約束が満たされたことを一般的に証明することはできません.成功した状態を持つツール範囲は,API呼び出しが返されたことを示す可能性があります.それは必ずしも,要求されたファイルが合意されたパスで存在していることを証明するものではありません.引き出願には意図されたdiffが含まれている,正しい受信者に届いたメッセージ,またはスケジュールされたレポートには現在のデータが含まれています. 任務契約の結果の領収を定義する: ファイルについては,パス,タイプ,サイズフロア,チェックサムまたはコンテンツ予告を確認する. 部署については,目標修正と即時受付調査を検証する. メッセージについては,目的地のアイデンティティとプロバイダの領収を確認する. データベース変異の場合,意図された行状態と無効性キーを確認する. 予定された走行について,その予想の窓と出力の新鮮さを確認する. 内容のない操作で領収書を追跡にリンクするか,IDを要求する.Join キーから秘密と原始プロンプトコンテンツを保持する.目的地を安全に検索できない場合は,結果を unknown 失踪した証拠を求めます これはカナリアが証明する内容も制限する. 1 つが一度に 1 つの経路を検証する.すべての作業員を測定したり,将来のキュー容量を保証したり,サンプルを回収した痕跡を再構築したり,バックアップ保持をテストしたり,ユーザー結果を証明したりすることはできません.ロードテスト,バックエンド可用性チェック,保持演習,および結果特有の探査は別々に保持されます. 運用デフォルト 生産遅延のために非同期記録を使用しますが,持続性負債を明示的に支払います. 1. MLflow パッケージをピンして,有効なアシンク,キュー,リトライ,サンプリング設定を記録する. 2. critical worker pathのそれぞれに,低速率で100%サンプルを採取したカナリアを保持する. 3. 探査機,テスト,シャットダウン操作,または他の制限された検証点の内側のみを掃描および捜索する. 4. 追跡証拠を承認する前に,新しいバックエンド検索と予想される範囲のカバーを要求する. 5. 任務目的地を別々に確認する. 6. 意図的なサンプリング,輸出者の損失,時代遅れの証拠,不完全な痕跡,誤った成功について,異なる方法で警告する. この政策は MLflowの観測能力を 成果の伝言であるかのように見せかけずに有用なものにする. Sidewisp は現在プライベートプレビュー段階です。エージェントの実行時間と観測可能なシステムとともに健康層として設計されており,証拠の新鮮さ,不確実性,および結果検証が明示的に保持されています.Sidewispは現在MLflowモニタリングまたは自動復旧を配信していません.