Azure LLM 観測可能:サンプリングされた緑のギャップの監査

Azure LLMの観測能力は, 実行が完了したよりも多く回答されるべきですか? 健全な判断を受け入れる前に,同じ実行のための4つの条件を証明してください:テレメトリは問い合わせ可能であり,新鮮であり,実行状態が理解され,必要なすべての品質チェックが実際に実行をカバーし,約束された結果は目的地に存在します. Microsoft Foundryは その証拠の有用な部分を 提供しています Azure Monitor Application Insights にサーバーサイドの痕跡を配置し,エージェントモニタリングダッシュボードに運用メトリックを表示し,サンプルによる生産応答に対する評価を実行できます. これらの部品は交換できない. 追跡は新鮮で 評価者が逃げたとき ファイル,チケット,部署,またはメッセージが目的地に届かなかったとき 評価者は通過することができます 完了した実行は,アプリケーションが不良にモデル化された正当な人間の決定を待っていることもあります. したがって,実用的な欠陥は,複合スコアではなく,カバーアウジットです. 入手できない証拠を入手できないようにし,採取を成功ではなくカバーとみなし,作業量特定の結果の領収書で最終的なギャップを閉じさせてください. 鋳造工場の表面を別々の証拠として読む マイクロソフトの観測能力概要は,次の3つの能力を分離します. Tracing は,モデルの呼び出し,ツール使用,遅延,および関連する範囲を含む実行経路を記録します. Monitoring は,トークン,遅延,エラー率,実行成功などの操作手段をまとめています. E評価 は,内蔵またはカスタマイズされた評価器を使用して,選択された品質または安全性特性について測定します. 事件の際には別居が重要だ 成功した期間が,機器による操作が終末状態に達することを証明する. 現行のダッシュボードがすべての関連範囲を表示できる,評価者がこの応答を検証した,または要求された副作用が起こったことを証明するものではありません. 追跡設定ガイドは,二つの有用な境界線を明示しています. まず,プロジェクトが Application Insights に接続された後,ホストされたエージェントのサーバーサイド追跡が開始されます. 二つ目は 新しい痕跡が現れるのに 数分かかるということです 予想される痕跡が欠けている場合,責任ある判決は 失敗または 健康ではありません. XX は,接続,許可,摂取遅延,サンプリング,および機器を区別するまでは ZXQ0000QXXZevidence不可です. 問い合わせのアクセスとは別の独立条件です Foundryのモニタリングドキュメントは,アプリケーションインサイトと,ログビューのために,関連するログアナリティクスワークスペースに適した Azure ロールベースのアクセスが必要です. プロジェクトを開けるが,保護されたテレメトリを問い合わせることができない事業者は,健康な代理の証拠ではなく,可視性の問題がある. 同様の注意は,モニタータブにも適用されます. エージェントモニタリング ダッシュボードガイドは実行成功率,トークン,遅延,評価結果を記述します. また, のサンプル の応答で継続的な評価が行われていると書かれています. サンプリングは有効なコストと吞吐量決定ですが 代名詞の疑問が生まれます この特定の実行はあなたが行う決定のために必要なすべての評価を受けましたか? その質問に総スコアで答えないで ランごとに記録する 1 ランのカバー記録を 内容のない小さなレコードから始めましょう 認証された事業者がその根拠となる証拠を 見つけることができる識別子やハッシュを保持する. 提示やツール論,秘密,モデル出力を新しい医療店にコピーするな. 各フィールドは1つの決定に答えます 1. オペレーターは現在のテレメトリーを取得できますか? アプリケーションインサイト接続と実際のクエリ許可をテストします. ポートルのページの読み込みはテストではありません. 2. このワークフローに十分な新鮮さがあるか? 実行期間と観察された摂取遅延から予算を設定する. 昨日の緑のスペンを静かに再利用しないでください. 3. エージェントは何をしている? working , waiting , succeeded を保存し,故障状態です. 承認や外部の依存は 待機ではなく 停滞です 4. 必要な評価者は この走行をカバーしたのでしょうか? 評価者の結果から別々に保管する 5. 約束された結果が出たのか? 結果を所有する目的地を問い合わせた. 結果のチェックは仕事と一致しなければならない. 生成されたレポートでは,期待されるオブジェクトが存在し,そのハッシュまたはスキーマが正しいことを確認します. チケットの更新については,チケットを読み,意図された移行状態を確認してください. API 変異の場合,クライアントの HTTP 交換の成功に信頼する代わりに,ターゲットリソースを問い合わせます. コードタスクでは,期待されるdiffと関連する buildまたは test result を要求する. この記録は故意に普遍的な成功領域を回避します 未知の報道が緑化されるのは 早期の証拠とは違います ワイヤリング警告前に決定を再現する この記事で使用された装置には8つの合成実行が含まれていて,Azureの認証,プロンプト,または生産テレメトリはありません. その分類者は,実行状態前の可視性,品質前の実行状態,結果前の品質を評価する. node audit azure observability.mjs を固定固定装置に駆動すると,8つの匹配があり,一致していない. ケース Azure側証拠 目的地証拠 判決 接続が存在し,クエリが拒否されました 電気通信を検査できない 領収書 EVIDENCE UNAVAILABLE 古い痕跡,他のすべてのフィールドは緑色 ステイール 領収書 EVIDENCE STALE 新鮮な痕跡,活動動力 現在の活動 まだ予想されていない WORKING 新品の痕跡,名前の承認待機 現在の待機 まだ予想されていない WAITING 実行が成功し,必須の評価が跳ね出されました 質の覆いがない 領収書 QUALITY UNKNOWN 実行が成功し,サンプル評価が失敗 品質は失敗した 領収書 QUALITY FAILED 実行と評価が成功しました 鋳造工場で完成する 領収書がない FALSE COMPLETE 実行と評価が成功しました 鋳造工場で完成する 領収書 HEALTHY 2つの結果は 簡単に誤った処理です QUALITY UNKNOWN は失敗した評価者ではない. 評価者はこの決定に必要な期間を 対象にしなかったと書かれています その状態を 決定的な代替物, 適切な場合 単発評価, または 人間のレビューに 導いてください. このランの結果として,ダッシュボードの合計スコアを再表示することはできません. WAITING も失敗ではない. 痕跡が新鮮で 正当な所有者と依存を特定している場合,有用な行動はその所有者に待ち伏せを露出することです. エージェントを再起動すると,依存を解決せずに作業を複製したり,文脈を捨てたりできます. 誤った状態に警告を設定する,色ではなく 警報には,破綻した証拠を記載する: Telemetry unavailable : Foundry to Application Insights 接続,RBAC 查询,保護されたテーブルアクセス,機器,および最近のトラフィックを確認する. E 証拠 stale :最後の観測された追跡時間をワークフローの新鮮度予算と知られた摂取遅延と比較する. 品質不明 : 設定されたサンプル率を検査し,この決定に実際に評価者が必要かどうか確認する. QQ quality failed :調査する前に評価者名,バージョン,しきい値,およびテストされた実行識別子を保存する. 誤った完了 : 副効果の境界線で自動復試を停止し,安定した作業識別子で目的地を調整する. これは,欠落したサンプルや長期間ごとに警報されるよりも静かな操作を生み出します. マイクロソフトのダッシュボードガイドは,低実行成功率や高遅延などの幅広い調査基準を提供しています. 艦隊の信号は 集団を見つけるのに役立ちます 特定の作品に何が間違っているかを決定する. 新鮮さにも飼い主が必要です アプリケーションインサイツの保存は,証拠がどれくらいの期間で問い合わせられるかを制御する. 摂取および問い合わせの許可は,それが現在可視かどうかを制御する. 最後の成功したクエリ時間と最新の一致した追跡時間を別々に保存します. 装着されたダッシュボードは どちらも証明していない プレビューとプライバシー制限を表示してください 鋳造工場の現在のドキュメントは,エージェントの追跡と監視の部分を予見としてマークします. エージェント追跡概要は,作業流と外部エージェント追跡が先見されている間,プロンプトとホストされたエージェントには一般的に追跡が利用可能だと述べている. 監視ガイドではダッシュボードの機能もプレビューとしてマークされます. ランブにエージェントタイプと機能状態を記録する. 現在の契約をチェックせずに,ホストされたエージェント経路から外部ワークフローに保証を転送しないでください. 追跡は提示,出力,ツール・アルグメント,ツール結果を捕捉することができます. マイクロソフトは,テレメトリに到達する前に敏感なコンテンツを編集し,生産アクセスおよび保存制御を適用することを推奨する. 健康層は,可能な限り,内容のない識別子で証拠を参照し,敏感な有用な荷物の2番目の貯蔵庫を作成しないべきである. この分類者は 証拠の優先度を測る. Azureのサブスクリプションに連絡したり,サービスレベルでの摂取目標を推論したり,アプリケーションの成功の意味を決定したりしません. 目的地領収書は,故意に作業量特定である. その境界線がポイントです Azure LLM の観測能力は,実行,パフォーマンス,サンプル品質,デバッグ証拠を暴露することができます. 作業の健康には フレッシュさ,カバー,正しい待機状態,そして期待される結果の証明も必要です Sidewisp は現在プライベートプレビュー段階です。 指示は,既存のエージェントの実行時間からの証拠を,不確実性と人間の承認の境界を保ちながら,明確な健康観に変えることです.Microsoft Foundryのモニタリングは,ここで Sidewispの配送の統合として提示されていません.