AI エージェント ツール 障害 の 観察性: 5 層 の テスト

AI エージェントは,そのモデルが応答性があり,そのプロセスは生きている場合でも,ツール呼び出しが痕跡に現れる場合でも,ツールを使用できなくなります. AIエージェント観察性 の実践的なデフォルトは,輸送,プロトコル,許可,実行,および結果という5つの順序列でツール呼び出しをテストすることです. 最初の失敗層で止まる この規則は曖昧な ツール不可用警告を制限された修理に変換し,緑の応答封筒が送られた作業と間違えられることを防ぐ. このガイドはHTTPおよびJSON RPC上でMCP型ツールに適用されますが,診断形はカスタマイズされたRESTツールおよびローカルコマンドアダプタでも動作します. 目的は すべての提示や 役に立たない荷物を集めることではありません 呼び出しがどこに止まったのか,どのような権限が必要なのか,約束された結果が目的地に届いたのか? 最初の失敗層から始めます tool call failed カウンタは,互換性のない応答を必要とする故障を崩します. DNS エラーが制限された接続を再試す理由となる可能性があります. 期限切れのトークンは 1 つのリフレッシュを正当化する可能性があります. 失われる範囲は人または管理者が必要であり 同じトークンを再試することは無駄です ファイル,チケット,メッセージ,またはデータベース変更のない有効なツール応答は,輸送修理ではなく結果調査を必要とします. この優先順位を使用します 層 証拠の最小値 失敗事例 合理的な次の動き 輸送 接続結果,HTTP状態,経過時間 DNS障害,接続拒否,HTTP 503 入手可能性を確認し,固定予算内でのみ再試す 議定書 要求 ID,方法, JSON RPC エラーコード 32601 方法が欠落し, 32602 の無効パラメータ 発見を更新するか,要求契約を修正する 許可 HTTP ステータス,消毒されたAuth エラー,要求範囲 401 invalid token , 403 insufficient scope 1回リフレッシュするか,欠席する当局に要請する 執行 ツール結果状態,タイムアウト,出力スケープ判定 MCP isError: true ,タイムアウト,不具合構造出力 ツール実装または入力を検査する 結果 目的地検証と新鮮性 反応は"創られた"ですが 遺物は存在しません 目的地を確認する; 完成を宣言しない 秩序は大事だ DNS 解析が失敗した場合,認証と結果は unobserved ,失敗ではありません. 事故の数を膨らませ 応答者が 存在しなかった証拠に 向かいます プロトコル故障をツール故障から分離する MCPツール呼び出しは tools/call を使用し,ツール定義には inputSchema が搭載され, outputSchema が搭載される可能性があります. 現在のMCPツール仕様は, isError: false でツール結果も示しています. これらのチェックポイントは,クライアントがサーバーにアクセスし,有効なJSON RPC応答を交換し,それでもツールレベルでのエラーを受け取ることができます. JSON RPCは外部の区別を明示しています. 仕様2.0 は Method not found に対して 32601 と Invalid params に対して 32602 を備えています.エラー応答には error が含まれ,成功した応答には result が含まれています. JSON RPC result は,プロトコル交換が完了したことを証明するのみ. ツールが操作を受け入れ,その構造化出力が広告されたスケーマに一致するか,外部副作用が存在することを証明するものではありません. 敏感な議論を保存せずに境界を記録する: このイベントは意図的に持ち主トークン,ツール・アルグメント,応答ボディ,チケットテキスト,絶対経路を省きます. 交互式結合が必要とする時,ハッシュまたは地図識別子. 追跡識別は,健康記録がまだ最初の失敗層と原始痕跡が利用できない結果の判断を説明できる場合にのみ有用です. パケットの損失のように権威の問題を再度試さないでください. 401 と 403 は異なる行動を意味しているため,権限は独自の層を値する. MCP許可の仕様は,クライアントが 401 Unauthorized を扱うことを要求し, WWW Authenticate を通じて保護されたリソースの発見を記述します. また,クライアントが現在の要求に必要な権限を学ぶために,範囲ガイドを推奨します. RFC 6750は, invalid token を期限切れ,撤回,誤った形状,またはその他の無効な持ち主トークンと定義し,HTTP 401と関連付けます. insufficient scope は,必要な特権がないトークンとして定義され,HTTP 403 と関連付けられています. これは操作者に安全な決策規則を与えます 1. invalid token については,設定したリフレッシュパスを1回試してみてください. 更新された証明書が失敗した場合 証明書所有者を停止して表に出してください. 2. insufficient scope については,ループしないでください. サーバーが提供した場合,必要な範囲を表示し,明示的な権限を要求する. 3. 一般的な目的のテレメトリに トークン,リフレッシュトークン,権限ヘッダー,または原始チャレンジを 入れないでください. この区別はまた,機器の呼び出しが失敗するたびに許可を拡大する有害な自動化パターンを防ぐ. 接続事故は特権の拡大になり, 範囲否定は 静かにより強力な認証に切り替えることで 固定されることはありません. 誤った成功差を再現する 付属装置には8つの合成呼び出しが含まれます: 2 つの輸送失敗, 1 つの JSON RPC メソッドエラー, 2 つの認証失敗, 1 つのツール実行エラー, 1 つの誤った成功, 1 つの検証された配達. アテファクトディレクトリから分類器を実行する: 決定的な結果は: 3回の通話で結果の封筒が返却されましたが 目的地で確認された結果が 1 件だけでした ある封筒には 実行誤りがあり もう"封筒には 約束された遺品が存在しないのに 成功したと主張されていました 計算プロトコルの結果は 37.5%の成功率を報告します 検証された結果のカウントは12.5%です. 差は検出器スコアやLLM判断ではなく,完成基準の変更によるものです. 固定は意図的に決定的なものです リアルなシステムは曖昧さを増やします. チケット API は ID を返還する前に記録とタイムアウトを約束できます. 目的地検索は時代遅れかもしれません. 無効性キーは安全な和解クエリを可能にします. uncertain のケースをマークする 最初の試みが犯されたかどうかを確認するまで 副効果の呼び出しを再試しないでください. 証拠を操作規則に変える ツール操作の試みごとに1つの健康イベント,所有者ランと関連付けられる. 最初の失敗層を 保存する 消毒コード 証拠の新鮮さ オーナーを再試し 結果確認 その後4つの制御装置を適用します 集団の事件を警告する 試みは全てではない 同じ期限切れの証明書に 5回通話が失敗すると 1件の当局事件になります カップは層別で再試します 交通障害は限られたバックオフを受けることがあります. プロトコルおよび範囲障害は通常契約または人間の変更が必要です. 待機とつまみと区別する OAuth 流出を待たす呼び出しは進歩していないが,実行ループではない. 失敗層が and を通過した後のみ,意図された結果が観測される. 復習命令は活動であって 復旧ではない したがって,有用なダッシュボード行は小さい.影響を受けたエージェント,最初の失敗層,影響,証拠時間,信頼性,再試算数,必要な権限,検証結果. 原油の痕跡は 掘り下げられる これは運行代理の健康問題であり,新しいゲートウェイを通過する全てのモデル要求の実行時間や経路を交換する必要はありません. 難しい制限もあります すべての結果には 決定的な検証器がありません ファイルはパスと消化によって確認できます ステーブルIDでチケット 医療エンドポイントでデプロイし 修正できます 研究は良好 rubricまたは人によるレビューが必要かもしれません. 方法と信頼を 判断の横に貼って 証拠を健全なものに変えるのではなく Sidewisp は現在プライベートプレビュー段階です。 生産監視アダプターと回収実行は一般的には出荷されません. 計画された方向は,既存の実行時間とともに,アクセス可能性,進歩,ツールアクセス,および検証された結果を分離する健康層です. その操作モデルが プライベートプレビューに参加すると一致するなら ソース モデルコンテキストプロトコル:ツール,仕様バージョン 2025 11 25 モデルコンテキストプロトコル:許可,仕様バージョン 2025 11 25 JSON RPC 2.0 仕様 RFC 6750, OAuth 2.0 持ち主トークンの使用