AI エージェントモニタリング:実際の失敗に対する静かな警報政策

AI剤のモニタリングは,継続的な障害を特定し,証拠を示し,次の制限された行動を指す場合にのみ,人を中断すべきである. ツール・コール,トークン・ピーク,または長い痕跡が問題を説明するのに役立つかもしれませんが,そのどれも代理人が有用な仕事を停止したことを証明しません. 実践的な第一政策のために 3つのことを別々に監視してください 1. タイムフレッシュさ: は予定された走行を開始し,心拍数はまだ動いているか? 2. : 期待されたウィンドウの中でタスク特有の証拠が変化したのか? 3. O 成果確認: 約束された納品品は存在し,受付チェックを合格していますか? 結果を 経路する ユーザーに関連した不具合を確認するページです 正当な待機や遅い調査のために チケットまたは所有者通知を作成する. 悪いサンプルと健康的な仕事を抑制する この記事では このルールを 小規模イベント契約と 実行可能な8つのケースの設定に変換します ページには 破られた約束の名前があるはずです エージェントがオンラインで 仕事を間違えている時 また 黙って 承認を 正しく待っているからです だから プロセス実行は 代理の監視にはあまりにも弱いし ツール通話は ページをクリックするにはあまりにも騒々しいのです Googleの分布されたシステムを監視する章は ホワイトボックス証拠とブラックボックス症状の間に有用な境界線を描いています. 内部テレメトリは診断に不可欠だが,ページはサービスに影響を与える明確な障害を表すべきである. また,その章では,返還されたコンテンツが間違っている場合でも,成功したプロトコル応答は依然としてエラーになる可能性があることも指摘されています. エージェントの場合,対応した失敗は,必要なアーティファクトが欠席または無効である間に completed と書かれています. ワークフローごとに 1 つのモニタリング契約を書き始めます 契約場 レポジトリエージェントの例 なぜ存在するのか 予想される開始 週間の時間 09:00 UTC,5分間の優待 欠席したスケジュールを検出する 心拍子 実行時間の観測は10分以上 届かないまたは死んでいる走行を検出する 進歩の証拠 新しいコミット,変更されたテスト結果,または記録されたブロック 繰り返し活動から分離した動き 正当な待機 承認証明書+責任ある所有者 待って スタンドのページから外れ 完成請求 ランタイム状態は completed 捜査官が言ったことを記録する 成果予告 対象ブランチには,コミットと必要なチェックパスが含まれます 約束された結果を独立で確認する 最後の行は故意に具体的であるべきです 回答を生成するはチャット作業に十分かもしれません. ファイルが無効,未公開,または間違った目的地に付属されている場合,リリースタスクにファイルを作成するだけでは不十分です. モニターはこの契約をスペンから推論することはできません. ワークフローの所有者はそれを定義する必要があります. ツール 走行 完成としてスペンスを処理することなく OpenTelemetrys ジェネレーティブ AIのセマンティックコンベンションは,現在 invoke agent , invoke workflow , plan , execute tool などのエージェントとワークフロー操作を定義しています. 現在の代理期間に関する文書は, gen ai.agent.id , gen ai.agent.name , gen ai.agent.version ,および error.type などのフィールドも提供している. これは有用な関連と診断分野です 結果のスケーマではありません 文書は Development と記されています. また,記録された入力と出力メッセージには敏感な情報が含まれると警告しています. 提示,応答,秘密,または完全なツール用荷を保存せずに下記のアラートポリシーを実行できます. コンパクトなイベントは こんな感じで runId をスケジュール,ランタイムテレメトリ,結果チェックで安定させてください. 集積のために低カルディナリティのエージェントまたはワークフロー名を保存する. 警報の後ろに 診断痕跡識別子を 置くのではなく その身元の中に置く そうでないと,同じ約束を破ったために,毎回再試しても新しい事件が起きる. 図の上部には忙しいが 円形です 下の軌道は状態を変え,検査可能な結果が得られます. この区別は政策の中心です 活動がデバッグの証拠であり 進歩と結果が健康を決定します 8つの不都合な事件で 政策をテストする この記事に付随するアーテファクトは,観測された実行ごとにNDJSON記録を1つ使用します. 検証された完成,誤った成功,欠席されたスケジュール,達成できない実行時間,正当な承認等待,継続的な進歩のない実行,一時的な不良サンプル,健康的なアクティブワークを含む. アテファクトディレクトリから実行します 予想される生産量: 評価者は固定優先順位を使用します. 誤った結果が 古いテレメトリに勝った 破綻した結果が 既に知られているからです 逃げたスケジュールが勝ったとき レースは始まらなかった. 制御不能な実行時間は 進行していない診断に勝った 監視器には 新しい実行証拠が欠けているからです ステンドルルールに勝った それだけで,時代遅れの進歩タイムスタンプは stuck になります. これは1つの記録が3つの事件を開くのを防ぐことです また,各決定を説明可能にする. 輸出は条件,証拠タイムスタンプ,そして過渡された限界を指定することができます. 含まれているしきい値は例であり,普遍的なデフォルトではない. 予想される開始後5分 心拍子なし10分 役に立たない15分 ページ条件で連続して2つの不良サンプル 進歩のないチケットで3回連続で 悪いサンプルを採った 2分間の修正を 実行するコードエージェントと 研究エージェントが 1時間論文を読むと その数字を 共有すべきではありません 重要な部分は 順序であり 持続の要求であり 特定の期間ではありません エスカレートする前に忍耐力を加え プロメテウス警報規則には 2つのメカニズムがある. 文書化された for 条項は,新しいアクティブ状態が長期間にわたって有効に留まるまで,待機状態を維持します. keep firing for は,最後の一致したサンプルの後に警告を開いておくことができ,欠けているデータによるフラッピングまたは誤った解像度を減らすことができます. Prometheus を使わない場合でも同じ考えが適用されます. 黙示録を押す前に繰り返し観察を要求する. 最初の違反時間を最新のサンプルと別々に記録する. グループ・アラームは,再試しや追跡ではなく,ワークフローと破綻した約束によるものです. 新証拠が回復を確認するまで,事件を開いておく. 重症性や影響を受けた結果が変化する場合にのみページを再開する. 同じ遅延を 避けましょう 決定的なチェックに失敗した 完成の主張は 失った心拍子よりも 強い証拠です 逆に,しきい値に近いLLM品質スコアは,弱い証拠であり,パイガーよりもレビューキューに属している可能性があります. 静かなルーティングテーブルは,長いメトリック・インベクトリーよりも有用です. 観察された状態 デフォルトルート 状態は明確だ 完了請求; 検証の恩恵後,必要な結果チェックが失敗 ページがユーザーに関連している場合,その他チケット 成果予告のパスまたは主張が修正される 予期されたランは 2 回のチェックの後も始まっていない 実行が現在の義務があるときのページ 実行開始またはスケジュラー予想が明示的に変更されます 2回の検査で心拍数は 衰退した 活発な作業が影響されるページ 新鮮な心拍子と新しい健康サンプル 名前の承認,秘密,または不可逆な決定が待っています 責任ある所有者に通知するか,チケットを作成する 依存は提供されるか,仕事はキャンセルされるか 作業は続いていますが 3回の検査で 作業の証拠は変わっていません 捜査のチケット 進歩証拠の変更または正当な待機が記録される 古いまたは欠落したサンプル 人間による通知なし 次のサンプルで再評価 ツールを選ぶ前に端のケースを処理する 警報政策の誤差は 通常 境界線で発生します 幸福な道ではありません 検証遅延: 出版者はCDNまたは検索インデックス更新前に完了を報告することができます. 結果を証明して 記録された 許容期間を 確認する 任意の睡眠を証拠として扱わないで 二度目のチェックは 真の目的地を調べる必要があります Human waits: は依存関係と所有者の両方を保存します. waitingOn: "approval" は責任者なしでは ストックを隠すだけです 待機はエージェントにとって 健康な状態で 遅刻した人間の任務を作り出すことができます 長時間静かな作業: 研究またはコンパイルステップは,頻繁なツールイベントなしでは健康的な可能性があります. 実行時間が安全に発射できる進歩の証拠を選択します:完成したシェード,変更されたコンテンツハッシュ,新しいテスト段階,または明示的に制限された段階の締め切り. Retries: 再試行は,活動とコストを膨らませながら,プロバイダー失敗を隠すことができます. 診断文脈として 記録の試みを記録する 再試は,有用な進歩を示さない限り,最初の破損時間をリセットしてはならない. 未知信号: 欠落したテレメトリは緑ではない. モニターは接続されていない状態と固定されている状態を区別できない場合,利用できない状態と報告し,自動復元を避ける. 不確実な診断は 検査を求め 破壊的な修正ではなく Recovery: が再起動コマンドがゼロに戻ったため,インシデントを終了すると,誤った成功問題が繰り返されます. 事件の開幕式と同じ結果や進歩を予測する 回復は,新しい証拠が 作業が動いているか 約束された結果が 実現しているかを示す場合にのみ完了する. この実験が証明していることと 証明していないこと 固定は1つの狭い論文を偽造できるものとする. 文書化された優先順位としきい値により,提供された8つのケースは,正確に3ページ,2枚のチケット,そして3つの封印された通知を生成する. 1つのタイムスタンプや 違反番号を編集して ルートの変更を見ることができます 労働量に適している証拠ではありません. ケースは合成で 評価者は既に標準化された記録を読み取ります リアルな統合は 時計の偏見,複製配送,遅刻サンプル,スケジュール設定方針,時間帯,コレクター停電に対処する必要があります. 提示やツール通話から得られるものに対して プライバシー制限が必要です このポリシーでは,追跡,評価,または実行時間のログを置き換えることはありません. その信号は 失敗の原因を説明します また,タスク特有の predikate がすべての品質問題を捉える保証もしません. いくつかの結果は,ファイルハッシュまたはテスト結果などの決定的な結果である. 他には,明示的な不確実性レベルを持つサンプリング,レビュー,または評価プロセスが必要です. 最も重要なことは,政策は自律的な回復を許可すべきではないということです. 監視器は 限られた再試を推奨したり 修復手順を準備したりできますが 逆戻りのない行動や 秘密のアクセスや 不確実な診断には 人間の権威が必要です 装置を受容試験に変える リアル・アラーム目的地を接続する前に,合成ケースを,ひとつのワークフローからの最近の例に置き換える. 1. 予想される開始と許容可能な遅延を定義する. 2. モデル反応の外で発生した心拍数を選択してください. 3. 役に立たない進歩の最小の証拠を挙げてください. 4. 正当な待機理由と所有者を記録する 5. 実際の目的地で結果予測を実行する. 6. 既知の健康な 待ちきびり 閉じ込められた 逃れた 達成できない 偽りの成功のケースを再現します 7. 誤ったページや見逃した事件を 調べるために 黙ってポリシーを実行します ページ経路が活性化されるのは,そのレビュー後のみです. 原材料の証拠,決定,しきい値バージョン,および解像度チェックを検査可能な状態に置き,操作者はモニターがなぜ話したのかを理解することができます. Sidewispは健康の第一境界線を巡って設計されています 検出,説明,必要に応じて権限を求め,結果を検証します Sidewisp は現在プライベートプレビュー段階です。 生産モニタリングアダプターと復旧エンジンは,一般的に今日出荷されていません. このアプローチがエージェントを操作する方法と一致する場合は,プライベートプレビューに参加するを記述し,実行時間および故障をカバーする必要があります.