AI エージェント 観察可能: 動作ごとに指紋

最短の有用な答えは run マネフィスト指紋 を各エージェントの実行に添付し,実行時間,モデルスナップショット,プロンプト,ポリシー,ツールスケーマ,展開画像が同じかどうかを知った後に健康を比較します. 追跡は 走った時のことを教えてくれる マニフェストは どのバージョンのシステムでやったか教えてくれます その指紋は健康スコアではないし ランの失敗の理由を証明するものでもない 枝分かれする鍵です 新しい指紋に逆転が現れる場合,最初に配置漂移を検査する. 記録されていない環境,依存性,プロバイダー,データ,または許可変更を探してください. 安定したエージェントの名前は 別のシステムを隠すことができます support-triage は金曜日に 2つのチケットを正しく 完成させ 月曜日に必要なエスカレーションを逃します 両方とも同じエージェントの名前です 両方とも心拍子を発射する. 両者とも 呼び出しツールです グループ化すると自然に 間違えるかもしれません 順番の間の間には どれか変わっているかもしれません マネフィストコンポーネント 記録 記録を避ける --- --- --- 実行時間 名前と正確なバージョンまたはコミット ホストパス,アクセストークン モデル 提供者および利用可能な場合のピンインインスナップショット APIキー,完全な応答 迅速に レビューされたプロンプトバンドの SHA-256 原始顧客またはシステムプロンプト 政策 ハッシュまたは不変修正 政策に組み込まれた秘密の価値観 ツール カノニカル・スケーマハッシュ 認証情報,ツール用荷物 部署 画像ダイジェストまたはソースコミット レジストリパスワード これは,第二の痕跡形式を発明するよりも,既定の観察可能性の考えに従います. OpenTelemetry リソース SDKでは,リソースは,テレメトリを生産するエンティティの不変な表現として記述されます. エージェントランでは,実行構成はそのアイデンティティの一部です. 1つの実行で追跡IDを保持し,その実行したバージョンの指紋を保持し,いずれも他のバージョンを置き換える. 有用なマニフェストは故意に退屈です ステーブル識別子を含んでいるが,遅延,トークン数,退出状態,または結果などの観測ではありません. これらの者は,明白な啓典の民である. ハッシュに混ぜると ランごとに新しい指紋が作られ 比較が破壊されます プライバシーも制限されています. 地元でプロンプトやポリシーをハッシュしますが,そのアイデンティティを説明するためにオリジナルをアップロードしないでください. ハッシュは 微小な推測可能なセットから 入力された情報が 漏らされる可能性がありますので その脅威が重要であれば 透明性のないリリースIDや キー付きのローカルダイジェストを使用します マニフェストに 証明書を入れないでください 対象全体をハッシュする前に ハシング前にカノニカライズする JSON原料をハッシュすることは,オブジェクトキー順序と無意味なシリアライゼーション選択が異なるため,表示された構成が同じであるため,罠です. RFC 8785 の JSON カノニカライゼーション・スキームは,リクシブプロパティの分類を含む決定的シリアライゼーションを定義する. 生産コードは,相互運用性の問題がある場合,審査されたJCS実装を使用すべきである. コンパクトローカル実験では,以下の Node.js 機能は,通常の有限 JSON 値に十分である. 実験では Node.js v22.23.1 を使用しました 意図的にRFC 8785より狭い:オブジェクトキーをリクシブに分類し,無限数の数を拒絶しますが,言語間 JCSの完全な遵守の主張ではありません. その制限は,読者がコピーした後,脚注ではなく,コードの隣にある. マニフェスト自体は小さいままに 上記の場所保持者値は,販売者の主張ではなく,固定物識別子です. 本物のコレクターでは 固定されたリリースからホストから引き出します より広範な原則は SLSAの起源に似ている: どこ,いつ,どのように何かを生産されたかについての検証可能な情報を保持する. ラン・マニフェストは診断のためのこの原則を借りていますが,それは自動的にSLSA証明書ではありません. 6回再生で 値と限界の両方を明らかにします 規則を6つの合成NDJSONレコードで テストした 101 と 102 のランは,異なる JSONキー順で同じ表値を含みます. 103 を実行すると,プロンプトハッシュのみが変更され, 104 はモデルスナップショットのみが変更され, 105 はツール・スケーマハッシュのみが変更されます. 106 を実行することは,固定マニストが表示していない依存性中断による失敗です. 監査命令は: 決定的な結果: 2つの観測は数値よりも重要だ まず 代理人の名前には 4つの記録された構成が隠されていました 二つ目は,2つの異なる順序のベースラインオブジェクトが同じ SHA-256 指紋を生成したため,シリアライゼーション順序は誤った漂移を生成しなかった. run-106 はベースラインの指紋で失敗した. 変化のない指紋は ランを健康なものにしなかったし 環境も変化していないことを証明したわけではない. 記録された構成フィールドが変わっていないことを示しただけです 次の調査では,その提供者の利用可能性,入力データ,ネットワーク経路,許可状態,依存度新鮮性以外の証拠を検証すべきである. この装置は合成なので,機械を証明し,過剰主張を偽造する. 構成漂移が実際の事故を引き起こす頻度を推定しない. そのためには,制御された放出と検証された結果を持つ生産データが必要です. 指紋を分別決定に変える 実行の結果が観察される後のみ指紋を使用する. 活動のみ 発行されたトークン,呼び出したツール,またはまだ生きているプロセスだけが有用な進歩を確立しない. 成果の証拠 指紋比較 第1支店 --- --- --- 通過した ベースラインと同じ 比較可能な健康的な参照として保存する 失敗した 変更 編集されたマニストフィールドを区別する. 制限されたロールバックまたは再プレイを考慮する. 失敗した 同じこと 依存関係,許可,入力,プロバイダー状態,および欠けているマニフェストカバーを確認する 未知 どちらか 漂移診断前に予想される出荷額を収集または定義する 3つの操作規則で 率直に言います 1. 比較ポイントをフリーズする. 同じタスククラスで確認された成功実行を選択し,最新のグリーンステータスだけではありません. 2. 編集されたフィールドレベル地図を保持する. 全体のマニフェストハッシュは"異なる"と言います. 3. 介入後の結果を確認する. 動作が成功するロールバックコマンドです. 復元とは,期待される納品品が表示され,試験が合格するか,別の決定的な受け入れチェックが通過するかを意味します. 変更された指紋を自動的に取り戻さないでください. 放出は故意であり,放出ではなく入力から故障が起こる可能性があります. 変更を再検討の証拠として使用し,結果的な行動に対する人間の承認を保持し,行動後に起こったことを記録する. 代理人の健康監視に合っている場合 記録されたシステムでは,決定政策が変更されたか,ツールの契約が変更されたか,結果の質が下がったか? また,別のオペレーターは提示や秘密や原始ツール用荷を受け取ることなく,正確なリリースアイデンティティを比較できるため,インシデントの転送も改善します. Sidewispの意図された健康モデルには実行,メモリ,文脈,ツール,結果,利用可能性,コストが含まれます. 将来のホストサイドアダプターは,これらの診断を裏付ける証拠として編集されたマニフェストを使用することができますが,それは計画された領域です Sidewisp は現在プライベートプレビュー段階です。 公開サイトと記事システムはライブです. 生産剤・健康収集,実行時間アダプター,自動復元は一般的に利用できません. この証拠モデルが今日あなたが操作している失敗に匹敵する場合は, 制限された次のステップは,プライベートプレビューの待機リストに加わり,実行時間と結果チェックを記述することです Sidewisp がすでにそれを収集していると仮定する必要はありません.