再起動中のエージェントの観察性: 送受信パターン

捜査官の観測能力は 通常 1回で起きたことを答えます これは有用ですが 代理人が仕事を委任したり 出勤したり 再起動したり 他の代理人を待たしたりするだけでは十分ではありません 実践的な修正は 持続的な手渡し領収書 : どちらのプロセス外でも書かれた小さな記録で,誰が仕事を受け入れ,どのような結果が期待され,どのような証拠がそれを閉じるかを示しています. デバッグのために 追跡する 継続性のための領収書を追加する. 遺跡は,送付ツールが成功して返還されたことを示し,領収書は,受領者が任務を受け入れ,約束された遺物が後に確認されたかどうかを操作者に知らせます. 短く答えます 走行だけでなく 境界線を観察する 4つの異なる出来事を区別できる場合にのみ 交付は健康的です 1. 送信者は制限された任務を委託した. 2. 受信者は同じ任務を承認した. 3. 有用な進展や正当な待機が記録された. 4. 期待された結果が確認された. これらの出来事は異なるプロセスと異なる痕跡で起こる可能性があります. 排列遅延,ホスト再起動,または人間の承認によって分離される可能性があります. 作業を説明する文脈はプロセスとともに消える. OpenTelemetryは文脈伝播を記述するは,異なるプロセスのスパンを痕跡に組み立てることができるメカニズムである. また,後期作業が単純に子供間隔ができない因果関係性アシンクロンな操作のためのスペンリンクも提供します. 関連性を解決する 申請の約束,受け入れ,または結果確認の規則を定義していません. 領収書はその空白を埋めます 意図的に書き換えよりも小さく ログラインよりも明瞭です 普通の痕跡が 役に立たない 研究員が ソースチェックの任務を 担当する 副業者に委ねると 考えてみてください 送信者は handoff の順調と出場を記録する. 10分後 労働者は新しいプロセスを開始し 入手できない情報源を見つけ 代替手段を使用するために 承認を待っています 3つの州は 誤解を招くようなものになっています - 任務はまだ順番に並んでおり,決して受け入れられていない. - 労働者はそれを受け入れており,正当に待っています. - 労働者は命令を完了したが,要求された証拠ファイルを提示しなかった. 引き渡しを結ぶ距離は 決定できない 運行が失敗せずに返還されたことを意味します OpenTelemetryは,そのスペン状態がそのスペンによって追跡された操作を記述することを明示しています. 後のビジネス結果があるという証拠ではありません. OpenAI Agents SDKは別の方向から同じ境界線を示しています. 内蔵された追跡記録 走行,ツールコール,ハンドオフ,ガードレール,カスタムイベントです group id は複数の痕跡を結びつけ, handoff span はデレクションを示すことができます. SDKはまた,痕跡輸出はパッチで行われ,即時配達に関する場合,明示的なフローシュが必要になることも指摘している. リッチ・トラッキングはデバッグのための証拠を向上させる. 配信可能な検査を合格させるための外部規則はまだ必要である. だからエージェントの観測能力は命令の完了が結果の完了に崩壊しないべきです. 最小の手渡し領収書契約 状態の移行ごとに 1 つの添付のみの記録を保存します. ストレージはデータベース表,耐久的なキューログ,または単一のホスト上のNDJSONファイルである可能性があります. 重要な性質は,参加するプロセスが唯一のコピーを所有していないことです. これはコンパクトなイベントの形状です 6つのフィールドがほとんど値を持っています: - operation id は,ユーザが可視する仕事の持続的なアイデンティティです. 復旧し 再起動する時も 生き残ります - handoff id は1つの代表の試みを特定する. 履歴書を書き換える代わりに 新しい 渡し身分を取得します - event は delegated , accepted , progress , waiting , completed ,または outcome verified の1つです. - expected artifact は決定的な検証対象を指定する. また,テスト,API条件,またはレビュー決定の名前も挙げることができます. - trace id は詳細なテレメトリーを指すが,領収書をそのテレメトリに依存させない. - reason は,待機,拒否,または検証失敗を制限された運用用語で説明します. この記録に提示,認証,モデル出力,または原材料の工具の役に立たない荷物を入れない. 領収書は 索引と状態マシンであり 追跡バックエンドではありません 合理的なデフォルトは,添加のみの移行と導致の現在の状態です. 変形可能な一行を更新することは 誘惑しますが 遅延の承認を 欠落した一行から区別するために必要な証拠を 破壊します アラートを選択する前に故障事例を再現する この記事の付属装置には4つの操作が含まれています 確認された手渡し,承認されていない派遣,正当な承認を待つこと,検証されていない手造物品の完成が偽りの成功です. 分類者は意図的に決定的なものです 実行する: 期待される結果は: この小さなテストから 2つの観測が出来ています まず,承認遅延と結果検証は独立している. op-101 は迅速に受け入れられ,後に失敗する. op-102 は,モデルコールまたはツール実行が始まる前にすでに健康に悪い. 受信者の実行時に開始する 追跡中心のダッシュボードは 孤児を見ることはありません 第二に 待機は 依存症を宣言する必要がある op-103 には最近の進展はないが ステンドとして扱えば 間違えるでしょう 領収書には 必要な承認の名前があるからです 行動の欠如は,状態と期待と組み合わせた場合にのみ実行可能になります. 120秒の承認制限は例であり,普遍的な限界ではない. 列の観測された配達遅延とタスクの緊急性から設定します. バッチワークは数分 インタラクティブなやり取りは数秒 耐えるかもしれません 変数ではなく 変数です メタデータを漏洩に変換せずに因果関係を維持する 追跡IDを指針として使用し 下流労働者が実際に必要とする識別子をのみ広める. OpenTelemetrys 荷物案内は,荷物が通常HTTPヘッダーで送信され,意図しない第三者に届く可能性があると警告し,内蔵された完全性のチェックはありません. ファイルシステム経路や認証は 特に悪質なプロパガンダ値です より安全な境界線は こんな感じです - operation id と handoff id を不透明に拡散する. - 実行時間がサポートしている場合,受信した痕跡から,委託する痕跡への距離リンクを作成する. - 期待されるアーテファクトと承認状態を信頼性の高い耐久性保管に保管する. - 認証されたホスト境界線内でのみ敏感な文脈に識別子を処理する. - 配合メタデータはアイデンティティの証明ではないため 配合メタデータはアイデンティティの証明ではありません 妥協がある モデルがツールを選んだ理由や 会話全体を再構築した理由を ほんの少しの領収書で説明することはできません. わざとやった 詳細な調査のために痕跡とログを使用します 保存とプライバシーに関する規則に準拠します 小規模な業務問題に対する信頼性のある答えを 請求書で提供します. 責任は移り,約束された結果が達成されたのか? 領収をオペレーター状態に変換する 赤いか緑色の状態を 避けましょう 領収歴は 5つの州が異なる対応を支持しています - Working : 最近の有用な進歩で受け入れられている. 邪魔しないで - Waiting :外部の依存関係または人間の決定が未定である. 再試する代わりに 要求をやり直す - Stuck : 受け入れられ,待たず,作業の証拠ウィンドウ内で有用な進展はない. 回復を準備する - Uncertain :記録は一致しない,筆者は信頼されない,または必要な証拠は利用できない. 演じる前に聞け - 失敗した結果 :実行が完了したが,人工件チェックは失敗した. 結果を再開するんだ 痕跡は全部じゃない 回復の境界線は重要だ 孤児配送が,再配送が無効で,再試行制限が知られている場合,再配送を正当化することができる. 待機式は,タイマーの期限が過ぎたためだけに 再試すべきではありません. 誤った成功状態は,欠落した検証器を実行するか,欠落したアーテファクトを要求すべきです. 薬剤全体を再現すると副作用が倍増する可能性があります. 自動対応ごとに,権限,最大限の試み,コストまたは時間制限,および回復が成功する証拠を記録してください. リターンコマンドはゼロから出たは,元の約束が公開されたレポート,合併された変更,または配信されたメッセージであった場合では十分ではありません. これはSidewispにとって何を意味するのか この受信パターンは Sidewispが明らかにするために設計されている運用質問に一致します: 代理人が働いているのか,待っているのか,閉じ込められているのか,不確実なのか,約束された結果を見落としているのか. また,必要な製品境界線も尊重します 診断は回復よりも先に行われ,その後の行動には明示的な権限が必要です. Sidewisp は現在プライベートプレビュー段階です。 公共サイトと記事システムはライブで,生産代理の健康収集,実行時間アダプター,自動復旧は一般的には送付されません. 上記のパターンは,今日実装してテストできる実行時間中立的な設計であり, Sidewispが既にこれらの領収を収集しているという主張ではありません. 代理人が 透明性を失う場合 プライベートプレビューに参加して 実行時間 領収書 承認制限を記述してください その証拠は より多くの痕跡を求める一般的な要求よりも有用です.