エージェントの観察能力: 成果契約で偽りの成功を捕まえ

エージェントの観察能力は,実行終了よりも難しい質問に答えなければならない. : 予想された結果は存在し,この実行に属し,受け入れチェックを通過したのですか? 実用的なデフォルトは実行前にその結果を定義し,エージェントの完成メッセージの外に観察し,コンパクトな結果領収書を記録することです. 終末的なイベントは検証を誘発し,検証を代替することはできません. この区別は,全文を再読みさせるための2番目のモデルを必要とせずに誤った成功を収めています. また 反対の誤りを避けます 合法的な承認を待機として扱うのは 失敗です 下記に記載された領収書には,不透明な文物識別子,新鮮さ,適切な場合の内容消化,および決定的検証結果が記録されています. unverified または特定の障害状態が 欠落している証拠は 健康に丸められる代わりに残っています 終末事件は 執行の証拠であって 配達ではない 痕跡は 作業の仕組みを理解するための 適切な場所です 要求された外部状態が現在存在するという証明は自動的にありません 現在のGenAIエージェント範囲のためのOpenTelemetryセマンティックコンベンションは, invoke agent , plan ,および execute tool などの操作を記述し,エージェント,プロバイダー,モデル,タイミング,エラー属性を含みます. 文書には developmentが明示的に記されています これらの信号は,手術が起こったとエラーが報告されたかどうかを示すことができます. あなたの請求書が保存されたか,あなたのリクエストに要求された変更が含まれているか,またはあなたのレポートが承認されたスケーマと一致しているか,彼らは知りません. 受け入れ規則は申請書に属します OpenAI Agents SDK追跡参照は同じ境界コンクリートを作ります デフォルトの追跡にはモデル世代,機能呼び出し,ガードレール,ハンドオフ,カスタムスパンが含まれます. これは処刑の証拠だ SDKはまた,生成と機能範囲に敏感な入力と出力が含まれている可能性があると警告し,オペレーターはそのキャプチャを無効にすることができます. 結果の領収書は,より狭いものでも決定的なものでもあり, 引き出品を判断するために必要な証明書を保持し,すべてのプロンプトとツール用荷物の2番目のコピーを保持する. 良い運用モデルでは,以下の両方を使用します. 痕跡は,経路,再試行,ツール,故障の位置を説明する. 結果の領収書で意図された結果が証明されるか,欠落した証拠の名称を記載する. 待機信号は,任務が完了したふりをするのではなく,既知の依存または承認を記録する. 進歩信号は,作業が活発である間に有用な動きを示します. これらの信号を混ぜることで 悪い警報が生じます 活動は役に立たない進歩です 清潔な終結事件は 検証された結果ではありません 待機は停滞ではない. 実行前に結果契約書を書いてください 成果契約は 課題作成時に検討できるほど小さく 代理人にその意味を尋ねずに評価できるほど厳格です 実際の結果に一致する 最安値の決定学的チェックから始めましょう フィールド 目的 例 artifact id 秘密または絶対的な経路を明らかにせずに期待される結果を指定する monthly report run started at フレッシュさ界限を設定する 2026 07 25T14:00:00Z observed at 証拠が収集された時期を示す 2026 07 25T14:08:12Z modified at 前回の走行で残された文物を取り消す 2026 07 25T14:07:55Z expected sha256 バイトのアイデンティティが重要なとき,ピンがバイトを正確に入力します 64文字のダイジェスト validator 受け入れチェックの名前 report schema v3 validator exit code 決定的な判決を記録する 0 evidence source 観察がどこから来たのか local file stat すべての仕事に対して すべてのフィールドを 必要とするわけではありません. データベース移行には,ファイルダイジェストよりもスケーマクエリが必要かもしれません. 展開されたページには HTTP ステータス,カノニカルコンテンツ,ブラウザの主張が必要かもしれません. 承認の任務は,権限のイベントが来るまで waiting に留まるべきである. 契約は結果を表し,すべての作業負荷をファイル形モデルに強制すべきではありません. 標準分類命令は重要だ まず証拠がないか確認し 識別,新鮮さ,消化,検証結果 これは実行可能な状態を生み出します 1. missing 観測された遺物はない. 2. wrong artifact 観測は別の目標に属している. 3. stale 道具は走る前のものです 4. hash mismatch 正確なバイトが要求され,異なる. 5. validator failed 遺物は存在しているが,受け入れ基準を満たしていない. 6. unverified 必要な検査は行われていないか,その証拠は存在しない. 7. verified 必要な条件がすべて合格した. 領収書を プライバシーを最小限に保つ 不透明な識別子は,顧客名やファイルシステム経路よりも安全です. ダイジェストはバイトのアイデンティティを証明できるが 単純なハッシュは 計算から予測可能な秘密を隠さない. 値が敏感でエントロピーが低い場合,キー付きHMACを使用するか,値を完全に保持しない場合. 証拠収集は,原材料の近くで行われるため,原材料は宿主から離れる必要はありません. 6件の誤った成功テストを実行する 合成の6走りの固定装置に ルールをテストした 実行中のすべてのランは, completed という同じランタイムターミナル状態を持っています. 2つの観測は新鮮で有効です 4つは異なる誤った成功モードを表します 芸術品はありません 芸術品は実行よりも古い 内容の不一致と検証器の失敗です クラシファーは故意に退屈です 確定順に事実を評価する: 搭載された装置を実行すると: 偽造可能な主張は狭い:この供給された固定装置では,端末状態規則は6回の実行を受け入れ,結果契約は2回の実行を検証し,具体的な証拠を示す4回の実行を拒絶する. これは測定された生産失敗率ではありません. 境界試験で 完全一致する末端状態が 物質的に異なる結果を隠すことができることを示しています 有用なメトリックは,完了した走行の パーセントではありません. チェックの覆い付いて報告された verified outcomes / runs expected to deliver an outcome です. 決定的検証符が備わっている場合,その制限を示してください. 道具のない半分を健康だと 黙って分類しないでください. 完成の境界線で確認を添付する クイシットは,実行時間が完成の限界を明らかにするときに最もうまく機能しますが,チェック自体は独立したままです. その境界線で証拠を集め 検証器を起動し 領収書を継続して 運用状態を更新するだけです クロッドコードは具体的な実施点を示しています. ハック参照は,タスクが完了しているときに TaskCompleted が実行されると表示します. コマンドハックは 2 コードで終了を防ぐため,テストまたは他の受容チェックが失敗するとフィードバックを返します. これはプロザの主張を信頼せずに 決定的なゲートを可能にする. クラウド・コードの仕様です 普遍的なエージェント標準ではありません 成功したハックは 正しいアーティファクトを テストする必要があります ブロック完了ハックのない実行時間については,2段階の状態移行を使用します. 確認されていない状態を自動的に再試しないでください. missing は,知られたアップロード遅延後,短い制限された観測ウィンドウが必要になる可能性があります. validator failed は,ユーザがすでに許可した場合,逆転可能な修復試みを正当化することができる. unverified は,証拠チャンネルが失敗したことを意味します. 逆転できない決定を待っている任務は waiting または needs human に属し,回復ループには属さない. 司令官の成功と結果の成功を区別する 0 を終了する検証プロセスでは,その検証者が実際に確認しているものだけを証明する. 検証者名前のバージョン,証拠源と観察時間を記録し,配信可能なものが変更されたときに契約をレビューする. 既定の受け入れ規則は 完全に証明された偽陽性を生み出すことができます 不確実性を増やし,成功を製造するな 結果契約は,その宣言された期待ほど完全なものしかありません. リストに記載されていない遺物を見逃したり 弱い検証者を受け入れたり 古い証拠源から読み取ることもできます 報道や信頼を明らかにする理由であって 模範裁判官を追加する理由ではありません LLMの評価は,決定的に検証できない基準のみで使用し,その表とバージョンを目に見えるようにし,同じエージェントが自分の作品を生産し,決定的に評価することを避ける. 証拠が相反する場合は, uncertain を好み,外部状態を変更する前に権限を求めます. Sidewisp は現在プライベートプレビュー段階です。 公開サイトと記事ライブラリはライブです. 生産代理の健康収集,実行時間アダプター,および回復は一般的に送付されません. Sidewispは,既存の走行時間とともに健康層として意図されており,代替走行時間または自動固定装置ではない. 操作ルールは簡単です 実行時の端末イベントがチェックを始めるようにし 外部の証拠が結果を決定させ 欠けている証拠が未知のままに留まるようにします もしその健康モデルが 代理店の運営方法と一致するなら プライベート・プレビューの登録は 次の適切なステップです