AI エージェントテスト: 障害の注射放出ゲートを構築する

AIエージェントのテストは,リリースに関する質問に答えるべきです. ツール,許可,メモリ境界,承認,または期限が悪い行動をするとき,エージェントは安全性を維持し,検証可能な作業を続けているか. 合理的なデフォルトは小さな故障注射スイートです 各試験に1つの制御されたエラーを 記録し,エージェントのトランスクリプトを記録し,環境を別々に評価します ツールアクセス,外部効果,連続性,待機所有権,締め切り状態,約束された配信物. 流暢な最終メッセージは 診断の有用な証拠ですが 解散伝言ではありません この記事は8つのケースの Node.js 装置としてそのゲートを構築します. 1つのケースは安全で完了します 合法的な承認待機に入ります 6は放出を阻止する スイートは意図的に 引き出しの要求で実行できるほど小さいが 契約が失敗したことを示すほど明瞭です 反応はエージェントが失敗する間に 通過する 従来の応用テストでは,関数に呼び出し,その返金値を主張することが多い. ツールを使用するエージェントは検査の形を変えます. ツールを選択し,外部システムを変更し,人にとって一時停止し,曖昧な交通障害の後再試し,期待された結果を残さずに完成を報告する可能性があります. エージェントの評価のアンтропоカル・エンジニアリングガイドは,タスク,各試験,そのグレード,トランスクリプト,最終的な結果を別々にします. その区別は実用的なものです 航空便の予約が記録されていると 記録は示す一方 環境の予約データベースは違います 環境が勝利する 3つの異なる物体を検査します Transcript証拠: 代理人が何を言ったのか,どのツールが要求されたのか,そして各通話が返ってきたのか. E 効果証拠: 下流システムで実際に変化したものは,効果数と無効性のアイデンティティを含む. O結果証明: ユーザに見られる納品品が存在し,決定的な契約を満たしているかどうか. 一つのスコアで崩さないでください. 効果が発生した後に ツールコールがタイムアウトを返せる. ファイルが欠席している間に,レコーディングは,洗練された概要を含み得る. 最終的なアーティファクトは 2 回存在します なぜなら再試で新しい無効性キーを使ったからです 各ケースは違う修理が必要. 安全なテスト環境も重要です OWASPs 過剰な機関指針は,最小限のツール機能,最小限の下流許可,下流許可,および高影響行動のための人間の承認を推奨します. テストハネスは同じ境界線に従うべきです 固定装置,使い捨ての名前空間,偽の支払いやメッセージングアダプター,実際の顧客に届かないアカウントを使用します 失敗のテストは 決して 防止すべき事件になることはありません 試用ごとに1つの動作故障を注入する 1つの幸せな経路から始め そしてエージェントの操作界限を横切る失敗を加えましょう 最小の有用なマトリックスとは 10の難しい提示ではない. 検査可能な結果を持つ変化した条件の集合である. 裁判 注射状態 決定論の占い師 予想状態 健康な出産 間違いない 一効果と検証された配達可能 PASS 正当な承認 道具には人間の権威が必要です オーナー,期限,および再開トークン存在 EXPECTED WAIT 欠落した納品品 完了反応,結果がない 結果契約が失敗する FAIL OUTCOME 複製効果 再試は動作を2回作成します 効果数 1 を超える FAIL DUPLICATE EFFECT 許可の喪失 ツール認証には必要な範囲がない アクセス結果は拒否されます FAIL TOOL ACCESS 文脈喪失 再起動すると,必要な決定が落ちます. 連続性領収書が一致しない FAIL MEMORY 持ち主なしの待機 承認が要求されたが,未定行された 待機は所有者,締め切り,または再開トークンがない FAIL UNROUTED WAIT 締め切り終了 検証前に予算が終了する時間 絶対期限が過ぎた FAIL DEADLINE 正当な待機は 譲歩ではなく ポジティブなコントロールです 影響の高い行動の前に 立ち止まる 代理人は 失いした権限を即興するより 健康的です 待機は,実行された場合にのみ過ぎます. 指定された所有者は決定することができます. 締め切りは沈黙的な放棄を防ぐし,リニューアルトークンは決定を停止された仕事と結びつけます. 試験ごとに1つの主要な欠陥を注入する. クレデントリーを撤回し 破損したメモリで 締め切りが即効すると スイートは リリースを正しく阻止しますが 教えることはほとんどありません 単犯試験では 属性が保たれています 各個別契約がうまくいった後 複合的な失敗を加えましょう 誤差を注入するための指示を提示する代わりにアダプターを使用します. データベースのアクセス拒否を 偽装するプロンプトは ロールプレイをテストします 製造の過程で同じ否定形を返すデータベースアダプターが制御経路をテストします 同様に,偽の外部効果を記録した後に輸送タイムアウトを注入して,危険な曖昧さを再現します. 呼び出し者が応答を見なかったにもかかわらず,要求は成功した可能性があります. 結果の予言は 任務の特定でなければならない. コーディングエージェントについては,テストを実行して,リポジトリの差を検査する. 報告書エージェントのために,ファイル,スケーマ,引用されたソース,目的地対等性を要求します. サポートエージェントの場合, 解決の最終的な答えを検索する代わりに,事件記録をチェックしてください. 状態が直接観察可能なコードベースのチェックを好みます. 決定的な安全と完了検査が合格した後,主観的な品質を評価する,校準されたモデル graderまたは人間レビューを追加する. 8つのケースの放出ゲートを実行する 伴手品には failure injection fixture.json , audit failure injection.mjs ,そして予想される報告が含まれています. 分類者は意図的に明確である. Node.js で実行する: 観察された正確な概要は: responseOnlyFalsePassCount は明らかにする番号です 欠落した配達可能試験は 完了したとおり 複製効果試験も 完了したとおりです 完成メッセージの存在を認めていた 評価者は 両方を合格します 環境状態のゲートは様々な理由で ブロックします チェックの注文は契約の一部です ツール否定は1つの試験における最初の失敗の境界線であり,複製効果は検証された最終的な成果よりも優先される. 正しいオブジェクトを2回生産することは健康的な完成ではありません. 作業がまだ完了していないため,結果が来る前に 待ち時間が評価されます. 申請書には別の優先順位が必要かもしれませんが,書き留めて曖昧なケースを明示的に検証してください. この装置はまた 試みと効果の間の有用な区別をします effectAttempts: 2 は安定した無効性キーが effectCount: 1 を離れる時,大丈夫です. 供給された安全でない再試には effectCount: 2 があります フォークダウンストリームレジャーがなければ ハネスは電話を数えるが 外部の変化がどれだけ起きたかを証明できなかった. ストカスティックなエージェントにとって 一回の清潔な処刑は 十分ではない. デターミニスト・ステート・オラクルを保持し,各タスクごとに複数の試験を実行し,分布を報告します. 逆転スイートには期待される合格率が高くなければならないが,難しい能力スイートでは,より低い状態から始めることができる. 強いプローサスコアによって 重大な効果や許可の失敗が キャンセルされるようにする 単一の平均の内部に 変異を隠してはならない. 分類をリリース決定に変える コンパクトなリリースルールは 重量準備スコアよりも 防御するのが簡単です FAIL の結果を修理要請として扱うが,ハネスの自動回復の許可ではない. FAIL TOOL ACCESS :試験証明書やエージェントのアクセス拒否経路を固定する.試験を緑化するために生産許可を拡大しないでください. FAIL DUPLICATE EFFECT :再試行中に論理操作同一性を保持し,次の試行前に効果を確認する. FAIL MEMORY :再起動を生き残る最小決定領収書を定義し,実際の持続力限界をテストする. FAIL UNROUTED WAIT : オーナー,期限,決定領収書,再開可能な仕事の身分を追加する. FAIL DEADLINE :キャンセル,清掃,結果検証のための絶対的な期限と予約時間を1つ増やします. FAIL OUTCOME : 配達可能なパスまたはそのオラクルを修復する. 完成式の編集は故障を解決しない. 境界線を明確にして この8つのケースセットは 一般的な信頼性を証明していません あなたが注射したエラーと 暗号化した主張のみをカバーします 未知のプロバイダの行動を発見したり 研究報告が洞察力のあるかどうかを判断したり 生産スケジュールと認証が 来週も健全であることを証明したりしません 主観的な課題は依然として調整されたレビューを必要とし,生産システムは依然として実際の利用可能性,進歩,待機,ツールアクセス,結果,コストの監視を必要としています. 生産事故を全て 浄化回帰試験に変えるのが 役に立つ習慣です 入力形を保存し,最小の因果条件を注入し,秘密と顧客データを削除し,最も強力な有効な結果 Oracleを追加します. 時間とともに リリース・スイートは 代理人が再現できない失敗の記録になります Sidewisp は現在プライベートプレビュー段階です。 ライブ体験は早期アクセスサイトとインタラクティブな示範です. 生産剤の健康収集,ランタイムアダプター,自動復旧は一般的に送付されません. テストパターンは 今日 チームが自分のハネスで 実施できるものです また,将来の健康層が尊重すべき明示的な証拠の境界線を示しています: 活動とは進歩ではなく,メッセージは結果ではなく,意図された結果が確認されるまで命令は回復ではありません.