AI 에이전트 테스트: 실패 주입 방출 게이트를 구축

AI 에이전트 테스트는 하나의 방출 질문에 대답해야 합니다. 도구, 허가, 메모리 경계, 승인, 또는 임기가 나쁜 행동을 할 때, 에이전트는 안전성을 유지하고 여전히 검증 가능한 작업을 생산합니까? 합리적인 기본은 작은 실패 주입 제품입니다. 모든 실험에 한 가지 제어된 오류를 부여하고, 에이전트의 전록을 기록하고, 그 다음 환경을 개별적으로 평가합니다. 도구 접근, 외부 효과, 연속성, 대기 소유, 임기 상태, 약속된 배달물. 유창한 마지막 메시지는 유용한 진단 증거이지만, 그것은 방출 오라클이 아닙니다. 이 문서에서는 그 게이트를 8개의 Node.js 장치로 구성합니다. 한 사건은 안전하게 끝났습니다. 정당한 승인을 받을 때까지 기다립니다. 6은 방출을 막아야 합니다. 스위트는 의도적으로 드래그 요청으로 실행될 만큼 작지만 어떤 계약이 실패했는지 보여주기에는 충분합니다. 에이전트가 실패하는 동안 반응이 통과될 수 있습니다. 전통적인 응용 테스트는 종종 함수를 호출하고 반환 값을 주장합니다. 도구를 사용하는 에이전트는 테스트의 형태를 변경합니다. 그것은 여러 차례를 거쳐 도구를 선택하고 외부 시스템을 변경하고, 사람을 위해 일시 중지하고, 모호한 운송 실패 후 다시 시도하고, 예상된 결과를 남겨 두지 않고 완료를 보고할 수 있습니다. 에이전트 평가에 대한 인트로픽 엔지니어링 가이드는 작업, 각 시험, 그 등급, 기록 및 최종 결과를 분리합니다. 그 차이점은 실용적입니다. 이 표본은 비행기가 예약되었다고 말할 수 있지만 환경 예약 데이터베이스는 그렇지 않다고 말할 수 있습니다. 운영 테스트에서 환경이 승리합니다. 그래서 우리는 세 가지 다른 물체를 검사할 수 있습니다. Transcript 증거: 에이전트가 뭐라고 했는지, 어떤 도구를 요청했는지, 그리고 어떤 전화를 받았는지. E 효과 증거: 효과 수와 무력성 정체성을 포함하여 하류 시스템에서 실제로 변경 된 것. O결과 증거: 사용자가 볼 수 있는 배달품이 존재하고 결정적 계약에 만족하는지 여부. 한 점으로 쪼개지 마세요. 도구 호출은 효과가 발생한 후 타임아웃을 반환할 수 있습니다. 기록은 파일이 없는 동안 맑은 요약을 포함할 수 있습니다. 마지막 유물은 두 번 존재할 수 있습니다. 왜냐하면 새로운 무능력 키를 사용해서 다시 시도했기 때문입니다. 각 케이스마다 다른 수리가 필요합니다. 안전한 테스트 환경도 중요합니다. OWASPs 과도한 기관 지침는 최소한의 도구 기능, 최소한의 하류 권한, 하류 허가 및 높은 영향의 행동에 대한 인적 승인을 권장합니다. 테스트 띠는 같은 경계를 따라야 합니다. 장착 장치, 일회용 이름 공간, 가짜 결제 또는 메시지 어댑터 및 실제 고객에 도달할 수 없는 계정을 사용하십시오. 실패 테스트는 결코 예방하기 위해 만들어진 사건으로 변해서는 안 됩니다. 시험당 1개의 작동 오류를 주입한다. 하나의 행복한 경로로 시작해서, 에이전트의 운영 경계를 넘어선 실패를 추가하십시오. 최소한의 유용한 매트릭스는 10개의 까다로운 명령이 아닙니다. 재판 주입 상태 결정론적 오라클 예상 상태 건강한 출산 죄가 없죠. 한 가지 효과와 검증된 전달 가능 PASS 합법적인 승인 도구는 인간의 권위를 필요로 합니다. 소유자, 임기 및 재개 토큰이 존재합니다 EXPECTED WAIT 실종된 배달품 완료 반응, 결실한 결과 결과 계약 실패 FAIL OUTCOME 복제 효과 다시 시도하면 2번의 동작을 생성합니다. 효과 수는 1이 넘는다 FAIL DUPLICATE EFFECT 허가 손실 도구 자격증은 필요한 범위가 없습니다 액세스 결과가 거부됩니다. FAIL TOOL ACCESS 컨텍스트 손실 다시 시작하면 필요한 결정이 떨어집니다. 연속성 영수증은 일치하지 않습니다 FAIL MEMORY 소유자 없는 대기 승인 요청이 있지만 노트되지 않은 대기하는 것은 소유자, 임기 또는 재개 토큰이 부족합니다. FAIL UNROUTED WAIT 만료 기간 검증 전에 종료되는 시간 예산 절대 임기가 지나고 FAIL DEADLINE 정당한 기다림은 긍정적인 통제가 아니라 양보입니다. 큰 영향력을 미치는 행동 전에 멈추는 요인은 실종된 권력에 대해 즉흥하는 것보다 더 건강할 수 있습니다. 기다림은 라우팅이 끝나면만 지나갑니다. 이름의 소유자가 결정을 내릴 수 있고, 임기가 침묵으로 포기하는 것을 방지하고, 재개력 토큰은 결정을 중단된 작업과 연결합니다. 각 시험에서 하나의 주요 오류만 주입한다. 신분증을 취소하고, 손상된 메모리를 즉시 종료하면, 스위트는 발매를 올바르게 차단할 수 있지만, 당신에게 거의 가르칠 수 없습니다. 단죄 재판은 배정권을 유지합니다. 각각의 계약이 작동하면 나중에 합성 실패를 추가합니다. 오류를 주입하기 위해 명령 대신 어댑터를 사용하십시오. 데이터베이스 접속을 거부한 것으로 판명된 prompt은 역할 플레이 테스트를 합니다. 생산과 동일한 거부 형태를 반환하는 데이터베이스 어댑터는 제어 경로를 테스트합니다. 마찬가지로, 위험한 모호함을 재현하기 위해 가짜 외부 효과를 기록한 후 운송 시간차를 주입하십시오. 호출자가 응답을 보지 않았음에도 불구하고 요청이 성공했을 수 있습니다. 결과 오라클은 작업에 대한 것이어야 합니다. 코딩 에이전트를 위해 테스트를 실행하고 저장소 차이점을 검사하십시오. 보고서 에이전트에 대해 파일, 스케마, 인용된 소스 및 목적지 평가를 요구합니다. 지원 에이전트를 위해, 가 해결되었음을 찾기보다는 사건 기록을 검사하십시오. 상태가 직접 관찰될 수 있는 코드 기반 검사를 선호합니다. 결정적인 안전 및 완성도 검사를 통과한 후 주관적인 품질을 위해 캘리브된 모델 grader 또는 인간 검토를 추가합니다. 8개의 출입문을 실행하세요 동반자 유물은 failure injection fixture.json , audit failure injection.mjs 및 예상된 보고서를 포함합니다. 분류자는 의도적으로 간단합니다. Node.js로 실행하세요: 정확히 관찰된 요약은 다음과 같습니다. responseOnlyFalsePassCount 는 알려주는 숫자입니다. 실종된 결과 실험은 완료됐다고 합니다. 그리고 복제 효과 실험은 완료됐다고 합니다. 완성 메시지의 존재를 받아들이는 성급자는 둘 다 통과합니다. 환경국가 게이트는 여러 가지 이유로 그들을 차단합니다. 체크를 주문하는 것은 계약의 일부입니다. 도구 거부는 하나의 실험에서 첫 번째 실패한 경계이며, 복제 효과는 검증된 최종 결과보다 우선입니다. 올바른 객체를 두 번 생성하는 것은 건강한 완성도가 아닙니다. 작업이 아직 완료되지 않았기 때문에 결과가 나오기 전에 정해진 기다림이 평가됩니다. 귀하의 신청서는 다른 우선 순위가 필요할 수도 있지만, 그것을 기록하고 모호한 경우를 명시적으로 테스트하십시오. 이 장치는 또한 시도와 효과 사이에 유용한 구별을 한다. effectAttempts: 2 는 안정적인 무력성 키가 effectCount: 1 를 떠날 때 괜찮을 수 있습니다. 공급된 안전하지 않은 재실험에는 effectCount: 2 가 있습니다. 가짜 하스트 스트림 리저가 없으면, 리네스는 전화를 셀 수 있지만 얼마나 많은 외부 변화가 일어났는지 증명할 수 없었습니다. 스토카스틱 에이전트에게는 한 번의 순수한 처형이 충분하지 않습니다. 결정적인 상태 오라클을 유지하고, 작업에 따라 여러 실험을 실행하고 분포를 보고합니다. 회귀 스위트는 높은 예상 합격률을 가져야 합니다. 어려운 능력 스위트는 낮게 시작될 수 있습니다. 다른 곳에서는 강력한 음반 점수를 통해 심각한 효과나 허위 실패가 취소될 수 있도록 한 단 하나의 평균 내부의 변수를 숨기지 마십시오. 분류를 방출 결정으로 전환 콤팩트 풀링 규칙은 웨이트된 준비점보다 더 쉽게 방어됩니다. FAIL 의 모든 결과를 수리 요청으로 취급하고, 자율적으로 복원되는 배너지를 허용하지 않습니다. FAIL TOOL ACCESS : 테스트 자격증이나 에이전트의 거부 액세스 경로를 정하고, 테스트를 친환경화시키기 위해 생산 권한을 확대하지 마십시오. FAIL DUPLICATE EFFECT : 반복 시도를 통해 하나의 논리적 동작 아이덴티티를 보존하고 또 다른 시도 전에 효과를 확인합니다. FAIL MEMORY : 재발전에서 살아남아야 할 최소한의 결정 수신기를 정의하고, 실제 지속 경계를 테스트합니다. FAIL UNROUTED WAIT : 소유자, 임기, 의사결정 수신 및 재개 가능한 업무 신분증을 추가합니다. FAIL DEADLINE : 취소, 청소 및 결과 검증에 대한 절대 한 가지 임기와 예비 시간을 전파하십시오. FAIL OUTCOME : 배달되는 경로를 또는 그 오라클을 고쳐라; 완료 문장을 편집하면 오류가 해결되지 않습니다. 경계를 깨끗하게 유지하세요. 이 8개의 케이스 스위트는 일반적인 신뢰성을 증명하지 않습니다. 그것은 단지 당신이 주입한 오류와 암호화된 주장만을 포함합니다. 그것은 알려지지 않은 공급자의 행동을 발견하거나 연구 보고서가 통찰력있는지 판단하거나 다음 주에 생산 스케줄과 자격증이 건강하게 유지된다는 것을 증명하지 않을 것입니다. 주관적인 작업들은 여전히 정렬된 검토가 필요하며, 생산 시스템은 여전히 실제 가용성, 진전, 대기, 도구 접근, 결과 및 비용의 모니터링이 필요합니다. 유용한 습관은 모든 생산 사고를 해제된 회귀 실험으로 바꾸는 것입니다. 입력 형태를 보존하고, 가장 작은 인과 상태를 주입하고, 비밀과 고객 데이터를 제거하고, 가장 강력한 사용 가능한 결과 오라클을 추가합니다. 시간이 지남에 따라, 방출 스위트는 에이전트가 더 이상 반복할 수 없는 실패의 기록이 됩니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 라이브 경험은 초기 액세스 사이트와 상호 작용적인 시범입니다. 생산 에이전트 건강 수집, 런타임 어댑터 및 자동 복구 일반적으로 배송되지 않습니다. 위의 테스트 패턴은 오늘날 팀들이 자신의 배너스에 적용할 수 있는 것입니다. 또한 미래의 건강 계층이 준수해야 할 명백한 증거 경계를 보여줍니다: 활동은 진보가 아니며, 메시지는 결과가 아니며, 명령은 의도된 결과가 검증되기 전까지는 회복이 아닙니다.