AI 에이전트 도구 오류에 대한 관찰성: 5층 테스트

AI 에이전트는 그 모델이 반응하고, 그 프로세스가 살아있으며, 도구 호출이 흔적에 나타나더라도 도구를 사용하지 못할 수 있습니다. 따라서 AI 에이전트 관찰성 의 실제 기본은 운송, 프로토콜, 허가, 실행 및 결과로 다섯 개의 순서대로 도구 호출을 테스트하는 것입니다. 첫 번째 실패층에서 멈춰라. 이 규칙은 모호한 도구 가 사용할 수 없는 경고를 한정된 수리로 바꾸고, 녹색 응답 봉투가 제공된 작업으로 오해되는 것을 방지합니다. 이 가이드는 HTTP 및 JSON RPC에 대한 MCP 스타일 도구에 규칙을 적용하지만 진단 형태는 사용자 지정 REST 도구 및 로컬 명령 어댑터에도 작동합니다. 목표는 모든 요청이나 유용한 부하를 수집하는 것이 아닙니다. 답하기 위해 필요한 최소한의 증거를 보존하는 것입니다. 전화가 어디에 멈췄으며, 어떤 권한이 요구되고, 약속된 결과가 목적지에 도달했는지? 첫 번째 실패층을 시작하십시오. 단일 tool call failed 카운터는 호환되지 않는 응답을 필요로 하는 오류를 붕괴합니다. DNS 오류가 제한된 연결을 다시 시도하는 것을 정당화 할 수 있습니다. 만료된 토큰은 한 번의 리프레쉬를 정당화 할 수 있습니다. 범위를 잃는 것은 사람이나 관리자가 필요합니다. 같은 토큰을 다시 시도하는 것은 낭비입니다. 파일, 티켓, 메시지 또는 데이터베이스 변경 없이 유효한 도구 응답은 결과 조사가 필요하지만 운송 수리 작업이 아닙니다. 이 우선 순위를 사용하세요: 계층 최소한의 증거 실패 사례 합리적인 다음 움직임 교통 연결 결과, HTTP 상태, 전후된 시간 DNS 오류, 연결 거부, HTTP 503 접근성을 확인하고, 고정된 예산 내에서만 다시 시도합니다. 프로토콜 요청 ID, 방법, JSON RPC 오류 코드 32601 방법이 없어 32602 무효 파라미가 재발견 또는 요청 계약을 수정 허가 HTTP 상태, 해제 된 저작 오류, 필요한 범위 401 invalid token , 403 insufficient scope 한 번 재개하거나 실종 당국에 요청 집행 도구 결과 상태, 타임아웃, 출력 스케임 판례 MCP isError: true , 타임아웃, 잘못된 구조 출력 도구 구현 또는 입력을 검사 결과 목적지 확인기 및 신선함 답은 "창조된 것"이라고 하지만 유물은 존재하지 않습니다. 목적지를 확인하고 완료된다고 선언하지 않습니다. 순서가 중요해요 DNS 해상도가 실패하면, 권한과 결과는 unobserved , 실패하지 않습니다. 한 번의 초반 휴식시간에 5번의 실패가 발생하면 사고의 숫자가 증가하고 응답자가 존재하지 않는 증거를 찾게 됩니다. 프로토콜 실패를 도구 실패와 분리하십시오. MCP 도구 호출은 tools/call 를 사용하지만 도구 정의는 inputSchema 를 가지고 있으며 outputSchema 를 가지고있을 수 있습니다. 현재 MCP 도구의 사양는 또한 isError: false 와 함께 도구 결과를 보여줍니다. 이들은 서로 다른 체크포인트입니다. 클라이언트는 서버에 도달하고 유효한 JSON RPC 응답을 교환할 수 있으며 여전히 도구 수준의 오류를 받을 수 있습니다. JSON RPC는 외부의 구별을 명시적으로 설명합니다. 그 2.0 사양는 Method not found에 대한 32601 및 Invalid params에 대한 32602 를 보유합니다. 오류 응답에는 error 가 포함되어 있으며, 성공적인 응답에는 result 가 포함되어 있습니다. JSON RPC result 는 프로토콜 교환이 완료되었다는 것을 증명합니다. 그것은 도구가 동작을 받아들였는지, 구조화된 출력이 광고된 스케마와 일치했는지, 외부 부작용이 존재했는지 증명하지 않는다. 민감한 주장을 저장하지 않고 경계를 기록하십시오. 이 이벤트는 의도적으로 탑재자 토큰, 도구 논쟁, 응답 몸, 티켓 텍스트 및 절대 경로를 생략합니다. 크로스런 결합이 필요할 때 해시 또는 지도 식별자 흔적 식별은 건강 기록이 여전히 첫 번째 실패층과 원료 흔적이 사용할 수 없을 때 결과 판결을 설명할 수 있다면만 유용합니다. 권위 문제를 패킷 손실처럼 다시 시도하지 마십시오. 401 와 403 는 서로 다른 행동을 암시하기 때문에 권한은 자신의 계층을 받아야합니다. MCP 허가 사양는 클라이언트가 401 Unauthorized 를 처리하도록 요구하고 WWW Authenticate 를 통해 보호된 자원 발견을 설명합니다. 또한 클라이언트가 현재 요청에 필요한 권한을 배울 수 있도록 범위 지침을 권장합니다. RFC 6750는 invalid token 를 유효기간이 만료된, 취소된, 잘못 형성된 또는 다른 방법으로 무효된 지표로 정의하고 HTTP 401와 연관시킵니다. 그것은 insufficient scope 를 요구되는 권한이 없는 토큰으로 정의하고 HTTP 403과 연관시킵니다. 이는 운영자에게 안전한 의사결정 규칙을 제공합니다. 1. invalid token 에 대해 설정된 리프레쉬 경로를 한번 시도하십시오. 새로워진 자격증이 실패하면, 자격증 소유자를 멈추고 표면에 올려놓으십시오. 2. insufficient scope 에 대해서는 루프를 사용하지 마십시오. 서버가 제공하는 경우 필요한 범위를 표시하고 명시적인 권한을 요청합니다. 3. 토큰, 리프레쉬 토큰, 권한 헤더 또는 원소 도전을 일반 목적의 텔레메트리에 절대 넣지 마십시오. 이 구별은 또한 손상된 자동화 패턴을 방지합니다. 도구 호출이 실패할 때마다 권한을 확장합니다. 연결 사고는 특권 승격이 될 수 없으며, 범위 부정은 더 강력한 자격증으로 조용히 전환함으로써 고정되어서는 안 됩니다. 거짓 성공 격차를 재현 이 연결 장치에는 8개의 합성 호출이 포함되어 있습니다: 2개의 운송 오류, 1개의 JSON RPC 방법 오류, 2개의 권한 오류, 1개의 도구 실행 오류, 1개의 잘못된 성공 및 1개의 검증된 배달. 미술품 디렉토리에서 분류자를 실행하세요: 결정적인 결과는 다음과 같습니다. 세 번의 통화 결과 봉투를 돌려보냈지만, 오직 한 번의 통화 결과만 목적지에 의해 확인되었습니다. 한 봉투에는 실행 오류가 있었고, 다른 봉투에는 약속된 유물이 없는 동안 성공했다고 주장했습니다. 계산 프로토콜 결과는 37.5%의 성공률을 나타냅니다. 검증된 결과를 계산하면 12.5%를 기록한다. 차이점은 탐지기 점수나 LLM 판단이 아닙니다. 그것은 완성 기준을 변경하는 것입니다. 정렬은 의도적으로 결정적인 것입니다. 실제 시스템은 모호함을 추가합니다. 티켓 API는 ID를 반환하기 전에 기록과 휴식 시간을 할애 할 수 있습니다. 목적지 검색은 노후화 될 수 있습니다. 그 케이스를 표시해 주세요. uncertain . 첫 번째 시도가 이루어졌는지 알 때까지 부작용을 일으키는 전화를 다시 시도하지 마십시오. 증거를 운영 규칙으로 바꾸어 도구 1 건전한 이벤트 도구 조작 시도, 소유 실행과 연결되어 있습니다. 첫 번째 실패 계층, 해제된 코드, 증거 신선함, 다시 시도 소유자, 그리고 결과 검증. 다음으로 4개의 컨트롤을 적용합니다. 집단적인 사건에 대한 경고, 모든 시도는 아닙니다. 같은 유효기간이 끝난 자격증에서 실패한 5개의 전화는 당국의 한 사건입니다. 뚜은 층별로 다시 시도합니다. 운송 실패는 제한된 백오프를 받을 수 있습니다. 프로토콜 및 범위 실패는 일반적으로 계약 또는 인적 변경이 필요합니다. 기다림과 갇혀 있는 것을 구분해 보세요. 승인된 OAuth 흐름을 기다리는 호출은 진전을 이루지 않지만 실행 루프가 아닙니다. 사고를 제거하는 것은 실패층이 and 를 통과한 후에야 의도된 결과가 관찰됩니다. 성공한 재시작 명령은 활동이 아니라 회복입니다. 따라서 유용한 대시보드 행은 작습니다. 영향을 받은 에이전트, 첫 번째 실패층, 영향, 증거 시간, 신뢰, 재실험 수, 필요한 권한 및 검증자 결과. 원료 흔적은 여전히 미용으로 남아 있을 수 있습니다. 이것은 운영 요인의 건강입니다. 새로운 게이트웨이를 통해 모든 모델 요청의 실행 시간이나 라우트를 대체하는 요구가 아닙니다. 또한 어려운 한계가 있습니다. 모든 결과에는 결정적 검증자가 없습니다. 파일이 경로와 소화로 확인될 수 있고, 티켓은 안정적인 ID로 확인될 수 있고, 건강 엔드포인트 및 개정으로 배포될 수 있습니다. 연구가 좋은 부문 또는 인간 검토가 필요할 수 있습니다. 실종된 증거를 건전한 증거로 바꾸기 보다는 판단과 함께 방법과 신뢰를 표시하십시오. Sidewisp는 현재 비공개 프리뷰 단계입니다. 생산 모니터링 어댑터와 복구 실행은 일반적으로 배송되지 않습니다. 계획된 방향은 기존의 실행 시간과 함께 접근성, 진전, 도구 접근 및 검증된 결과를 분리하는 건강 계층입니다. 만약 그 운영 모델이 개인 미리보기에 참여와 일치한다면 출처 모델 컨텍스트 프로토콜: 도구, 사양 버전 2025 11 25 모델 컨텍스트 프로토콜: 허가, 사양 버전 2025 11 25 JSON RPC 2.0 사양 RFC 6750, OAuth 2.0 Bearer Token 사용