에이전트 관찰력: 결과 계약으로 거짓 성공을 잡는다

에이전트 관측 가능성은 가 실행 종료보다 더 어려운 질문에 대답해야 합니다: : 예상된 결과는 존재하고, 이 실행에 속하며, 그 수용성 검사를 통과합니까? 실제 기본은 실행 전에 그 결과를 정의하고, 에이전트 자체의 완료 메시지의 외부에서 관찰하고, 컴팩트 된 결과 수신을 기록하는 것입니다. 최종 사건은 검증을 유발할 수 있으며 검증을 대체할 수 없습니다. 이 구별은 전체 표본을 다시 읽으려면 두 번째 모델이 필요하지 않고 잘못된 성공을 얻습니다. 또한 정반대의 오류를 피합니다. 합법적인 승인을 기다림으로 간주하는 것은 부진한 실행입니다. 아래 설명된 영수증은 불투명한 유물 식별자, 신선함, 적절한 경우 내용 소화 및 결정적 검증 결과를 기록합니다. 실종된 증거는 unverified 또는 특정 실패 상태가 남아 있습니다. 결말 사건은 집행의 증거가 아니라 배달의 증거입니다. 흔적은 어떻게 작업이 진행되었는지 이해하기 위한 적절한 장소입니다. 그들은 요청된 외부 상태가 현재 존재한다는 것을 자동적으로 증명하는 것은 아닙니다. 현재 GenAI 에이전트 범위를 위한 OpenTelemetry 의미 협약는 invoke agent , plan , execute tool 와 같은 동작을 설명하고 있으며, 에이전트, 공급자, 모델, 타이밍 및 오류 속성을 포함합니다. 이 문서에는 개발이라는 표기가 명시되어 있습니다. 그 신호는 어떤 수술이 일어났는지 그리고 오류가 발생했는지 여부를 나타낼 수 있습니다. 그들은 귀하의 특정 청구서가 저장되었는지, 귀하의 철수 요청이 요청된 변경 사항을 포함하고 있는지, 또는 귀하의 보고서가 승인된 스케마와 일치하는지 알 수 없습니다. 그 수용 규칙은 신청서에 속한다. OpenAI 에이전트 SDK 추적 참조는 동일한 경계 콘크리트를 만든다. 기본 추적에는 모델 세대가, 함수 호출, 경비 선, 핸도프 및 사용자 지정 범위가 포함될 수 있습니다. 이것은 처형 증거가 풍부합니다. SDK는 또한 생성 및 기능 범위가 민감한 입력 및 출력을 포함할 수 있다고 경고하고 운영자는 그 캡처를 비활성화 할 수 있습니다. 따라서 결과 접수는 좁아지고 결정적인 것일 수 있습니다. 전달 가능한 것을 판단하기 위해 필요한 증거를 보관하고, 모든 프롬프트 및 도구의 유용 한 부하의 두 번째 복사본이 아닙니다. 좋은 운영 모델은 다음과 같은 두 가지를 모두 사용합니다. 추적은 경로, 재실험, 도구 및 실패 위치를 설명합니다. 결과 수신은 의도된 결과를 증명하거나 실종된 증거의 이름을 지정합니다. 대기 신호는 작업이 완료된 것처럼 보이지는 않고 알려진 의존성이나 승인을 기록합니다. 진행 신호는 작업이 활발하다가 유용한 움직임을 나타냅니다. 이 신호를 섞으면 나쁜 경고가 발생합니다. 활동은 유용한 진보가 아닙니다. 깨끗한 결말 사건은 검증된 결과가 아닙니다. 선언된 기다림은 정전이 아닙니다. 실행 전에 결과 계약서를 작성하십시오. 결과 계약은 작업 생성 시 검토할 만큼 작지만, 그 의미에 대해 대리인에게 묻지 않고 평가할 만큼 엄격합니다. 실제 결과에 맞는 가장 저렴한 결정적 검사를 시작하세요. 현장 목적 예제 artifact id 비밀 또는 절대적인 경로를 드러내지 않고 예상된 결과를 명명합니다. monthly report run started at 신선함 경계를 설정합니다 2026 07 25T14:00:00Z observed at 증거가 수집된 시기를 나타냅니다. 2026 07 25T14:08:12Z modified at 이전 실행에서 남겨진 유물을 거부합니다. 2026 07 25T14:07:55Z expected sha256 바이트 정체성이 중요할 때 바이트를 정확하게 습니다 64개의 문자 소화 validator 승인 확인의 명칭 report schema v3 validator exit code 결정적인 판결을 기록 0 evidence source 관찰이 어디에서 왔는지 알려줍니다. local file stat 모든 직업을 위해 모든 분야를 요구하지 마십시오. 데이터베이스 마이그레이션에는 파일 소화보다는 스케마 쿼리가 필요할 수 있습니다. 배포된 페이지에는 HTTP 상태, 정통 콘텐츠 및 브라우저 주장이 필요할 수 있습니다. 인간 승인 작업은 당국의 이벤트가 도착하기 전까지 waiting 로 남아 있어야 합니다. 계약은 결과물을 나타내고 모든 작업 부하를 파일 모양의 모델로 강요하지 않아야 합니다. 기본 분류 순서가 중요합니다. 먼저 증거가 없는지 확인하고 신분, 신선함, 소화 및 검증 결과를 확인합니다. 이것은 실행 가능한 상태를 생성합니다. 1. missing 관측된 유물이 없습니다. 2. wrong artifact 관찰은 다른 목표에 속한다. 3. stale 유물은 경주를 앞두고 있습니다. 4. hash mismatch 정확한 바이트가 필요하고 차이가 있습니다. 5. validator failed 유물이 존재하지만 수용 기준을 충족시키지 않습니다. 6. unverified 요구된 검사는 실행되지 않았거나 증거가 없습니다. 7. verified 모든 요구 조건이 통과되었습니다. 영수증을 최소한의 개인정보로 보관하세요. 불투명한 식별자는 고객 이름이나 파일 시스템 경로보다 더 안전합니다. 소화가 바이트 정체성을 증명할 수 있지만 단순한 해시는 계산에서 예측 가능한 비밀을 숨기지 않습니다. 값이 민감하고 엔트로피가 낮을 때 키로 된 HMAC를 사용하거나 값을 완전히 유지하는 것을 피하십시오. 증거 수집은 유물 근처에서 이루어져야 함으로써 원료 내용은 호스트를 떠나지 않아도 됩니다. 6번의 거짓 성공 테스트를 실행하세요 저는 합성 6회 단속 장치에 대한 규칙을 테스트했습니다. 모든 실행은 동일한 실행 시간 터미널 상태를 가지고 있습니다: completed . 두 가지 관측은 신선하고 유효합니다. 네 가지는 다른 거짓 성공 모드를 나타냅니다: 유물이 없습니다, 실행보다 오래된 유물이, 내용의 부합 및 검증기 실패. 분류기는 의도적으로 지루합니다. 그것은 일정한 순서로 사실을 평가합니다. 포함된 장치가 실행되면: 거짓된 주장은 좁습니다. 이 제공된 장치에 대해, 터미널 상태 규칙은 6 번의 실행을 허용하고, 결과 계약은 두 번의 실행을 확인하고, 구체적인 증거 상태가 있는 네 번의 실행을 거부합니다. 이것은 측정된 생산 실패율이 아닙니다. 이는 동일한 터미널 상태가 실질적으로 다른 결과를 숨길 수 있다는 것을 보여주는 경계 테스트입니다. 유용한 측정값은 이 완료된 실행의 비율이 아닙니다. 그것은 verified outcomes / runs expected to deliver an outcome 입니다. 작업 유형 중 절반만이 결정적 검증자를 가지고 있다면 그 한계를 표시하십시오. 무장 장비 없는 반은 건강하다고 침묵으로 분류하지 마십시오. 완료 경계에 대한 검증을 첨부 영수증은 실행시간이 완료한 경계를 드러내지만 체크 자체는 독립적으로 유지될 때 가장 잘 작동합니다. 그 경계에서 증거를 수집하고 검증기를 실행하고 수신을 계속하고 그 후에야 운영 상태를 업데이트합니다. 클로드 코드는 구체적인 시행점을 제시합니다. 현재 호크 참조는 TaskCompleted 가 작업이 완료되는 것을 표시할 때 실행된다는 것을 말합니다. 명령 해킹은 2 코드로 종료하여 테스트 또는 다른 수용 검증이 실패하면 완료 및 피드백을 반환하는 것을 방지할 수 있습니다. 이것은 프로라 주장을 신뢰하지 않고 결정적인 게이트를 가능하게 합니다. 이것은 클로드 코드 특수한 메커니즘이고, 보편적인 에이전트 표준이 아닙니다. 그리고 성공적으로 실행된 해크는 여전히 올바른 유물을 테스트해야 합니다. 차단 완료 할크 없이 실행 시기는 2단계 상태 전환을 사용한다. 확인되지 않은 모든 상태를 자동으로 다시 시도하지 마십시오. missing 는 알려진 업로드 지연 후 짧은 제한된 관찰 창이 필요할 수 있습니다. validator failed 는 사용자가 이미 허가한 경우에 한 번의 되돌릴 수 있는 수리 시도를 정당화할 수 있습니다. unverified 는 증거 채널이 실패한 것을 의미합니다. 그것은 전달 가능한 것이 나쁜 것을 증명하지 않습니다. 돌이킬 수 없는 결정을 기다리고 있는 임무는 waiting 또는 needs human 에 속한다. 또한 지휘 성공과 결과 성공을 분리합니다. 0 를 종료하는 검증자 프로세스는 그 검증자가 실제로 확인하는 것을 증명합니다. 검증자 이름의 버전을 작성하고, 그 증거 소스와 관찰 시간을 기록하고, 납품가능한 내용이 변경될 때 계약을 검토한다. 오래된 수용 규칙은 완벽하게 기록된 거짓 긍정을 만들어 낼 수 있습니다. 불확실성 을 증가 시키십시오. 성공 을 만들지 마십시오. 결과 계약은 선언된 기대만큼만 완전하다. 목록에 있지 않은 유물을 놓칠 수도 있고, 약한 검증자를 받아들일 수도 있고, 오래된 증거 자료에서 읽을 수도 있습니다. 그 이유는 커버리지와 신뢰를 폭로하기 위한 것이고, 기본적으로 모델 판사를 추가하기 위한 이유가 아닙니다. LLM 평가를 사용하여 결정적으로 확인할 수 없는 기준만을 사용하며, 라우브릭과 버전을 가시적으로 유지하며, 동일한 에이전트가 자신의 작품을 생산하고 결정적으로 평가하는 것을 피하십시오. 증거가 충돌하는 경우 uncertain 를 선호하고 외부 상태를 변경하기 전에 권한을 요청하십시오. Sidewisp는 현재 비공개 프리뷰 단계입니다. 공공 사이트와 기사 라이브러리는 실시간으로; 생산 에이전트 건강 수집, 런타임 어댑터 및 복구 일반적으로 배송되지 않습니다. Sidewisp는 기존 실행 시간과 함께 건강 계층으로 의도되어 있으며, 교체 실행 시간 또는 자율 고정 장치가 아닙니다. 운영 규칙은 간단합니다. 실행 시간 터미널 이벤트가 검사를 시작하도록, 외부 증거가 결과를 결정하도록, 그리고 실종된 증거가 알려지지 않도록하십시오. 만약 그 건강 모델이 에이전트를 운영하는 방식과 일치한다면, 개인 미리보기 등록은 적절한 다음 단계입니다.