AI 에이전트 모니터링: 실제 실패에 대해 조용한 경고 정책

AI 에이전트 모니터링은 계속되는 실패를 명명하고 증거를 제시하고 제한된 다음 행동을 지적할 수 있을 때만 사람을 중단해야 합니다. 도구 호출, 토큰 스피크, 또는 긴 흔적은 문제를 설명하는 데 도움이 될 수 있습니다. 그 중 어느 것도 에이전트가 유용한 작업을 수행하지 않았다는 것을 증명하지 않습니다. 실용적인 첫 번째 정책을 위해 세 가지 사항을 개별적으로 모니터링하십시오. 1. : 는 예정된 경주를 시작했고, 심장 박동은 여전히 계속되고 있습니까? 2. 유리한 발전: 예상된 시간 내에 작업에 대한 증거가 변경되었습니까? 3. O 결과 검증: 약속된 납품품이 존재하고 그 수락 검사를 통과합니까? 그 다음 결과로 이동합니다. 지속적인 사용자 관련 오류에 대한 페이지. 합법적인 기다림이나 느린 조사에 대한 티켓이나 소유자의 통보를 작성하십시오. 나쁜 샘플과 건강한 작업을 억제하십시오. 이 기사에서는 이 규칙을 작은 이벤트 계약과 실행 가능한 8개의 사건으로 바꾸어 놓습니다. 페이지에는 깨진 약속의 이름이 있어야 합니다. 에이전트가 온라인에서 일하지 않는 동안 그것은 또한 침묵할 수 있습니다. 왜냐하면 그것은 정답으로 승인을 기다리고 있기 때문입니다. 그렇기 때문에 프로세스 실행은 에이전트 모니터링에 너무 약하고 최근 도구 호출은 페이지링에 너무 합니다. 구글의 분산 시스템 모니터링 장은 화이트박스 증거와 블랙박스 증상 사이에 유용한 경계를 그리고 있습니다. 내부 텔레메트리는 진단에 필수적이지만 페이지는 서비스에 영향을 미치는 명백한 오류를 나타낼 수 있습니다. 이 장은 또한 성공적인 프로토콜 응답이 여전히 반환 된 내용이 잘못되었을 때 오류가 될 수 있음을 지적합니다. 에이전트에게 해당하는 오류는 필요한 유물이 없거나 무효가 있는 동안 completed 라고 말하는 실행입니다. 작업 흐름에 따라 하나의 모니터링 계약을 작성하여 시작하십시오. 계약장 저장소 대리인의 예 왜 존재하는지 예상된 시작 평일시 09:00 UTC, 5분 간격 미흡한 일정을 감지 심장 박동 10분 이상 실행시간 관측 도달할 수 없는 또는 죽은 경로를 감지합니다. 진전 증거 새로운 커밋, 변경된 테스트 결과 또는 기록된 블로커 반복된 활동에서 분리된 움직임 합법적인 기다림 승인 인증 + 책임 있는 소유자 계속 기다려야 합니다. 완료 청구 런타임 상태는 completed 에이전트가 말한 것을 기록하라 결과 표본 목표 지부는 컴백 및 필요한 체크 패스를 포함합니다 약속된 결과를 독립적으로 확인 마지막 줄은 의도적으로 구체적이어야 합니다. 응답을 생성하는 것은 채팅 작업에 충분할 수 있습니다. 파일 생성 파일이 비효율적이거나 출판되지 않았거나 잘못된 목적지에 첨부된 경우 발매 작업에 충분하지 않습니다. 모니터는 이 계약을 한 기간에서 추론할 수 없습니다. 작업 흐름 소유자는 그것을 정의해야합니다. 을 완공으로 취급하지 않고 을 실행하는 도구 OpenTelemetrys Generative AI 의미 협약은 이제 invoke agent , invoke workflow , plan , execute tool 와 같은 에이전트 및 작업 흐름 작업을 정의합니다. 현재 에이전트 범위 문서는 gen ai.agent.id , gen ai.agent.name , gen ai.agent.version , 그리고 error.type 와 같은 필드를 제공합니다. 이것들은 유용한 상관관계와 진단 분야입니다. 그들은 결과 스케마가 아닙니다. 이 문서에는 Development 가 표시되어 있기 때문에 버전이 중요하다는 것입니다. 또한 입력 및 출력 메시지를 캡처한 경우 민감한 정보가 포함될 가능성이 있다고 경고합니다. 아래의 경고 정책을 실행할 수 있습니다. 명령어, 응답, 비밀, 또는 전체 도구 사용량 저장없이. 콤팩트 이벤트는 이렇게 보일 수 있습니다. runId 를 스케줄러, 런타임 텔레메트리 및 결과 검사에서 안정적으로 유지하십시오. 집합을 위해 낮은 카디널리티 에이전트 또는 워크플로우 이름을 저장하십시오. 알림 내부에서 아닌 알림 뒤에 진단 추적 식별자를 넣으십시오. 그렇지 않으면, 모든 시도는 같은 깨진 약속을 위해 새로운 사건을 만들 수 있습니다. 이 그림의 상부 트랙은 바쁜데 원형입니다. 하위 트랙은 상태를 변화시키고 검사 가능한 결과를 제공합니다. 그 구별은 정책의 중심입니다. 활동은 디버깅의 증거입니다. 진전과 결과는 건강을 결정합니다. 여덟 개의 불편한 사건으로 정책을 시험해보세요 이 기사를 동반하는 유물은 관찰된 실행당 한 NDJSON 기록을 사용합니다. 검증된 완공, 잘못된 성공, 놓친 일정은, 도달할 수 없는 실행시간, 합법적인 승인 대기, 지속적인 진행이 없는 실행, 일시적인 나쁜 샘플, 건강한 활동적인 작업이 포함됩니다. 미술품 디렉토리에서 실행하세요: 예상 출력: 평가자는 고정된 우선순위를 사용합니다. 잘못된 결과가 오래된 텔레메트리보다 승리합니다. 왜냐하면 깨진 결과는 이미 알려져 있기 때문입니다. 경기가 시작되지 않은 시간표가 승리합니다. 접근할 수 없는 실행 시간은 진전이 없는 진단을 이길 수 있습니다. 왜냐하면 모니터에는 새로운 실행 증거가 없기 때문입니다. 정해진 기다림은 정지 규칙에서 승리합니다. 그런 다음, 오래된 진보 시간표가 stuck 가 됩니다. 이것은 하나의 기록이 3개의 사건을 열지 못하게 합니다. 또한 모든 결정을 설명할 수 있게 해줍니다. 출력은 조건, 증거 시간표, 그리고 통과된 문턱을 지정할 수 있습니다. 포함된 임계값은 예를 들지만, 보편적인 결제값이 아닙니다. 예상된 시작 후 5분 심장 박동 없이 10분 유용한 진전이 없는 15분 페이지 조건에 대한 두 개의 연속 나쁜 샘플; 진출이 없는 티켓에 대해 3번 연속적으로 나쁜 샘플을 가져왔습니다. 2분짜리 수정과 1시간 동안 논문을 읽는 연구원들은 그 숫자를 공유해서는 안 됩니다. 중요한 부분은 특정한 기간이 아니라 순서와 끈질기 있는 요구입니다. 에스컬레이션 전에 끈기를 더하십시오 프로메테우스 알림 규칙은 두 가지 관련 메커니즘을 제공합니다. 문서화 된 for 조항은 새로운 활성 상태를 일정 기간 동안 계속 작동할 때까지 유지합니다. keep firing for 는 마지막 일치 샘플 이후 경고를 개방하여 실종된 데이터로 인한 플래핑 또는 잘못된 해상도를 줄일 수 있습니다. Prometheus를 사용하지 않더라도 같은 생각들이 적용됩니다. 침묵에 대해 호소하기 전에 반복적인 관찰을 요구합니다. 첫 번째 침해 시간을 최신 샘플과 별도로 기록합니다. 그룹 알림은 작업 흐름과 깨진 약속에 따라, 다시 시도하거나 추적하지 않습니다. 새로운 증거가 회복을 확인하기 전까지 사건을 공개해야 합니다. 심각성이나 영향을 받은 결과 변화가 있을 때만 다시 페이지를 만들 수 있습니다. 모든 조건들을 같은 지연에 뒤집지 마십시오. 필요한 유물이 결정적 검사를 통과하지 않는 완성 주장은 한 번의 놓친 심장 박동보다 더 강력한 증거입니다. 반대로, 한 문턱 근처의 LLM 품질 점수는 더 약한 증거이며, 페이저보다는 리뷰 큐에 속할 수 있습니다. 조용한 라우팅 테이블은 긴 메트릭 인벤토리보다 더 유용합니다. 관찰된 상태 기본 노선 명확한 상태 완료 청구; 검증 후 필요한 결과 확인 실패 사용자 관련 있는 페이지, 그렇지 않은 경우 티켓 결과 표본이 통과되거나 주장이 수정됩니다. 예상되는 경기가 grace와 두 번의 체크 후 시작되지 않았습니다. 실행이 현재 의무가 있는 페이지 실행 시작 또는 스케줄러 기대가 명시적으로 변경됩니다 두 번의 검사를 통해 심장 박동이 멈췄습니다. 활발한 작업에 영향을 미치는 페이지 신선한 심장 박동과 새로운 건강 샘플 명명 승인, 비밀 또는 돌이킬 수 없는 결정은 미뤄집니다. 책임 있는 소유자에게 알리거나 티켓을 만들 의존성이 제공되거나 작업이 취소됩니다 활동은 계속되고 있지만 세 번의 검사에서 작업 증거는 변하지 않았습니다. 조사 티켓 진전 증거 변경 또는 정당한 대기 기록 한 개의 노후 또는 실종된 표본 인간 알림은 없습니다 다음 표본에서 재평가 도구 를 선택 하기 전 에 가장자리 케이스 를 작업 하십시오 알림 정책 오류는 보통 경계에 나타나고, 행복한 경로에서 나타나지 않습니다. 확인 지연: 출판사는 CDN 또는 검색 지수 업데이트 전에 완료 시초를 보고할 수 있습니다. 그 결과의 시기를 기록하고 다시 확인해 보세요. 임의의 수면을 증거로 간주하지 마십시오. 두 번째 검사는 실제 목적지를 검사해야합니다. Human awaits: 는 의존성과 소유자를 모두 저장합니다. 책임자가 없는 waitingOn: "approval" 는 단지 정장을 숨기고 있다. 기다림은 에이전트에게 건강하게 유지될 수 있지만 여전히 늦은 인간 작업을 만들어낼 수 있습니다. 긴 침묵 작업: 연구 또는 컴파일 단계는 자주 도구 이벤트를 하지 않으면 건강할 수 있습니다. 실행시간이 안전하게 방출할 수 있는 진전 증거를 선택하세요: 완료된 셔드, 변경된 콘텐츠 해시, 새로운 테스트 단계 또는 명시적으로 제한된 단계의 제한 기간. Retries: 재시험은 활동과 비용을 증가시키는 동시에 공급자의 실패를 숨길 수 있습니다. 같은 실행에 묶어서 진단 컨텍스트로 기록 시도를 계산합니다. 재시험은 유용한 진전을 가져오지 않는 한 첫 번째 위반 시간을 다시 설정해서는 안 됩니다. 알려지지 않은 신호: 실종된 텔레메트리는 녹색이 아닙니다. 사용가능하지 않은 것으로 보고하고 모니터가 연결되지 않은 상태에서 막혀있는 것을 구별할 수 없을 때 자동 복구를 피하십시오. 불확실한 진단은 검사를 요구해야 하고 파괴적인 수정을 하지 말아야 합니다. Recovery: 가 재발전 명령이 0으로 돌아왔기 때문에 사건을 종료하는 것은 잘못된 성공 문제를 반복합니다. 사건의 시작을 위한 동일한 결과 또는 진전 예측을 사용하십시오. 회복은 새로운 증거가 작업이 진행되고 약속된 결과물이 존재한다는 것을 보여주는 경우에만 완성됩니다. 이 실험은 무엇을 증명하고 이 장치는 하나의 좁은 논문을 거짓시킬 수 있게 해줍니다. 문서화된 우선순위와 문턱으로 제공된 8개의 케이스는 정확히 세 페이지, 두 개의 티켓, 그리고 세 개의 억제된 알림을 생성합니다. 시간표 또는 침해 수를 편집하여 경로 변경을 볼 수 있습니다. 그 기준이 당신의 업무량에 맞는지 증명하지는 않습니다. 이 사례들은 합성적이고, 평가자는 이미 정상화된 기록을 읽습니다. 실제 통합은 시계 왜곡, 복제 배달, 늦은 샘플, 스케줄러 정책, 시간 구역 및 수집기 중단을 처리해야합니다. 그들은 또한 명령이나 도구 호출에서 얻은 모든 것에 대한 개인 정보 보호 경계가 필요합니다. 이 정책은 추적, 평가 또는 실행 시간 로그를 대체하지 않습니다. 그 신호는 결과가 실패한 이유를 설명합니다. 또한 작업에 대한 특정 표본이 모든 품질 문제를 포착한다는 것을 보장하지 않습니다. 일부 결과는 파일 해시 또는 테스트 결과와 같은 결정적인 결과입니다. 다른 사람들은 표본, 검토 또는 명백한 불확실성 수준으로 평가 프로세스가 필요합니다. 가장 중요한 것은 정책이 자율적인 회복을 허용하지 않아야 한다는 것입니다. 모니터는 제한된 재시험을 추천하거나 수리 단계를 준비할 수 있지만 돌이킬 수 없는 행동, 비밀 접근, 불확실한 진단은 여전히 인간의 권위를 필요로 합니다. 장비를 수용 테스트로 변환 실제 경보 목적지를 연결하기 전에 합성 케이스를 하나의 작업 흐름에서 최근 사례로 교체하십시오. 1. 예상되는 시작과 허용 가능한 지연을 정의하십시오. 2. 모형 반응 이외에 생성된 심장 박동 한 번을 선택하십시오. 3. 유익 한 발전 을 보여 주는 가장 작은 증거 를 명명 하십시오. 4. 정당한 대기 이유와 소유자를 기록하십시오. 5. 실제 목적지에서 결과 예측을 실행하십시오. 6. 건강한, 기다리는, 갇힌, 놓친, 도달할 수 없는, 거짓 성공 사례를 다시 재생합니다. 7. 잘못된 페이지와 놓친 사건들을 검토할 수 있을 만큼 긴 침묵으로 정책을 실행하세요. 그 검토 후에야 페이지 라이트가 활성화 될 수 있습니다. 원료 증거, 결정, 임계판 및 해상도 검사를 검사할 수 있도록 하여 운영자가 모니터가 왜 말을 했는지 이해할 수 있습니다. Sidewisp는 건강의 첫 번째 경계를 중심으로 설계되었습니다. 탐지, 설명, 필요한 경우 권위를 요청하고 결과를 확인합니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 생산 모니터링 어댑터 및 복구 엔진은 일반적으로 오늘날 배송되지 않습니다. 이 접근 방식이 에이전트를 어떻게 운영하는지 일치한다면, 개인 미리보기에 참여를 사용하여 실행 시간 및 실패 사례를 설명할 수 있습니다.