LLM 모니터링: 지연, 오류 및 토큰을 넘어 측정해야 할 사항

LLM 모니터링은 모델 호출 상태: 지연, 오류, 요청량, 토큰 및 출력 품질로 시작되어야 합니다. 이것은 채팅 기능, 검색 파이프라인 또는 API 팩의 합리적인 기본입니다. 같은 애플리케이션이 계획을 세울 수 있게 되면, 도구를 호출하고, 승인을 기다리고, 나중에 재개하거나 작업을 완료했다고 선언하면, 운영 건강에 대한 두 번째 레저를 추가합니다. 두 개의 서적은 서로 다른 질문에 답합니다. 첫 번째 질문은, 모델 서비스는 정상적으로 행동했는가? 두 번째 질문은, 에이전트가 유용한 발전을 해 기대되는 결과를 얻었는가? run id 로 가입하십시오; 하나의 녹색 지연 차트를 작업이 건강하다는 주장으로 전환하지 마십시오. 기본 LLM 모니터링 계층을 시작하세요 유용한 첫 번째 패시보드는 수십 개의 패널이 필요하지 않습니다. 공급자 실패, 애플리케이션 실패, 비용 유동 및 출력 품질 유동을 분리하는 데 충분한 증거가 필요합니다. 신호 질문과 답 실용적인 첫 번째 경고 증명할 수 없는 것은 요청 오류율 모형 전화가 실패하고 있나요? 공급자 및 모델에 따라 분할된 창 상의 요금 성공한 호출이 업무를 진행했는지 p50/p95 지연시간 반응 시간이 감소했나요? 유사 운용과 모델을 비교 느린 실행이 결국 전달되는지 입력/출력 토큰 상황이나 세대가 성장했나요? 작업에 대한 기본 기준에서 변경 추가 토큰이 유용한지 통출력 짐이 바뀌는 거야? 분당 요청 + 동시 계획된 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경 품질 점수 샘플 출력은 라브릭을 충족했습니까? 버전 평가자+인간의 캘리브레이션 파일, 티켓 또는 배포가 존재하는지 여부는 흔적 보급 운영자가 실행을 재구성할 수 있을까요? 실종 또는 불완전한 흔적 의도된 결과가 존재하는지 여부는 이 기본선은 현재 검색 의도에 일치합니다. 랭푸즈는 지연성, 출력 및 오류율을 모니터링하고, 실행 경로와 출력 품질 평가의 흔적을 가지고 있습니다. 스플렁크와 다이나트레이스는 리소스, 안전, 비용, 피드백 및 애플리케이션 신호로 세트를 확장합니다. 이러한 것은 LLM 응용 프로그램의 유용한 견해입니다. 에이전트 계층이 존재하기 때문에 폐기되어야 할 것이 없습니다. OpenTelemetry의 GenAI 의미 협약은 기기 자체에서 분리를 가시하게 한다. 개발 사양은 gen ai.client.token.usage 와 gen ai.client.operation.duration 를 정의하고, gen ai.invoke agent.duration , 추론 호출 수, 도구 호출 수와 같은 작업 흐름 및 에이전트 도구가 분리됩니다. 개발 여기서 중요한 것은: 당신이 구현하는 버전을 꽂고 이름의 변경을 기대하는 것입니다. 청정 구현은 run id , operation , provider , model 및 타임 스탬프로 키가 된 모델 호출 리더입니다. 서비스 레벨 알림으로 집합하지만 개별 실행으로 돌아가는 경로를 유지하십시오. 실행 식별자가 없는 토큰 스파이크는 청구서입니다. 정지된 실행에 첨부된 토큰 스파이크는 사고 단서가 됩니다. 애플리케이션이 에이전트가 될 때 작업 건강 리저를 추가합니다 LLM 지원된 기능은 시간이 지남에 따라 작업을 소유할 때 운영 경계를 넘는다. 데이터베이스에 전화를 걸거나 보고서를 작성하거나 휴가를 요청하거나 누군가를 기다려야 하거나 일정에 맞춰 깨어날 수도 있습니다. 그 시점에서 성공적인 모델 반응은 중간 사건일 뿐이다. OpenAI 에이전트 SDK는 이러한 이벤트가 얼마나 풍요로워질 수 있는지 보여줍니다. 내장된 추적 기록은 세대, 기능 도구 통화, 전달, 경비 및 에이전트 실행입니다. 그것은 귀중한 디버깅 증거입니다. 같은 문서에서는 또한 생성 및 기능 범위가 민감한 입력 및 출력을 포함할 수 있다는 점도 지적하고 있으며, 이는 콘텐츠 캡처가 모니터링 전제 조건이 아닌 명시적인 선택이 될 수 있는 이유입니다. 작업 건강 리더는 흔적보다 작아질 수 있습니다. 각 경주에서 기록: expected outcome : report exists and parses 와 같은 표기판이, 문장이 아닌 사업을 완료; outcome verified : true , false , 또는 unavailable , 검증기 버전; progress delta : 지정된 창에서 작업에 대한 계산 또는 소화 변경 waiting on : human approval 또는 null 와 같은 이름의 의존성; last heartbeat at 및 last progress at , 활동과 진전이 다른 시계이기 때문에; declared complete : 실행시간에 대한 보고 collector freshness : 이러한 사실이 마지막으로 관찰되었을 때. 이 리저는 의도적으로 모든 프롬프트, 완료 또는 기간을 반복하지 않습니다. 그것은 실행이 작동하는지, 기다리는 것인지, 갇혀 있는지, 도달할 수 없는지, 완료되었는지 결정하는 데 필요한 최소한의 증거를 저장합니다. 원료 흔적은 정책이 허락할 때 조사에 사용할 수 있습니다. 중요한 모델링 선택은 삼국 증거입니다. 수집자가 배달되는 것을 확인할 수 없다면 outcome verified: "unavailable" 를 기록하십시오. 실종된 증거를 true 로 변환하지 말고, 신호가 없는 것만으로도 알려지지 않은 실행이 실패했다고 말하지 마십시오. 6번으로 격차를 재현하라 이 장비에는 6개의 합성 라인이 포함되어 있습니다. LLM 리저 알림은 요청 오류가 적어도 20%이있을 때, p95 지연이 5,000 ms를 초과하거나 토큰 사용이 20,000을 초과 할 때 알립니다. 작업 건강 리더는 명시적인 대기, 선언 된 완료와 결정적인 결과와 진보의 신선성을 확인합니다. Node.js 20 또는 최신 버전으로 감사를 실행하세요: 정확한 결과는 다음과 같습니다. 의견 충돌은 그 결과입니다. 이 두 책 중 어느 쪽의 결함이 아닙니다. 공급자의 오류 실행은 모델 서비스 조사가 필요하지만 에이전트가 여전히 진전을 하고 있습니다. 느린 실행은 검증된 결과로 완료되었기 때문에 실종된 작업 사고가 아닌 성능 문제입니다. LLM 모니터에서는 승인 대기 및 잘못된 성공 실행이 정상적으로 보입니다. 왜냐하면 그들의 통화가 빠르고 저렴하고 성공적이기 때문입니다. 단지 작업 계약만이 관심을 필요로 하는 것을 드러냅니다. 숫자는 반사 예제이고 기준이 아닙니다. 여섯 개의 합성 기록은 보편적인 경고 문턱을 설정할 수 없습니다. 정해진 시간으로 정점을 교체하고 실제 업무에 관련된 증거로 progress delta 를 교체하세요. 작업 계약서를 알림으로 전환 고부가가치 작업 흐름으로 시작하세요. 또 다른 래시보드를 추가하기 전에 완료 전제를 작성하십시오. 연구 작업에는 Markdown 파일, 적어도 두 가지 접근 가능한 소스 및 스키마 유효한 증거 리더가 필요할 수 있습니다. 코딩 작업에는 클린 패치와 이름의 테스트 명령이 필요할 수도 있습니다. 지원 에이전트는 제작된 티켓이나 기록된 승강이 필요할 수도 있습니다. 그 다음, 의미를 보존하는 순서로 신호를 평가합니다. 1. 달리는 시간 또는 수집가가 구석이 되면 달리는 시간에는 도달할 수 없거나 불확실하다는 것을 표시하십시오. 2. waiting on 이 명시적이라면, 실행을 다시 시작하기 보다는 의존성을 라우팅하십시오. 3. 실행시간이 완료된다고 선언되면, 결과 예측을 평가하십시오. 4. 실행이 활성화되어 있지만 progress delta 는 창을 넘어서 0으로 남아 있다면, 그 표시가 붙어있는 것을 표시하십시오. 5. 만약 그 어떤 것도 적용되지 않고 유용한 발전이 신선하다면, 그것을 작동하도록 하세요. 이 명령은 3번의 잡음적인 개입을 방지합니다. 합법적인 승인 기다림은 정지하지 않습니다. 0에서 출발한 명령은 자동으로 완료된 작업이 아닙니다. 반복적인 도구로 바쁜 흔적이란 해당 유물이 변하지 않으면 진전이 아닙니다. 다음 안전 조치에 대한 경고, 증상뿐만 아니라. 제공자의 오류 알림은 응용 프로그램 소유자에게 모델, 운영, 오류 클래스 및 추적 링크를 제공합니다. 승인을 기다리는 것은 정확한 범위와 함께 결정할 수 있는 사람에게 달려 있습니다. 실종 결과 알림은 실패한 표본을 가리킨다. 재실험 루프는 제한된 일시 중지 또는 조사를 권장합니다. 돌이킬 수 없는 수정을 허용해서는 안 됩니다. 모든 것을 수집하지 않고 연결을 유용하게 유지하십시오. 두 리저에서 하나의 불투명한 run id 를 사용하십시오. 해당 식별자에 고객 텍스트, 비밀, 절대 경로, 또는 도구의 유용한 부하를 넣지 마십시오. 유용한 상관관계 기록에는 다음과 같은 내용이 포함될 수 있습니다. 데이터 리스크가 다르다면 저장 및 액세스 규칙을 다르게 유지하십시오. 집계된 지연시간과 토큰 히스토그램은 프롬프트 베어링 스랜보다 더 긴 저장 시간이 필요할 수 있습니다. 결과 증거는 종종 유물 자체보다는 소화, 수, 상태 코드 또는 스케마 결과일 수 있습니다. 운용자가 흔적에 구멍을 뚫을 때, 그 신선함과 샘플링 경계를 보여주기 때문에 부재는 증거로 잘못 생각되지 않습니다. 또한 자동화된 평가에도 한계가 있습니다. 결정적 검사는 파일, HTTP 상태, 데이터베이스 라인, 테스트 및 구조화된 필드에서 바람직합니다. 의도된 결과는 질적일 경우, 버전된 평가자가 도움을 줄 수 있지만, 그 점수는 불확실성으로 증거가 아닌 근거적 진실입니다. 인간 검토에 맞게 조정하고 unavailable 상태를 유지하십시오. Sidewisp가 들어맞는 곳 Sidewisp의 제품 방향은 두 번째 리저입니다. 기존의 에이전트 실행 시간, 증거, 신선함, 발행 우선순위 및 명시적인 승인 경계를 가진 건강 관점입니다. 그것은 실행 시간, 모델 게이트웨이, 또는 원료 추적 시스템을 대체하는 것이 아닙니다. 그게 방향이고, 배가 된 감시 주장이 아닙니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 공개 사이트 및 기사 시스템은 실시간으로 제공되지만 생산 에이전트 건강 수집, 런타임 어댑터 및 복구 실행은 일반적으로 배송되지 않습니다. 이 모델 호출과 결과 경계가 당신이 해결해야 하는 운영 문제와 일치하는 경우 개인 미리보기에 가입하십시오. 주요 출처 OpenTelemetry GenAI 메트릭스 의미 협약 클라이언트, 워크플로우, 에이전트 및 툴 운영에 대한 개발 상태 메트릭 이름. OpenAI 에이전트 SDK 추적 가이드 추적 된 이벤트 유형, 수출 행동 및 민감한 데이터 제어. Langfuse: LLM 관측 및 모니터링은 무엇입니까? 지연시간, 처리량, 오류, 추적 및 평가에 대한 동일한 의도 벤치마크.