Azure LLM 관찰 가능성: 샘플링 된 녹색 격차를 감사

Azure LLM 관측 가능성은 런이 완료되었는가보다 더 많은 답을 제시해야 합니다? 건전한 판단을 받아들이기 전에 동일한 실행에 대한 네 가지 조건을 증명하십시오: 텔레메트리는 질문 가능하고 신선하고, 실행 상태가 이해되고, 필요한 모든 품질 검사는 실제로 실행을 다루고, 약속된 결과는 목적지에 있습니다. 마이크로소프트 포드리 측은 그 증거의 유용한 자료를 제공합니다. 그것은 Azure Monitor 애플리케이션 인사이트에 서버 측 추적을 배치하고, 에이전트 모니터링 대시보드에 운영 매트릭을 표시하고, 샘플 생산 응답에 대한 평가를 실행할 수 있습니다. 그 조각들은 교환이 불가능합니다. 검사가 경주를 건너뛰는 동안 흔적이 신선할 수 있습니다. 평가자는 파일, 티켓, 배포 또는 메시지가 목적지에 도달하지 않은 상태에서 통과 할 수 있습니다. 완료된 실행은 또한 애플리케이션이 잘못 모델링한 합법적인 인간 결정을 기다리고 있을 수 있습니다. 따라서 실질적인 결함이 복합 점수가 아닌 포괄 감사입니다. 사용가능하지 않은 증거를 사용가능하지 않게 하고, 샘플링을 성공보다는 포괄적인 것으로 간주하고, 작업량에 대한 결과 수신이 최종 격차를 해소하도록 한다. 발광소 표면을 별도의 증거로 읽으십시오 마이크로소프트의 관찰 가능성 개요는 세 가지 기능을 분리합니다. Tracing 는 모델 호출, 도구 사용, 지연 및 관련 기간을 포함하여 실행 경로를 기록합니다. Monitoring 는 토큰, 지연시간, 오류율 및 실행 성공과 같은 운영 측정 사항을 요약합니다. E평가 는 내장된 또는 맞춤형 평가기를 사용하여 선택된 품질 또는 안전 성질을 측정합니다. 사건의 경우 분리하는 것이 중요합니다. 성공한 기간은 기기 운영이 터미널 상태에 도달했다는 것을 증명한다. 그것은 현재 다시보드에서 모든 관련 범위를 볼 수 있는지, 평가자가 이 응답을 조사했는지, 또는 요청된 부작용이 발생했는지 확인하지 않습니다. 발광기 추적 설정 안내서는 두 가지 유용한 경계를 명시합니다. 먼저, 프로젝트가 애플리케이션 인사이트에 연결된 후 호스팅된 에이전트 서버 측 추적이 시작됩니다. 둘째, 새로운 흔적이 나타나는데 몇 분 걸릴 수 있습니다. 예상되는 흔적이 없는 경우, 책임있는 판결은 실패하거나 건강하지 않습니다. 증거가 없습니다 연결, 허가, 섭취 지연, 샘플링, 기기 질문 접근은 또 다른 독립적인 조건입니다. Foundry의 모니터링 문서에는 애플리케이션 인사이트와 관련 로그 분석 작업 공간에 적합한 Azure 역할 기반 접근이 필요합니다. 프로젝트를 열 수 있지만 보호된 텔레메트리를 질색할 수 없는 사업자는 건강한 에이전트의 증거가 아닌 가시성 문제가 있습니다. 같은 경고는 모니터 탭에도 적용됩니다. 에이전트 모니터링 대시보드 가이드는 실행 성공률, 토큰, 지연 및 평가 결과를 설명합니다. 또한 샘플링 응답에 대한 지속적인 평가가 실행되고 있다고 말합니다. 샘플링은 유효한 비용 및 처리량 결정이지만, 그것은 한 가지 의문을 제기합니다. 이 특정 실행은 당신이 결정하는 결정에 필요한 모든 평가를 받았습니까? 그 질문에 합계 점수를 기준으로 대답하지 마세요. 한 번씩 기록하세요. 한 번만 기록해봐 작은 음반으로 시작하세요. 허가를 받은 사업자가 근본적인 증거를 찾을 수 있도록 식별자나 해시를 보관하고; 새로운 건강 상점에 명령어, 도구 논쟁, 비밀 또는 모델 출력본을 복사하지 마십시오. 각 분야는 한 가지 결정에 답합니다. 1. 운전자는 현재 텔레메트리를 검색할 수 있습니까? 애플리케이션 인사이트 연결 및 실제 쿼리 권한 테스트. 포털 페이지 로딩은 테스트가 아닙니다. 2. 이 작업 흐름에 대한 흔적이 충분히 신선한가요? 실행 기간과 관찰된 섭취 지연을 기준으로 예산을 설정하십시오. 어제의 녹색 랜드를 조용히 재사용하지 마십시오. 3. 에이전트가 뭐하는 거야? working , waiting , succeeded , 그리고 실패 상태 이름 붙여진 승인 또는 외부 의존은 대기하는 것이 아니라 정지입니다. 4. 필요한 평가가 이 경주를 다루었나요? 평가자 결과로부터 별도로 저장할 수 있습니다. 5. 약속된 결과가 발생했습니까? 결과의 소유자 목적지를 검색하세요. 결과 검사는 작업과 일치해야 합니다. 생성된 보고에 대해, 예상된 객체가 존재하고 그 해시 또는 스키마가 올바른지 확인합니다. 티켓 업데이트를 위해 티켓을 읽어보고 예정된 전환 상태를 확인하세요. API 돌연변이를 위해서는 클라이언트의 성공적인 HTTP 교환을 신뢰하기보다는 대상 리소스를 문의하십시오. 코드 작업에 필요한 것은 예상된 디프리 + 관련 빌드 또는 테스트 결과입니다. 이 기록은 의도적으로 보편적인 성공 필드를 피합니다. 너무 이른 증거와 달리 결합하는 것은 알려지지 않은 커버리가 어떻게 녹색으로 변하는지입니다. 와이어링 알림 전에 결정을 다시 재생하십시오 이 문서에 사용되는 장치에는 8개의 합성 실행이 포함되어 있으며 Azure 인증서, 명령어 또는 생산 텔레메트리는 없습니다. 그 분류자는 실행 상태 이전에 가시성을 평가하고, 실행 상태 전에 품질을 평가하고, 결과 전에 품질을 평가합니다. node audit azure observability.mjs 를 고정된 장치에 맞게 실행하면 8개의 일치와 일치하지 않습니다. 사건 아저루 측 증거 목적지 증거 판결 연결이 존재하고, 요청이 거부되었습니다 현재 텔레메트리를 검사할 수 없습니다 영수증 선물 EVIDENCE UNAVAILABLE 오래된 흔적, 다른 모든 필드 녹색 낡은 영수증 선물 EVIDENCE STALE 신선한 흔적, 활발한 실행 현재 활동 아직 예상되지 않은 WORKING 새 흔적, 이름의 승인을 기다립니다 현재 대기 아직 예상되지 않은 WAITING 실행 성공, 필요한 평가 건너뛰어 품질보호가 없는 경우 영수증 선물 QUALITY UNKNOWN 실행 성공, 샘플 평가 실패 품질 실패 영수증 선물 QUALITY FAILED 실행 및 평가 성공 기 에서 완성 영수증 없는 경우 FALSE COMPLETE 실행 및 평가 성공 기 에서 완성 영수증 선물 HEALTHY 두 가지 결과는 쉽게 잘못 처리 할 수 있습니다. QUALITY UNKNOWN 는 실패한 평가자가 아닙니다. 평가가 이 결정에 필요한 경로를 다루지 않았다고 합니다. 그 상태를 결정적인 대체로, 경우에 따라 한 번 평가 또는 인간 검토로 연결할 수 있습니다. 이 런의 결과로 집계된 대시보드 점수를 다시 표시할 수 없습니다. WAITING 역시 실패가 아닙니다. 흔적이 신선하고 합법적인 소유자와 의존성을 식별하는 경우 유용한 행동은 그 소유자에게 기다리는 것을 표면에 내세우는 것입니다. 에이전트를 다시 시작하면 의존성을 해결하지 않고 작업을 복제하거나 맥락을 폐기할 수 있습니다. 색이 아닌 실패 상태에 대한 알림을 설정하십시오. 알림은 깨진 증거의 이름을 붙여야 합니다. Telemetry unavailable : Foundry to Application Insights 연결, RBAC 쿼리, 보호 테이블 액세스, 기기 및 최근 트래픽을 확인합니다. E 증거 stale : 마지막 관찰 된 추적 시간을 작업 흐름의 신선함 예산과 알려진 섭취 지연과 비교하십시오. Q질은 알려지지 않았습니다 : 구성된 샘플 비율을 검사하고 이 결정에 대해 실제로 평가자가 필요한지 확인합니다. Quality failed : 조사 전에 평가자 이름, 버전, 임계 및 테스트 실행 식별자를 보존하십시오. 잘못된 완료 : 부작용 경계에서 자동으로 재시험을 중지하고 안정적인 작업 식별자에 의해 목적지를 조정합니다. 이것은 실종된 표본이나 오랜 기간에 대한 알림보다 조용한 동작을 생성합니다. 마이크로소프트의 래시보드 가이드라인은 낮은 실행 성공률이나 높은 지연률을 살펴보는 등 광범위한 조사 문턱을 제공합니다. 이 함대 신호는 집단을 찾는 데 유용합니다. 연간 커버리지 기록은 특정 작품에 무엇이 잘못되었는지 결정합니다. 신선함은 주인도 필요합니다. 애플리케이션 인사이트 보유는 증거가 얼마나 오랫동안 질문 가능한지 제어하고; 섭취 및 질문 권한은 현재 가시인지 여부를 제어합니다. 마지막 성공적인 쿼리 시간과 최신 일치된 추적 시간을 별도로 저장합니다. 하우가 가득한 데시보드은 그 어느 것도 증명하지 않습니다. 미리보기 및 프라이버시 경계를 볼 수 있도록 하십시오 현재 발광소 문서는 에이전트 추적 및 모니터링의 일부를 미리 표시합니다. 에이전트 추적 개요는 트레이싱이 일반적으로 프롬프트 및 호스팅 에이전트에 사용 가능하다고 말합니다. 작업 흐름 및 외부 에이전트 트레이싱이 미리 보기에 있습니다. 모니터링 가이드는 또한 디시보드 기능들을 미리보기로 표시합니다. 런북에 에이전트 유형과 기능 상태를 기록하고, 현재 계약에 대한 확인 없이 호스트 에이전트 경로에서 외부 작업 흐름으로 보증을 전송하지 마십시오. 추적은 명령어, 출력, 도구 논쟁 및 도구 결과를 캡처 할 수 있습니다. 마이크로소프트는 텔레메트리까지 도달하기 전에 민감한 콘텐츠를 편집하고 생산 액세스 및 저장 통제를 적용하는 것을 권고합니다. 건강 계층은 가능한 한 내용 없는 식별자를 사용하여 증거를 참조해야 하며, 민감한 유용한 부하의 두 번째 저장소를 만들지 않아야 한다. 판결을 제외하고는 마지막 한 가지 제한이 있습니다. 이 분류자는 증거의 우선성을 테스트합니다. 그것은 Azure 구독에 연락하거나 서비스 레벨의 취득 목표를 추론하거나 애플리케이션의 성공이 무엇을 의미하는지 결정하지 않습니다. 목적지 인수서는 의도적으로 작업량에 대한 것입니다. 그 경계는 중요한 부분입니다. Azure LLM 관측 가능성은 실행, 성능, 샘플 품질 및 디버깅 증거를 노출시킬 수 있습니다. 운영 건강 또한 신선함, 커버링, 올바른 대기 상태, 그리고 예상된 결과의 증거가 필요합니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 그 방향은 기존의 에이전트 런타임의 증거를 명확한 건강 관점으로 전환하는 것이며 불확실성과 인적 승인 경계를 유지한다는 것입니다. 마이크로소프트 포드리 모니터링은 여기에 Sidewisp 통합으로 제공되지 않습니다.