LLM 유출 없이 관찰 가능: 안전한 텔레메트리 계약

LLM 관측 가능성은 어떤 작업이 실행되었는지, 무엇이 실패했는지, 얼마나 오래 걸렸는지, 다시 시도했는지, 그리고 의도된 결과가 존재하는지 설명해야 합니다 . 이 질문에 답하기 위해 모든 명령어, 도구 논쟁, 또는 도구 결과를 텔레메트리 백엔드로 복사할 필요가 없습니다. 안전한 생산 기본은 내용으로 최소화 된 봉투입니다. 상관관계 ID, 운영 및 도구 이름, 낮은 카드널리티 오류 클래스, 시간, 시도 번호, 입력 키 이름 , 결과 모양 및 독립적인 결과 판결. 특정 조사에 대한 메시지 또는 도구 콘텐츠를 캡처하고, 명시적인 권한, 짧은 저장 창 및 데이터와 일치하는 저장 제어 기능을 가지고 있습니다. 이 가이드는 기본값을 구축하고 의도적으로 민감한 세 가지 요인에 대해 테스트합니다. 사용용 화물을 추적하지 말고 작전을 추적하라 LLM 관측 가능성의 광범위한 정의에는 흔적, 측정기, 로그, 평가, 모델 행동 및 응용 결과 등이 포함됩니다. 에이전트 운영자에게 유용한 질문은 더 좁습니다. 증거는 느린 모델 호출, 거부 된 도구 호출, 합법적인 대기, 재시험 루프, 그리고 제공물이 나타나지 않은 동안 성공적으로 돌아온 도구를 구별 할 수 있습니까? 현재 OpenTelemetry GenAI 의미 협약는 유용한 시작 단어들을 제공합니다. 실행 도구 범위는 gen ai.operation.name 및 gen ai.tool.name 를 사용합니다; 또한 도구 호출 ID, 도구 유형 및 error.type 를 설명합니다. 같은 문서에서는 도구 호출 주장과 결과를 선택으로 표시하고 두 가지 모두 민감한 정보를 포함할 수 있다고 경고합니다. 이 컨벤션들은 개발 에 있습니다. 그래서 당신이 구현하는 버전을 고 변화를 기대합니다. 그 분단은 운영적으로 잘 작동합니다. 다음 필드는 일반적으로 내용을 재현하지 않고 첫 번째 사건 응답 질문에 대답합니다. 현장 그 답 은 무엇 입니까? 수집 규칙 trace id , run id , step id 이 사건은 어떤 실행과 단계에 속해 있습니까? 불투명한 식별자를 보관하고, 그 내용에서 추출하지 마십시오. operation , tool name , tool type 어떤 종류의 작업이 시도되었습니까? 제한된, 문서화된 이름을 사용하세요. status , error type 실패했고, 어떤 안정적인 계급에 의해? 자유형 제공자 메시지보다 timeout 또는 permission denied 를 선호합니다. duration ms , attempt 느려지 않나요? 반복되나요? 기록적인 숫자가 아니라 이야기입니다. input keys 어떤 형태의 요청이 시도되었습니까? 키 이름을 저장하고 기본값을 버립니다. result shape 도구가 아무것도 반환하지 않았습니까? 타입, 카운트, 또는 상위 레벨 키를 보관하고 값들을 버립니다. outcome check , outcome status 사용자가 예상한 결과물이 착륙했나요? 도구 완료에서 별도로 확인합니다. content captured 다른 곳에서도 그 내용들이 존재하는가? 경계를 가시하고 질문할 수 있게 해줍니다. run id 및 위의 결과 필드는 OpenTelemetry 표준 속성 아닌 응용 계약입니다. 이는 의도적으로 이루어지고 있습니다. 어휘를 추적하고 업무에 대한 건강증진은 관련하지만 다른 문제를 해결합니다. 허용 목록은 끝없는 편집 목록을 꺾습니다. 편집 코드는 질문합니다. 우리는 어떤 위험 값을 제거하는 것을 기억했는가? 허용자 는 질문합니다. 어떤 필드가 프로세스를 떠날 권리를 얻었는가? OWASP 로그닝 칩 시트는 액세스 토큰, 비밀번호, 데이터베이스 연결 문자열, 암호화 키 및 민감한 개인 데이터가 일반적으로 직접 기록되어서는 안 된다고 말합니다. 또한 파일 경로와 내부 네트워크 세부 사항은 특별한 처리가 필요할 수 있는 데이터로 호출됩니다. 에이전트 도구들은 그 목록의 모든 항목을 처리합니다. 자유형 오류 메시지는 일반적인 뒷문입니다. 이건 안전하지 않습니다. 운영적으로 유용한 버전은 더 작습니다. 여전히 집합, 경고 라우팅, 재실험 분석 및 보호된 로컬 기록과 상관관계를 지원합니다. 그것은 관측가능한 저장소를 비밀로 운반된 오류의 복사본으로 바꾸지 않습니다. 핵심 이름도 판단을 필요로 합니다. calendar id 는 그 값보다 적은 값을 나타냅니다. 그러나 customer alice hiv status 와 같은 키는 이미 내용을 포함합니다. 도구 이름 및 키 이름에 대한 승인된 스케마를 유지하십시오. 예기치 않은 이름을 other 로 거부하거나 지도하십시오. 카디널리티는 비용 문제일 뿐 아니라 데이터 제한 문제입니다. 세 가지 적대적 인 장치 에 세니티저 를 재현 하십시오 이 사진에는 3가지 가짜, 하지만 현실적인 사건들이 있습니다. 1. 가짜 이메일 및 기호를 가진 달력 검색의 성공; 2. 가짜 API 키와 개인 경로를 가진 거부된 미리보기 출판물; 3. 가짜 연결 문자열과 이메일로 작성한 데이터베이스입니다. 위생제는 비밀 패턴을 반복적으로 찾아내지 않습니다. 그것은 allowlist에서 새로운 객체를 구성합니다: 문서의 증거 묶음에서 확인된 유물을 실행하십시오. 복제된 출력은 진단을 유지합니다. 또한 구체적인 결론을 뒷받침합니다. 캘린더 도구가 완료되고 그 결과 확인이 통과되었습니다. 미리보기의 호출은 허가주의가 필요합니다. 맹목적으로 다시 시도하는 것이 아닙니다. 대기 목록은 두 번째 시도에서 종료되었습니다. 그리고 내구성 기록 확인은 실패했습니다. 따라서 반환된 명령은 성공 조건이 아닙니다. 바이트 대 바이트 차이가 통과되었습니다. 설치된 모든 카나리 베어어 토큰, API 키, 연결 문자열, 이메일 값 및 개인 경로를 별도로 검색하면 해제된 파일에서 일치되지 않았습니다. 이 시험은 CI에서 유지하기 위한 유용한 시험입니다. 모든 민감한 장치에 고유한 가짜 카나리어를 추가하고 수출국 경계를 넘으면 실패합니다. 컨텐츠 캡처는 에스컬레이션 모드 콘텐츠 없는 텔레메트리는 실제 한계를 가지고 있습니다. 그것은 왜 프롬프트가 의미적으로 잘못 이해되었는지 또는 모델 응답이 미묘한 사실상의 오류를 포함했는지 설명할 수 없습니다. 따라서 그 경계는 통제된 격화가어야 하며, 콘텐츠가 결코 유용하지 않다는 절대적인 주장이 아닙니다. OpenTelemetry의 콘텐츠 캡처 가이드라인는 명령어, 사용자 메시지 및 모델 출력이 민감하고 종종 큰 것이며 기본적으로 캡처되어서는 안 된다고 말합니다. 그것은 민감한 콘텐츠를 유지해야 할 경우 생산 옵션으로 분리된 외부 저장 장치와 별도의 액세스 제어 기능을 설명합니다. 이 모드를 활성화하기 전에 다음의 모든 것을 결정하십시오. 정확한 운행, 도구 또는 임차자의 범위; 수집을 승인하고 읽을 수 있는 사람 수출 전에 어떤 필드가 필터링되는지; 최대 기간과 보유 기간 저장 지역과 접근 통제 삭제 여부가 확인되는 방법 모드가 content captured: false 로 자동으로 돌아가는 방법 샘플링은 편집이 아닙니다. 1%의 샘플은 여전히 자격증을 포함하고 있는 단 하나의 명령어를 캡처 할 수 있습니다. 암호화는 최소화도 아닙니다. 저장된 바이트를 보호하지만 수집을 정당화하거나 허가된 과잉 노출을 방지하지는 않습니다. 허용자 목록에서 시작하여, 운영 질문의 다른 답변이 불가능할 경우에만 별도로 관리되는 형사 경로를 추가하십시오. 텔레메트리를 연결해서 결과를 결정하고 관측가능성 사건은 작전을 설명합니다. 에이전트 건강은 또 하나의 사실을 요구합니다. 의도된 작업이 이루어졌습니까? 데이터베이스 드라이버는 나중에 트랜잭션이 돌아가는 동안 성공을 반환 할 수 있습니다. 파일 작성 도구는 잘못된 경로를 작성하는 동안 0을 벗어날 수 있습니다. 메시지 API는 목적지가 어시크로노로 거부하는 동안 요청을 받아들일 수 있습니다. 따라서 텔레메트리 봉투에는 결과의 내용을 복사하지 않고 결정적 결과 검사의 이름과 상태를 포함해야 합니다. 이 결정 순서를 사용하세요: 1. O 출력 통과: 는 일시적인 재실험이 발생하더라도 운용을 종료하고, 비용 및 신뢰성 분석을 위해 재실험 신호를 유지한다. 2. Tool 실패 및 결과 실패: 경로를 안정 오류 클래스에 의해. 환전 가능하고 승인된 한계 내에서만 다시 시도한다. 3. Tool는 성공했고 결과도 실패했습니다: 는 잘못된 성공을 분류하고 도구와 검증자 사이의 계약을 조사합니다. 4. O 출력 실행되지 않았습니다: 작업이 완료된다고 하지 않습니다. 체크를 계획하거나 수행하십시오. 5. E 증거가 부족하거나 모순: 는 불확실한 상태를 표시하고 적극적인 개입 전에 요청합니다. 이것은 활동과 유용한 진행과 명령 완료와 사용자의 결과를 분리합니다. 또한 복구가 더 안전해집니다. 사업자는 한 가지 제한된 조치를 준비하고, 그 다음 결과 검사가 통과된 후에만 문제를 제거할 수 있습니다. 생산 결제 대부분의 LLM 및 에이전트 작업 부하에 대해, 작은 문서화된 텔레메트리 허용 목록으로 시작하십시오. 상관관계, 동작, 안정적인 오류, 시간, 시도, 모양 및 결과 필드를 유지하십시오. 기본으로 콘텐츠를 끄세요. 수출자를 심은 카나리아로 시험해보세요. 일시적인 콘텐츠 캡처를 별도로 승인된 사건 절차로 취급한다. 그 기본은 모든 의학적 질문에 답할 수 없습니다. 일상적인 건강 질문에 답할 수 있습니다. 요청, 자격증, 고객 기록 및 도구 결과의 그림자 데이터베이스를 조용히 만들지 않고요. Sidewisp의 제품 방향은 가용성, 실행, 메모리, 도구, 결과 및 비용 증거를 명확한 건강 관점으로 전환하는 동시에 인간의 권위를 보존하고 필요한 것만 수집하는 것입니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 공개 사이트와 기사는 실시간으로 제공되며, 생산 모니터링 어댑터 및 자동 복구 장치는 일반적으로 배송되지 않습니다. 만약 이 증거 경계가 당신이 에이전트를 어떻게 운영하고 싶은지 일치한다면, 당신은 개인 미리보기 대기 목록에 가입할 수 있습니다.