LLM Observabilidade sem vazamento imediato: um contrato de telemetria seguro

A observabilidade do LLM deve explicar para o qual operação foi executada, o que falhou, quanto tempo levou, se foi repetida e se o resultado pretendido existe . Não é necessário copiar todos os ensaios, argumentos ou resultados de ferramentas em um backend de telemetria para responder a essas perguntas. Um padrão de produção seguro é um envelope minimizado por conteúdo: IDs de correlação, nomes de operação e ferramentas, classes de erro de baixa cardinalidade, tempo, número de tentativa, entrada nome chave , forma de resultado e um veredicto de resultado independente. Capturar o conteúdo da mensagem ou da ferramenta apenas para uma investigação específica, com autoridade explícita, uma janela de retenção curta e controles de armazenamento correspondentes aos dados. Este guia constrói esse padrão e testa o contra três eventos deliberadamente sensíveis de agente. Rastrear a operação, não a carga útil privada A ampla definição da observabilidade LLM inclui vestígios, métricas, registros, avaliações, comportamento de modelo e resultados de aplicação. Para um operador de agente, a pergunta útil é mais estreita: a evidência pode distinguir uma chamada de modelo lenta, uma chamada de ferramenta negada, uma espera legítima, um loop de retomada e uma ferramenta que retornou com sucesso enquanto o entregável nunca apareceu? O OpenTelemetry Convenções semânticas GenAI atual oferece um vocabulário inicial útil. A extensão da ferramenta de execução usa gen ai.operation.name e gen ai.tool.name ; também descreve um ID de chamada de ferramenta, tipo de ferramenta e error.type . O mesmo documento marca os argumentos e resultados da chamada de ferramenta como opt in e adverte que ambos podem conter informações confidenciais. Estas convenções estão em Development , por isso fixa a versão que implementas e espera mudanças. Essa divisão é operacionalmente sólida. Os seguintes campos normalmente respondem às primeiras perguntas de resposta a incidentes sem reproduzir o conteúdo: Campo O que ele responde Regra de cobrança trace id , run id , step id A que execução e a que etapa pertence este evento? Mantenha identificadores opacos; não os derive do conteúdo. operation , tool name , tool type Que tipo de trabalho foi tentado? Use nomes limitados e documentados. status , error type Falhou, e por que classe estável? Preferir timeout ou permission denied a uma mensagem do fornecedor de formulário livre. duration ms , attempt É lento ou repetitivo? Números registados, não uma narrativa. input keys Que forma de pedido foi tentada? Guarde nomes de chaves; descartar valores por padrão. result shape A ferramenta não devolveu nada, uma matriz ou um objeto? Mantenha as teclas de tipo, contagem ou nível superior; descartar os valores. outcome check , outcome status O resultado esperado do usuário aterrou? Verificar separadamente da conclusão da ferramenta. content captured O conteúdo está presente em outros lugares? Torne a fronteira visível e consultavel. O run id e os campos de resultado acima são um contrato de aplicação, não atributos padrão OpenTelemetry. Isso é deliberado: rastrear o vocabulário e as evidências de saúde específicas da tarefa resolvem problemas relacionados, mas diferentes. Uma lista de permisos supera uma lista de edição interminável O código de redacção pergunta: Quais valores perigosos nos lembramos de remover? Um autor de autorização pergunta: Quais campos ganharam o direito de deixar o processo? Para a telemetria de produção de rotina, a segunda pergunta tem uma superfície de falha menor. O OWASP Logging Cheat Sheet diz que os tokens de acesso, senhas, cadeias de conexão de banco de dados, chaves de criptografia e dados pessoais sensíveis geralmente não devem ser gravados diretamente. Também descreve os caminhos de arquivos e os detalhes da rede interna como dados que podem necessitar de tratamento especial. As ferramentas dos agentes tratam rotineiramente todos os itens da lista. As mensagens de erro de forma livre são uma porta traseira comum. Isto não é seguro: A versão operacionalmente útil é menor: Ainda suporta agregação, roteamento de alertas, análise de retest e correlação com um registro local protegido. Não transforma a armazenagem de observabilidade numa cópia do erro secreto. Os nomes chave também exigem julgamento. O calendar id revela menos do que o seu valor, mas uma chave como o customer alice hiv status já contém conteúdo. Manter um esquema aprovado para nomes de ferramentas e nomes de chaves; rejeitar ou mapear nomes inesperados para other . A cardinalidade não é apenas uma preocupação de custos, é uma preocupação de limites de dados. Reproduzir o desinfetante em três aparelhos hostis O material que acompanha contém três eventos falsos mas realistas: 1. Uma pesquisa de calendário bem sucedida com um e mail falso e um token do portador; 2. Uma publicação de antevisão negada com uma chave API falsa e um caminho privado; 3. uma base de dados com tempo expirado escrever com uma cadeia de conexão falsa e e mail. O desinfectante não procura padrões secretos. Ele constrói um novo objeto a partir de uma lista de permisos: Execute o artefato verificado do pacote de evidências do artigo: A saída reproduzida mantém o diagnóstico: Também apoia conclusões concretas. A ferramenta do calendário foi concluída e a verificação dos resultados passou. A chamada de antevisão precisa de atenção de permissão, não de uma reaprovação cega. A lista de espera escreveu o tempo em sua segunda tentativa e a verificação de registro durável falhou, então o comando retornado não é uma condição de sucesso. A diferença de byte por byte passou. Uma pesquisa separada para todos os canários plantados token portador, chave API, cadeia de conexão, valores de e mail, e caminho privado não retornou nenhuma correspondência no arquivo desinfectado. Este é um teste útil para manter na CI: adicionar um canário falso único a cada dispositivo sensível e falhar se ultrapassar a fronteira do exportador. Captura de conteúdo é um modo de escalada A telemetria livre de conteúdo tem uma limitação real: não pode explicar por que um pedido foi semânticamente incompreendido ou se uma resposta modelo continha um erro factual sutil. O limite deve, portanto, ser uma escalada controlada, não uma afirmação absoluta de que o conteúdo nunca é útil. O Orientações para a captura de conteúdo da OpenTelemetry diz que instruções, mensagens de usuário e saídas de modelo são sensíveis e muitas vezes grandes, e não devem ser capturadas por padrão. Descreve o armazenamento externo separado com controles de acesso distintos como uma opção de produção quando o conteúdo sensível deve ser mantido. Antes de ativar esse modo, decida todos os seguintes elementos: A exploração, a ferramenta ou o inquilino exatos no âmbito de aplicação; Quem aprovou a recolha e pode lê la; quais campos são filtrados antes da exportação; A duração máxima e a retenção; a região de armazenamento e os controles de acesso; a forma como a exclusão é verificada; Como o modo retorna automaticamente ao content captured: false . A amostragem não é redacção. Uma amostra de 1% ainda pode capturar o único pedido que contém uma credencial. A criptografia também não é minimizar: protege os bytes armazenados, mas não justifica a sua recolha ou impede a sobreexposição autorizada. Comece com a lista de autorização, e adicione um caminho forense governado separadamente apenas quando a questão operacional não puder ser respondida de outra forma. Junte telemetria a um resultado, depois decide Um evento de observabilidade descreve uma operação. A saúde dos agentes requer mais um facto: o trabalho pretendido se tornou realidade? Um driver de banco de dados pode devolver o sucesso enquanto uma transação posterior retrocede. Uma ferramenta de escrita de arquivos pode sair de zero ao escrever o caminho errado. Uma API de mensagem pode aceitar uma solicitação enquanto o destino a rejeita de forma assíncrona. Por conseguinte, o envelope de telemetria deve conter o nome e o status de uma verificação determinista dos resultados sem copiar o conteúdo dos resultados. Use esta ordem de decisão: 1. Ooutput passado: fechar a operação mesmo que ocorra uma retestada transitória; reter o sinal de retestada para análise de custos e confiabilidade. 2. Tool falhou e resultado falhou: rota pela classe de erro estável. Reprova apenas se a operação for reversível e dentro de um limite aprovado. 3. Tool foi bem sucedido e o resultado falhou: classifica o falso sucesso e investiga o contrato entre a ferramenta e o verificador. 4. Ooutcome não executado: não qualifica o trabalho como concluído. Planejar ou realizar a verificação. 5. EAvidências faltam ou são contraditórias: Marque o estado incerto e solicite antes de uma intervenção ativa. Isso separa a atividade do progresso útil e a conclusão do comando do resultado do usuário. Além disso, torna a recuperação mais segura: um operador pode preparar uma ação limitada e, em seguida, limpar o problema somente após a verificação do resultado passar. O padrão de produção Para a maioria das cargas de trabalho de LLM e agentes, comece com uma pequena lista documentada de licenças de telemetria. Mantenha correlação, operação, erro estável, tempo, tentativa, forma e resultados de campos. Mantenha o conteúdo desligado por padrão. Teste o exportador com canários plantados. Tratar a captura de conteúdo temporário como um procedimento de incidente autorizado separadamente. Esse padrão não responderá a todas as perguntas forenses. Ele responderá a perguntas de saúde rotineiras sem criar silenciosamente um banco de dados sombrio de instruções, credenciais, registros de clientes e resultados das ferramentas. A direção do produto da Sidewisp é transformar a disponibilidade, execução, memória, ferramenta, resultado e evidência de custo em uma visão clara da saúde, preservando a autoridade humana e coletando apenas o que é necessário. A Sidewisp está atualmente em prévia privada. O sítio público e os artigos estão em directo; os adaptadores de monitorização da produção e a recuperação automática não são geralmente enviados. Se este limite de provas coincidir com a forma como queres operar agentes, podes juntar te à lista de espera de pré visualização privada.