Honeycomb LLM Observabilidade: Auditoria do Contrato de Linha de Tempo do Agente

O Honeycomb pode mostrar uma linha de tempo polida e ainda estar a trabalhar a partir de um contrato de evento quebrado. Antes de usar essa visão para diagnosticar um incidente multi agente, verifique seis coisas nos intervalos emitidos: uma identidade de conversa, nomes distintos de agentes, atribuição de invocação do lado da chamada, nomes de operações reconhecidos, IDs estáveis de chamada de ferramenta e erros propagados. O teste prático não é chegou a telemetria? É podiam estes campos projetar o trabalho na conversa correta, na faixa do agente, na operação e no estado de falha? A auditoria abaixo responde a essa pergunta mais estreita com oito dispositivos sem conteúdo. A Znot recolhe indicações ou afirma que uma linha de tempo limpa prova o resultado externo solicitado. O que o Agente Honeycomb Timeline realmente projeta A Honeycomb documenta a Agente Timeline como uma visão de conversas inteiras que podem abranger vários vestígios. A chave de conversa é gen ai.conversation.id . Dentro de uma conversa, os espaços do GenAI são agrupados por gen ai.agent.name , então apresentados como invocações de agente, operações LLM e chamadas de ferramentas de acordo com gen ai.operation.name . Isso torna a visão útil, mas também faz com que vários campos fornecidos pela aplicação façam parte do limite de diagnóstico: O gen ai.conversation.id decide quais intervalos pertencem juntos. O gen ai.agent.name decide qual agente é o proprietário da faixa. O gen ai.operation.name decide se um período é tratado como chat, invocação de agente ou execução de ferramenta. O gen ai.tool.call.id permite que um operador correlacione uma solicitação de ferramenta com o seu resultado. Os campos de status de erro e de exceção determinam se uma falha é visível no espaço afectado e no seu principal. O guia de instrumentação da Honeycomb marca ID de conversa, nome do agente e nome de operação conforme necessário para a visão do agente. Diz também que um nome de agente desaparecido aparece como Unknown , e que nomes duplicados impedem os operadores de distinguir agentes durante uma investigação. O mesmo guia torna explícita uma regra de atribuição fácil de perder: o agente calling emite o intervalo invoke agent . O agente chamado emite seu próprio chat , execute tool e outros espaços sob seu próprio nome único. Se uma transformação coletora atribuir a invocação à chamada, a linha do tempo pode conter cada período que ainda conta a história causal errada. Este é um problema de conformidade de esquema antes de ser um problema de painel. Pesquisar mais difícil não pode recuperar uma identidade que nunca foi emitida ou corrigir um nome de agente que dois trabalhadores compartilham. Auditar o contrato de projeção antes de um incidente O aparelho de acompanhamento contém oito pequenos conjuntos de espaçamento. Nenhuma contém instruções, respostas, argumentos de ferramentas, identificadores de clientes ou segredos. Os únicos valores são IDs de conversação sintéticas, instâncias de agente, nomes de agentes, nomes de operações, links parentais, IDs de chamada de ferramenta e campos de status. Executa a auditoria a partir do diretório de artefatos de artigos: O classificador aplica os controlos em ordem causal: 1. Todos os espaços da conversa proposta devem partilhar um ID de conversa não vazio. 2. Cada espaço deve ter um nome de agente não vazio. 3. Um nome de agente exibido não deve pertencer a múltiplas instâncias de agente. 4. Um espaço de tempo invoke agent deve ser de propriedade do titular da chamada. 5. A operação deve pertencer ao conjunto documentado de operações GenAI utilizado pela projeção. 6. Um espaço de tempo execute tool deve manter um identificador de chamada de ferramenta. 7. Um erro infantil não deve ficar abaixo de um pai que ainda relata sucesso. A ordem importa. Se uma conversa já for dividida entre conv 201 e conv 202 , a contagem de linhas de agentes dentro de qualquer um dos fragmentos dá uma resposta precisa à pergunta errada. Da mesma forma, se dois processos se chamarem ambos worker , a correlação entre ferramenta e chamada não pode restaurar a identidade do agente que falta. As regras são intencionalmente mais rigorosas do que Honeycomb rendered alguma coisa. Uma visão rendered é uma observação. Um envelope de extensão conformante é a prova de que a observação foi agrupada e atribuída de acordo com um contrato declarado. Oito aparelhos expõem sete verdes falsos diferentes A regra ingênua da comparação só verifica que cada período tem uma identificação de conversa. Aceita todas as oito configuraçõesincluindo o caso em que duas identidades não vazias diferentes dividam uma conversa lógica. A auditoria de conformidade aceita exactamente uma das seguintes características: Fixação Verificação de identidade ingênua Veredicto de Conformidade Reparação necessária Conversação válida Passagem CONFORMANT Nenhum Conversação fragmentada Passagem FRAGMENTED CONVERSATION Propagar uma identificação de conversa através de limites de rastreamento Agente desconhecido Passagem UNKNOWN AGENT emitir um nome de agente estável e não vazio Agente nome colisão Passagem AGENT NAME COLLISION dar a cada instância de agente um nome operacional distinto A atribuição de invocações erradas Passagem INVOKE ATTRIBUTION INVALID emitir o invoke agent do telefonista Operação não reconhecida Passagem OPERATION UNRECOGNIZED remap para uma operação documentada da GenAI Identificação de chamada de ferramenta faltante Passagem TOOL CALL UNCORRELATED Preservar a identificação de chamada através da solicitação e do resultado Erro infantil oculto Passagem ERROR PROPAGATION BROKEN Propagar o estado de falha ao pai Cada veredicto protege uma decisão diferente do operador. Uma conversa fragmentada esconde o trabalho. Um nome desconhecido ou em conflito corrompe a propriedade. A atribuição de invocação errada inverte quem delegou a quem. Uma operação não reconhecida coloca um evento na categoria visual errada. Uma identificação de chamada faltante torna um timeout inseguro de reconciliar. Um erro de criança oculto transforma um caminho fracassado em um pai bem sucedido. O último caso merece atenção especial. Honeycomb aconselha a gravação de erros de forma consistente e a propagação de uma falha de chamada de ferramenta para o espaço mãe. Essa propagação não prova se um efeito colateral externo foi cometido; impede que o pai permaneça silenciosamente verde enquanto se sabe que a criança falhou. Para ferramentas eficazes, adicione um recibo de destino separado após esta verificação telemétrica. Um timeout mais nenhuma resposta é um efeito incerto, não permissão para tentar novamente. A linha de tempo do agente pode ajudar a localizar a chamada ambígua; o destino autorizado deve decidir se o efeito existe. Transformar a auditoria num canário de implantação Aplique o dispositivo localmente primeiro, e depois adapte uma conversa canária inofensiva ao seu caminho de instrumentação. Mantenha o canário livre de conteúdo e torne a sua topologia óbvia: Um agente do roteador invoca um trabalhador; O trabalhador realiza uma chamada de ferramenta inofensiva; Cada intervalo recebe a mesma identificação de conversa sintética; O roteador e o operador têm nomes distintos; A invocação pertence ao roteador; A chamada de ferramenta mantém uma identificação sintética de chamada; Uma variante de ensaio falha deliberadamente na ferramenta e verifica que a variante não tem mais sucesso. Comparar o envelope emitido antes da exportação e após qualquer transformação do colector OpenTelemetry. Isso detecta uma falha de limite comum: a instrumentação da fonte é correta, mas uma transformação renomeia um atributo ou atribui um nome de agente estático a cada processo. Pinta essa transformação. As convenções semânticas do agente OpenTelemetry GenAI inspecionadas para este artigo são marcadas Development , portanto, uma atualização do SDK ou do Collector não é uma mudança visual rotineira. É uma mudança de esquema que deve repetir o canário. Use um pequeno registro de aceitação para cada lançamento: Não coloque pedidos, respostas, argumentos de ferramentas ou resultados de ferramentas neste registro. Honeycomb observa que o conteúdo da mensagem pode conter PII e recomenda colocar esse conteúdo em eventos de intervalos onde um coletor pode filtrá lo. O canário de conformidade precisa de identidades e status, não de conteúdo de conversa. Onde este ensaio termina A aprovação da auditoria significa que o envelope de extensão fornecido pode ser projetado de forma coerente na Linha de Tempo do Agente Honeycomb. Não estabelece que: Cada estirpe alcançou Honeycomb; A amostragem manteve a falha crítica; um agente está a fazer progressos úteis; Uma espera humana legítima tem um proprietário e um prazo; um efeito colateral da ferramenta cometido exatamente uma vez; O arquivo, o bilhete, a implantação ou o relatório prometidos existem; A resposta é factualmente ou semânticamente correta. São questões de saúde separadas. Trata a conformidade com a linha do tempo como o bilhete de entrada para o diagnóstico, não o veredicto final de saúde. Após passar, adicione receitas de frescura, estado de espera, efeito e resultado de acordo com o risco do fluxo de trabalho. Este limite é também o motivo pelo qual a experiência do artigo não compara a Honeycomb com outro fornecedor. A decisão do leitor é mais antiga e mais concreta: Posso confiar na conversa e na atribuição de agente que estou prestes a investigar? A Sidewisp está atualmente em prévia privada. Pretende se adicionar uma camada de saúde em torno dos tempos de execução dos agentes existentes, mas a coleta de agentes de produção saúde, adaptadores Honeycomb e recuperação automática não são enviados no repositório atual do site. Se você está definindo o limite de evidências para os seus agentes agora, a lista de espera de antevisão privada é a maneira apropriada de compartilhar essa necessidade de integração. Fontes Cachoeira de mel: Agentes de instrumentação AI Agente Timeline OpenTelemetry Convenções semânticas do agente GenAI no compromisso inspecionado