LangSmith LLM Observabilidade: Prove a árvore de rastreamento em todos os serviços

LangSmith pode mostrar um conjunto limpo de intervalos de sucesso e ainda deixar um operador com a conclusão errada. As provas que faltam podem ser um trabalhador cuja extensão nunca se juntou ao rastro, uma segunda raiz criada após um salto de serviço ou um rastro completado sem prova de que o artefato solicitado chegou ao seu destino. O padrão prático é simples: tratar a solicitação de agente aceita da one como uma árvore de rastreamento confiável , em seguida, testar essa árvore contra um manifesto de serviço esperado. Um veredicto saudável requer uma raiz, ligações parentais resolviveis, os estágios de serviço esperados, um novo progresso ou uma espera explícita, e um recibo de destino separado. A conclusão de traços por si só não é a conclusão de tarefas. Este guia transforma essa regra em uma auditoria de oito casos para langsmith llm observabilidade . O aparelho não contém pedidos, respostas, segredos ou cargas úteis de ferramentas. Compara uma lei ingênua que diz que está bem com uma decisão operacional mais rigorosa e expõe cinco casos falsos. O padrão: preservar uma raiz entre os hops de serviço confiáveis LangSmith define rastros como árvores de corridas, e seu documentação distribuída de rastreamento descreve como um pedido pode continuar em todos os serviços. O serviço originário serializa a árvore de execução atual em um cabeçalho langsmith trace , com opcional baggage para metadados e tags. O serviço interno receptor restaura esse contexto e continua a rastrear. É o padrão de implementação razoável para uma API que entrega o trabalho a um planejador e depois a um trabalhador. Dá ao operador uma árvore causal em vez de vestígios locais não relacionados. A mesma documentação coloca um limite importante ao lado da característica: esses cabeçalhos são confiáveis para rastrear o contexto. Um ponto final público não deve aceitá los como um pai autorizado nem aceitar bagagem arbitrária de um telefonista não confiável. Descarregue os na borda, inicie uma nova raiz para o pedido aceito e propague o contexto recém criado apenas através de hops de serviço a serviço confiáveis. Para cada pedido aceito, registar um manifesto livre de conteúdo, como: O requestKey deve ser um identificador opaco e não um nome de pedido ou de cliente. O manifesto é o denominador: sem ele, um rastro não pode dizer lhe que um serviço esperado não emitiu nada. Estrutura de auditoria antes de avaliar o estado do período Comece com a estrutura porque uma coleção de espaços localmente bem sucedidos ainda pode descrever a execução errada. Aplicar estes controlos em ordem: Verificação Evidências Estado de falha Limites de confiança A raiz foi criada após a borda pública; bagagem propagada veio apenas de um serviço interno UNTRUSTED CONTEXT Número de raízes Exatamente um mapa raiz para o pedido aceito SPLIT TRACE Integridade dos pais Cada parent run id não raiz resolve dentro do mesmo rastro ORPHAN SPAN Cobertura dos serviços Cada fase requerida do manifesto tem pelo menos uma corrida esperada TRACE GAP Frescos O trabalho aberto tem progressos recentes ou um prazo de dependência válido STUCK ou WAITING Resultados O destino designado tem um recibo determinístico OUTCOME UNVERIFIED Veredicto final Todos os controlos aplicáveis são aprovados HEALTHY Esta ordem importa. Se um telefonista público pode fornecer bagagem de confiança, a árvore não é prova segura mesmo quando a sua forma é perfeita. Se existem duas raízes, verificar as crianças sob apenas uma raiz pode esconder metade da execução. Se a identificação dos pais estiver ausente, os timestamps não reparam a lacuna causal. Não obrigue um rastro de corrida a incluir etapas que ele não tenha atingido. A cobertura do serviço é avaliada na fronteira do ciclo de vida relevante. Antes de o planejador enviar o trabalho, a ausência de um trabalhador é normal. Após a conclusão dos relatórios de execução, a mesma ausência é uma lacuna de rastreamento. Armazenar o marco do ciclo de vida ao lado do manifesto em vez de inferir a partir do tempo do relógio de parede sozinho. Os retrospectivos também precisam de uma regra explícita. Um segundo período de trabalho não é automaticamente uma falha duplicada. Registre uma chave de operação estável e o número de tentativa, em seguida, pergunte se a retest permaneceu sob a mesma raiz aceita e se apenas um efeito foi cometido. Esta auditoria de rastreio verifica a cobertura causal; uma auditoria de idempotencia ou de recepção de efeitos trata de efeitos colaterais duplicados. Reproduzir oito traços inconvenientes O artefacto de investigação utiliza quatro serviços necessários api , planner , tool worker e verifier e substitui oito casos: 1. Uma traça distribuída completa com um artefato verificado; 2. uma extensão de trabalho desaparecida; 3. Um trabalhador cuja identificação parental esteja ausente; 4. Duas raízes para um pedido aceito; 5. Uma nova espera com um proprietário e prazo futuro; 6. um trabalhador aberto com progresso estável; 7. Um rastreamento completo sem recibo de destino; 8. bagagem aceite de uma fonte de propagação pública. Execute o classificador determinista com Node: A fixação exata produzida: O resultado falsificável é a diferença entre seis verdes ingênuos e uma corrida saudável verificada. Cinco casos contavam apenas ok , mas falharam numa verificação estrutural, de confiança ou de resultados. O trabalhador ultrapassado não era ingênuo verde porque permaneceu aberto. A espera legítima também permaneceu aberta, mas foi encaminhada para WAITING em vez de ser erroneamente rotulada como falha. Isto não significa que sete agentes foram quebrados. Significa que só um caso tinha provas suficientes para uma conclusão saudável. O WAITING é um estado operacional válido, e os estados de lacuna identificam quais provas devem ser restauradas antes de tomar uma decisão. Um classificador compacto pode aplicar a prioridade: A prioridade preserva a diferença entre a actividade e o progresso útil. Também impede que uma condição verde posterior elimine uma falha de evidências anteriores. Pesquisar a árvore sem exportar conteúdo imediato LangSmiths oficial Guia de consulta SDK recomenda list runs ou a API /runs/query . Ele documenta is root=True para seleção de execução raiz e read run(..., load child runs=True) para hidratação de uma árvore candidata quando um predicado infantil local precisa de campos que os filtros do lado do servidor não expõem. Um caminho mínimo de coleta do Python é: Adaptar a lista select ao SDK instalado. A imagem de pesquisa observou a versão oficial de langsmith sdk V0.10.11, publicada em 28 de julho de 2026; verifique a referência atual antes de copiar os nomes de campos no código de produção. A auditoria não requer o inputs ou o outputs . Cruzar a árvore infantil hidratada e reter apenas: Identificadores de execução e rastreamento; Identificação de condução dos pais; Uma etiqueta de serviço ou de palco emitida pelo pedido; Os tempos de início, fim e último progresso; Estado ou presença de erro; Chaves de operação e de solicitação opacas; O proprietário de espera e o prazo; Identificação e resultado da verificação do recibo de destino. O Visão geral da observabilidade de LangSmith separa corretamente a investigação de rastreamento, painéis de controlo, alertas, automações, avaliações on line e feedback. Uma auditoria de rastreamento estrutural complementa essas superfícies; não substitui as avaliações nem afirma que cada falha é visível a partir de metadados. Mantém se à espera, pega e verificação de resultados separada Uma longa duração não é suficiente para chamar um agente preso. Exigir uma violação da frescura e a ausência de um contrato de espera válido. Um contrato de espera requer um proprietário, uma dependência e um prazo. Na fixação, o trabalhador teve progressos recentes, esperou um revisor e levou um prazo futuro. O estado correto foi WAITING . O trabalhador obsoleto não tinha tal explicação e tinha ultrapassado a janela de frescura de cinco minutos, então tornou se STUCK . Nenhum dos dois estados é HEALTHY . A espera precisa ser encaminhada para o proprietário nomeado; o trabalho em atasso precisa ser investigado e talvez uma proposta de recuperação limitada. Não tente novamente apenas porque um vestígio deixou de se mover, especialmente perto de um limite de efeitos colaterais. Por fim, exigem provas fora do rastro. Um período de verificação que terminou com sucesso prova que o código foi executado. Não comprova a existência do ficheiro solicitado, a realização da revisão prevista ou a chegada de uma mensagem ao destino previsto. Defina o recebimento determinístico mais forte disponível: um hash de objeto imutável, uma linha de banco de dados mais invariante, uma revisão remota ou uma leitura de volta da API. A limitação é deliberada. Esta auditoria não pode reconstruir intervalos que nunca foram emitidos, julgar a qualidade semântica a partir de metadados, ou provar um efeito ferramenta sem um recibo produzido pela aplicação. Pode mostrar que as evidências são incompletas e evitar que a incerteza se torne verde. A Sidewisp utiliza este mesmo limite de prioridade à saúde na sua direcção do produto: os vestígios são evidências, enquanto os progressos úteis e os resultados esperados exigem os seus próprios controlos. A Sidewisp está atualmente em prévia privada. Seu site ao vivo é uma experiência de acesso precoce e demonstração interativa; a coleta de agentes de produção e a recuperação automática geralmente não são enviadas. Junte se à prévia privada se quiser ajudar a moldar uma camada de saúde que funcione ao lado dos tempos de execução existentes em vez de substituir o LangSmith ou a sua pilha de agentes.