OpenTelemetry LLM Observabilidade: Pin o esquema antes de verde

A observabilidade OpenTelemetry LLM só é útil se a telemetria tiver um significado declarado. Antes de tratar um rastreamento da GenAI como evidência operacional, fique a revisão da convenção semântica, valide os campos necessários para cada operação, rejeite a captura de conteúdo não aprovado, comprova que as operações esperadas estão presentes e, em seguida, avalie separadamente a frescura, o estado de trabalho e o resultado externo. Essa ordem é importante em Julho de 2026. O site OpenTelemetry aponta agora as convenções da GenAI para um Repositório dedicado. Na revisão de origem inspecionada para este artigo, 434c91dcc34ed038e3048c07720ddfed2c6bddfc , o README ainda lista o seu esquema URL como TODO do repositório e o documento generativo de duração do cliente são marcados Development . Esta não é uma razão para evitar a OpenTelemetry. É um motivo para tornar explícita a compatibilidade. Um painel que contém extensões do GenAI ainda pode combinar um antigo produtor, um coletor atual e uma consulta escrita para uma terceira forma de atributo. O padrão seguro é um pequeno perfil de aceitação versão ao lado da configuração do coletor. Fique com o contrato que você realmente opera. O repositório GenAI da OpenTelemetry abrange clientes, agentes, execução de ferramentas, avaliação, memória, recuperação e MCP do LLM. Os seus documentos são parcialmente gerados a partir de modelos YAML, o que é valioso porque a fonte é inspecionável e testável. Significa também que "usamos OTel" é demasiado vago para ser uma alegação de compatibilidade. Registrar quatro identidades em cada implantação de instrumentos: Identidade Exemplo Por que é importante Fonte da Convenção Repositório mais compromisso SHA Define o contrato de atributo e operação que você revisou Pacote de instrumentos Nome e versão do pacote Identifica o que emitiu o espaço Linha de condução de colecionadores Configurar digest e ID de implantação Identifica transformadores, filtros e exportadores Contrato de consulta Verão de painel de comando ou de alerta Identifica quais campos o veredicto espera Não deduzir a revisão da convenção a partir de quaisquer campos que aconteçam chegar. Isso transforma a deriva silenciosa em aparente compatibilidade. Se um produtor não puder declarar a sua revisão, classifique o lote como schema drift até testar e registrar essa forma de produtor. Isto é especialmente importante quando coexistem instrumentos de âmbito nativos e externos. O Orientações para a observabilidade do agente da OpenTelemetry descreve os compromissos de manutenção dos instrumentos incorporados e adverte que os pacotes externos podem colidir com eles. A mesma chamada modelo pode ser observada duas vezes, ou uma rota pode permanecer numa convenção anterior após uma atualização parcial. A regra prática é simples: um produtor de telemetria esperado por caminho de operação, uma revisão declarada da convenção por coorte de implantação e um rastro canário que deve passar antes que a coorte seja promovida. Validar um pequeno perfil operacional antes do esquema completo Um validador semântico convencional completo pode ser gerado a partir dos modelos do repositório. Um portão operacional deve começar mais pequeno. Aplique apenas os campos que afetam as suas decisões atuais, e expandir o perfil à medida que você usa mais operações. Na revisão fixa, as marcas Tabela de extensão de inferência: gen ai.operation.name , conforme necessário; gen ai.provider.name , conforme necessário; error.type , conforme condicionalmente exigido quando a operação termina em erro; gen ai.request.model conforme exigido condicionalmente quando disponível; Mensagens de entrada, mensagens de saída, instruções do sistema e definições de ferramentas como opção. Estes níveis de requisitos não devem ser aplanados em "campo presente ou ausente". Um período de erro sem error.type perdeu uma classe de evidência que a convenção espera. Um modelo de pedido faltante pode ser legítimo quando não estava disponível. Os conteúdos de resposta e de urgência devem permanecer ausentes, a menos que uma política explícita permita a recolha. A auditoria acompanhante implementa este perfil estreito: A verificação do conteúdo só procura o atributo Key . Não lê nem armazena texto imediato, texto de resposta, instruções do sistema ou argumentos de ferramentas. Isso é suficiente para capturar a captura acidental sem transformar o validador em outro depósito de dados sensíveis. Há aqui uma limitação deliberada: este perfil não é toda a especificação da OpenTelemetry. Teste um contrato revisível usado para um veredicto operacional. Quando a fonte ascendente mudar, atualize a revisão fixa, compare as definições geradas, ajuste a fixação e reinicie a antes de atualizar os produtores. Cobertura da auditoria antes da interpretação de um rastro limpo Uma extensão conformante pode ainda ser uma evidência incompleta. Se o pedido esperava invoke agent , chat e execute tool , mas o rastro contém apenas os dois primeiros, o veredicto certo é coverage gap , não saudável. Construa as operações esperadas a partir da topologia do fluxo de trabalho, em vez de a partir de intervalos observados: Isto evita um ensaio circular no qual a telemetria define a sua própria integridade. O conjunto esperado pode vir de um manifesto de liberação, rota de ferramenta registada ou definição de fluxo de trabalho. Deve ser suficientemente pequeno para ser mantido e suficientemente específico para expor um caminho de instrumentação faltante. Os retestes automáticos precisam de cuidados. A prosa atual do cliente diz que um período lógico deve cobrir a duração da operação, incluindo retemps automáticos. O seu pedido também pode manter os períodos de transporte de nível de tentativa. Não conte essas duas camadas como duplicadas. Decida se a cobertura é expressa na operação lógica, tentativa, ou ambos, e depois faça a relação explícita. Da mesma forma, um nome de fornecedor não é necessariamente o proprietário final do modelo. A convenção observa que a instrumentação pode conhecer um proxy ou uma plataforma de hospedagem em vez do fornecedor upstream transparente. Tratar o gen ai.provider.name como um discriminador de formato e facto de encaminhamento dentro do seu âmbito documentado, e não como um oráculo de faturamento ou de origem de modelo. Mantenha o esquema, a saúde e o resultado como veredictos separados Uma vez que o esquema e a cobertura forem aprovados, o rastreamento é elegível para informar uma decisão de saúde. Não é a decisão por si só. Use uma prioridade explícita: 1. Schema identity O produtor corresponde à revisão fixada? 2. Valididade do esquema são necessários e os campos condicionais são válidos? 3. Política de conteúdo são permitidos campos de opt in para esta rota? 4. Coverage estão representadas todas as operações esperadas? 5. Freshness é a evidência suficientemente recente para o fluxo de trabalho? 6. Estado de trabalho o agente está a trabalhar, à espera, preso, incerto ou completo? 7. Outcome Existe o resultado prometido no seu destino? A fixação de dez casos para este artigo mantém essas camadas desconfortáveis de propósito. Inclui: Um produtor não apoiado e um produtor legado; uma faixa de inferência ausente de gen ai.provider.name ; uma extensão de erro faltante para o error.type ; Uma chave de conteúdo de opt in sem permissão; Um fluxo de trabalho que não tenha a duração prevista da ferramenta; Um rastreamento completo sem receita de resultado; um rastro verificado, mas antiquado; Uma espera legítima de aprovação humana; um caso novo, coberto e verificado com resultados. Execute o artefato com: O resultado executado classificou exatamente dez casos: O caso complete no receipt é o limite chave. A revisão do produtor coincide. As suas extensões contêm os campos exigidos pelo perfil. As operações de agente e modelo esperadas existem. A telemetria está fresca. Ele ainda retorna unverified porque nenhum recibo de destino prova que o bilhete, arquivo, implantação ou outro resultado prometido existe. O caso waiting for approval preserva um limite diferente. As extensões recentes e conformes param em uma aprovação humana nomeada com um proprietário e prazo. Isso não é uma barraca. Pagar um operador como se o agente tivesse falhado destruiria informações úteis do estado. Transformar a auditoria em um controlo de libertação e incidentes Faça este teste em três momentos. Antes de uma atualização de instrumentação , capture a revisão atual, as versões do pacote, o digestor do colector e as operações esperadas. Reproduzir a fixação fixa contra a pilha proposta. Um veredicto alterado deve ser explicado antes da promoção. Durante o lançamento , emitir um canário livre de conteúdo através de cada modelo registrado, agente e rota de ferramenta. Verifique se cada canário chega uma vez, carrega a identidade de produtor esperada, passa o perfil operacional e permanece pesquisável na janela de frescura. Durante um incidente , preserve as quatro camadas em vez de as desmoronarem em "a observabilidade está quebrada". Uma lacuna de cobertura requer reparação de instrumentos. A telemetria estável requer o diagnóstico do coletor ou do exportador. A waiting chama o proprietário nomeado. O unverified requer uma verificação de destino, não outra nova tentativa de modelo. Não reparar automaticamente um agente porque um campo de telemetria mudou. A deriva da convenção pode tornar as evidências incertas sem tornar o trabalho subjacente insalubre. Congelar a recuperação ativa, identificar a camada de evidência falhada e usar o menor teste reversível que restabeleça a confiança. O perfil do esquema também precisa de um proprietário. Enfrentar um compromisso para sempre não é segurança; é uma eventual estagnação. Asigne uma cadência de revisão, observe o repositório do GenAI e exija uma diferença de fixação ao mover o pin. Se o OpenTelemetry publicar um URL estável do esquema GenAI mais tarde, adotá lo quando os seus produtores e consultas o suportarem, mas mantenha a cobertura, a frescura, a espera e as verificações de resultados independentes. A Sidewisp está atualmente em prévia privada. Sua experiência pública é um site de acesso precoce e demonstração interativa; coleta de agentes de produção saúde, adaptadores de hospedeiro e recuperação não são enviados no repositório atual do site. A direção do produto é uma camada de saúde em torno dos tempos de execução existentes, não um coletor OpenTelemetry, rastreamento de backend ou fixador autônomo. Se a evidência de revisão e a verificação de resultados separados coincidirem com as falhas que você precisa detectar, você pode descrever o Junte se à exibição privada do Sidewisp e descrever o caminho de execução e telemetria do agente que opera.