Datadog LLM Documentación de observabilidad: Cobertura de la instrumentación de auditoría

La forma útil de leer el Documentación de observabilidad de Datadog LLM Antes de confiar en un rastro, verifique cuatro cosas: sus versiones de marco y rastreador son compatibles, exactamente un sendero de configuración está activo, el muestreo conserva la evidencia requerida para las decisiones de salud, y cada efecto externo tiene un resultado determinista. Esta distinción es importante porque un rastro aparentemente completo todavía puede ocultar una escritura de base de datos personalizada, una integración no soportada, una espera legítima de aprobación o un producto faltante. La auditoría a continuación convierte esas lagunas en ocho veredictos explícitos. No utiliza instrucciones, respuestas, claves API o datos de clientes. Comience con el contrato de soporte, no con el tablero. Datadog's Presentación general de la observabilidad del agente dice que una solicitud de aplicación aparece como un rastro y que los intervalos representan opciones o pasos de flujo de trabajo. Ese es el modelo adecuado para investigar la latencia, errores, uso de tokens y el camino a través de un agente. No se trata de una promesa de que una solicitud arbitraria esté completamente justificada. referencia de instrumentación automática limita el rastreo automático a los frameworks y bibliotecas compatibles. Dirige explícitamente a los operadores a la instrumentación manual para otras llamadas de API, consultas de base de datos y funciones internas. Tratar la documentación como cuatro contratos vinculados: Contrato Pruebas para registrar El fracaso que un rastro verde puede ocultar Compatibilidad tiempo de ejecución, versión de marco, versión de rastreador, modo de módulo el camino de código no soportado emite intervalos parciales o no Comienza un modo de configuración habilitado, sitio, nombre de la aplicación, transporte inicialización duplicada o datos enviados al destino equivocado Capacitación política de muestreo y un manifiesto de las operaciones que deben ser visibles se extrae una muestra de un evento de salud requerido o nunca se utiliza un instrumento El resultado recibo de espera y recibo de finalización específico del destino el agente informa de la finalización, pero el efecto solicitado está ausente Estos contratos deben comprobarse con una instantánea de documentación fechada. El 30 de julio de 2026, la tabla Python de Datadog enumera LangGraph =0.2.23 con ddtrace =3.10.1 . La misma página enumera diferentes mínimos para otros marcos y lenguajes. Hemos instalado el último paquete es por lo tanto una evidencia más débil que este par exacto de aplicación/tracer cumple con la fila de soporte verificada. El Consejo de Ministros Referencia del SDK añade otro límite: Python configuración de línea de comandos con ddtrace run y la configuración en código con LLMObs.enable() En su sección de código se advierte de no combinarlos. DD LLMOBS SAMPLE RATE , lo que significa que la retención de rastros es una decisión del operador en lugar de una garantía de salud intrínseca. Realizar una auditoría de instrumentación en ocho casos El dispositivo de auditoría fija una fila de soporte Python, LangGraph 0.2.23 , y ddtrace 3.10.1 entonces cambia un hecho operativo por caso. instrumentation cases.json y extender su cases matriz con las ocho condiciones descritas por la salida registrada: Utilice esta regla de decisión en audit datadog instrumentation.mjs Las siguientes: Realizar la auditoría: La carrera registrada evaluó ocho partidos y coincidió con los ocho veredictos esperados: El orden de las comprobaciones es deliberado. La compatibilidad viene primero porque un intervalo faltante de un par no soportado no debe ser diagnosticado como un fallo de la aplicación. La iniciación viene después porque dos vías de configuración crean un estado de recopilación ambigua. La cobertura sigue porque un rastreador iniciado correctamente todavía puede omitir la evidencia requerida. Las comprobaciones de espera y resultados vienen por último porque describen el trabajo, no el transporte de telemetría. Esta es una auditoría de configuración y contratación de pruebas. No conectarse a un inquilino de Datadog o probar la ingestión. Después de que pase, envíe una carrera canaria y confirme que las extensiones de raíz y hijo esperadas aparecen bajo la aplicación prevista, el sitio, el entorno y la ventana de tiempo. Tomar una decisión sobre la cobertura del muestreo Datadog documenta una tasa de muestreo de Observabilidad de Agente configurable. La muestreo es útil cuando los rastros de diagnóstico completos son caros, pero crea una consecuencia operativa estricta: la ausencia de un rasgo de muestreo no puede probar la ausencia de una carrera, una llamada de herramienta o un fallo. Mantener dos vías de evidencia cuando las decisiones de salud deben cubrir cada carrera: 1. Trazas de diagnóstico Pueden ser tomadas muestras, conservan un amplio detalle para la investigación. 2. Recibos sanitarios obligatorios Se registran la identidad de la carrera, el estado, la frescura, la propiedad de espera, el destino esperado y el estado de verificación de resultados. La fijación regresa coverage gap ¿Cuándo sampleRate está por debajo 1 La conclusión correcta es más estrecha: las pruebas disponibles no pueden apoyar una afirmación de salud en todas las carreras. Esto también evita un error de alerta común. Un rastro de muestreo faltante no debe calificar a un operador como una interrupción. Comparar primero el recibo de ejecución sin muestreo, el ritmo cardíaco en el tiempo de ejecución y la frescura de la recogida. Escala solo cuando las pruebas establecen un fallo relevante para el usuario o permanecen no disponibles después de una fecha límite explícita. Añadir extensiones manuales en los límites de efecto La instrumentación automática es un punto de partida, no un mapa de los resultados de su negocio. Supongamos que un agente llame a un modelo y herramienta soportados, y luego ejecuta una función interna llamada write release manifest El modelo y las extensiones de la herramienta pueden terminar normalmente mientras que la última función falla silenciosamente. Crear un pequeño manifiesto de operación antes del despliegue: Las declaraciones de auditoría instrumentation gap cuando una operación requerida carece de cobertura automática o manual. No repares esto añadiendo extensiones a cada función auxiliar. límites de instrumentos que cambian la decisión del operador: llamadas a través de servicios, escrituras duraderas, comprobaciones de permisos, transiciones de aprobación, retensos con efectos externos y verificación de destino. El recibo más fuerte debe provenir del destino. Para un archivo, verifique la ruta esperada y digeste. Para una solicitud de extracción, consulta al servicio de alojamiento para las relaciones públicas y las verificaciones requeridas. Para un mensaje, retenga el identificador aceptado del proveedor y concilia la entrega cuando el flujo de trabajo lo requiera. Span terminado sin error es evidencia de actividad; no es lo mismo que el resultado solicitado existe. Mantenga la espera en lugar de etiquetarlo mal como atascado Las huellas de los agentes a menudo incluyen largas pausas. Algunas son fracasos; otras son esperanzas correctas de una persona, un proveedor o una ventana programada. Una espera legítima necesita un pequeño recibo: Sin un propietario, fecha límite y identidad reiniciable, la fijación regresa ambiguous wait No vuelve de inmediato . stuck Con un recibo válido, el seguimiento puede permanecer en silencio hasta la fecha límite, dirigir la solicitud a la persona adecuada y luego verificar que el trabajo se ha reanudado. Esta distinción evita que los operadores recuperen un trabajo saludable intentándolo de nuevo. Un intento inseguro en un límite de efecto externo puede crear entradas duplicadas, mensajes, pagos o implementaciones incluso cuando la ejecución original simplemente estaba esperando la confirmación. Lea el rastro de Datadog y el recibo de resultado juntos Utilice el rastro Datadog para responder: ¿Parecieron las llamadas de marco y modelo esperadas? ¿Cuál período falló, se desaceleró o consumió tokens inusuales? ¿El árbol de rastro conservó la estructura esperada de padre hijo? ¿Está la evidencia fresca y está asociada con la solicitud prevista? Utilice el recibo de salud separado para responder: ¿Se esperaba la carrera en este momento? ¿Está funcionando, esperando, atascado, incierto o completo? ¿Se produjo cada efecto requerido una vez? ¿El destino contiene el resultado prometido? La fijación final es intencionalmente inconveniente: el camino de rastreo está soportado, la configuración está limpia, el muestreo está completo y no falta ninguna operación complete sin un recibo de resultado. Su veredicto es false green ¿ Qué es eso ? Datadog puede proporcionar un seguimiento detallado, evaluación, latencia, error y evidencia simbólica. Su aplicación aún debe definir lo que significa éxito y verificarlo donde el resultado vive. Sidewisp aplica la misma distinción de salud en su dirección de producto: la actividad no es un progreso útil, la espera no se atasca automáticamente y la finalización del comando no es un resultado verificado. Sidewisp se encuentra actualmente en versión preliminar privada. Sus adaptadores de monitoreo de producción generalmente no se envían hoy en día; el sitio público es una experiencia de acceso temprano y una demostración de productos. La secuencia práctica de despliegue es corta: pin la fecha de la documentación, grabar la fila de soporte, elegir una ruta de inicio, declarar el límite de muestreo, enumerar las operaciones de efecto requeridas, reproducir las ocho fichas, luego enviar un canario en vivo y verificar su destino.