LLM Observabilidad sin pérdida inmediata: un contrato de telemetría seguro

La observabilidad de LLM debe explicar a qué operación se ejecutó, qué falló, cuánto tiempo tardó, si se volvió a intentar y si existe el resultado previsto . No es necesario copiar cada instante, argumento de herramienta o resultado de herramienta en un backend de telemetría para responder a esas preguntas. Una producción segura por defecto es un envase minimizado por contenido: ID de correlación, nombres de operación y herramienta, clases de error de baja cardinalidad, tiempo, número de intento, entrada nombres clave , forma de resultado y un veredicto de resultado independiente. Recopilar el contenido del mensaje o la herramienta sólo para una investigación específica, con autoridad explícita, una ventana de retención corta y controles de almacenamiento que coincidan con los datos. Esta guía construye ese predeterminado y lo prueba contra tres eventos deliberadamente sensibles del agente. Rastrear la operación, no la carga útil privada La amplia definición de observabilidad de LLM incluye rastros, métricas, registros, evaluaciones, comportamiento de modelo y resultados de aplicación. Para un operador de agente, la pregunta útil es más estrecha: ¿puede la evidencia distinguir una llamada de modelo lenta, una llamada de herramienta rechazada, una espera legítima, un ciclo de retoma y una herramienta que regresó con éxito mientras que el entregable nunca apareció? El OpenTelemetry GenAI convenciones semánticas actual ofrece un vocabulario inicial útil. El span de herramienta de ejecución utiliza gen ai.operation.name y gen ai.tool.name ; también describe un ID de llamada de herramienta, tipo de herramienta y error.type . El mismo documento marca los argumentos y resultados de las llamadas de herramienta como opt in y advierte que ambos pueden contener información sensible. Estas convenciones están en Development , así que pin la versión que implementas y espera cambios. Esa división es operacionalmente sólida. Los siguientes campos suelen responder a las primeras preguntas de respuesta a incidentes sin reproducir el contenido: El campo ¿Qué responde? Regla de recaudación trace id , run id , step id ¿A qué ejecución y paso pertenece este evento? Mantenga identificadores opacos; no los derive del contenido. operation , tool name , tool type ¿Qué tipo de trabajo se intentó? Utilice nombres limitados y documentados. status , error type ¿Ha fracasado, y por qué clase estable? Prefiere timeout o permission denied a un mensaje de proveedor de formulario libre. duration ms , attempt ¿Es lento o se repite? Números récord, no una narrativa. input keys ¿Qué forma de petición se intentó? Guarde nombres de claves; descarte valores por defecto. result shape ¿La herramienta no devolvió nada, una matriz o un objeto? Mantenga las teclas de tipo, conteo o nivel superior; descartar los valores. outcome check , outcome status ¿El resultado esperado del usuario aterrizó? Verifique por separado de la finalización de la herramienta. content captured ¿Está presente el contenido en otros lugares? Haga que el límite sea visible y consultable. run id y los campos de resultado anteriores son un contrato de aplicación, no atributos estándar de OpenTelemetry. Eso es deliberado: el rastreo del vocabulario y la evidencia de salud específica de la tarea resuelven problemas relacionados pero diferentes. Una lista de permisos supera una lista de redacción interminable El código de redacción pregunta: ¿Qué valores peligrosos hemos recordado eliminar? Un autor de permisos pregunta: ¿Qué campos han ganado el derecho de abandonar el proceso? Para la telemetría de producción de rutina, la segunda pregunta tiene una superficie de falla más pequeña. El OWASP hoja de engaño de la explotación forestal dice que los tokens de acceso, contraseñas, cadenas de conexión de base de datos, claves de cifrado y datos personales sensibles generalmente no deben registrarse directamente. También requiere que los caminos de archivos y los detalles de la red interna sean datos que puedan necesitar un tratamiento especial. Las herramientas de los agentes manejan rutinariamente todos los elementos de esa lista. Los mensajes de error de forma libre son una puerta trasera común. Esto no es seguro: La versión operacionalmente útil es más pequeña: Todavía admite la agregación, el enrutamiento de alertas, el análisis de nuevo y la correlación con un registro local protegido. No convierte el almacén de observabilidad en una copia del error secreto. Los nombres clave también requieren juicio. calendar id revela menos que su valor, pero una clave como customer alice hiv status ya contiene contenido. Mantenga un esquema aprobado para los nombres de las herramientas y los nombres de las claves; rechace o mapee los nombres inesperados a other . La cardinalidad no es sólo una preocupación de costes, sino una preocupación de límites de datos. Reproduce el desinfectante en tres accesorios hostiles El material de acompañamiento contiene tres hechos falsos pero realistas: 1. una búsqueda exitosa del calendario con un correo electrónico falso y un token portador; 2. una publicación de vista previa rechazada con una clave de API falsa y un camino privado; 3. una base de datos sin tiempo escribe con una cadena de conexión falsa y correo electrónico. El desinfectante no busca patrones secretos. Construye un nuevo objeto a partir de una lista de permisos: Ejecutar el artefacto verificado del paquete de pruebas del artículo: La producción reproducida conserva el diagnóstico: También apoya conclusiones concretas. Se completó la herramienta de calendario y se aprobó la verificación de resultados. La llamada de vista previa necesita atención con permiso, no un reintento ciego. La lista de espera escribe sin tiempo en su segundo intento y la verificación de registro duradero falló, por lo que el comando devuelto no es una condición de éxito. La diferencia de byte por byte pasó. Una búsqueda separada de todos los tokens de portador de canarias plantados, clave de API, cadena de conexión, valores de correo electrónico y camino privado no devolvió coincidencias en el archivo desinfectado. Esta es una prueba útil para mantenerse en el CI: añadir un canario falso único a cada dispositivo sensible y fallar si cruza el límite del exportador. La captura de contenido es un modo de escalada La telemetría libre de contenido tiene una limitación real: no puede explicar por qué una solicitud fue mal entendida semánticamente o si una respuesta modelo contenía un error de hecho sutil. El límite debe, por tanto, ser una escalada controlada, no una afirmación absoluta de que el contenido nunca es útil. El Orientación para la captura de contenido de OpenTelemetry dice que las instrucciones, los mensajes del usuario y las salidas del modelo son sensibles y a menudo grandes, y no deben capturarse por defecto. En ella se describe un almacenamiento externo separado con controles de acceso distintos como una opción de producción cuando se debe conservar contenido sensible. Antes de activar ese modo, decida todos los siguientes: la dirección exacta, la herramienta o el inquilino en el alcance; quién aprobó la recogida y quién puede leerla; los campos que se filtran antes de la exportación; la duración máxima y la retención; la región de almacenamiento y los controles de acceso; la forma en que se verifica la eliminación; la forma en que el modo vuelve automáticamente a content captured: false . El muestreo no es redacción. Una muestra del 1% todavía puede capturar el único mensaje que contiene una credencial. El cifrado tampoco es una minimización: protege los bytes almacenados, pero no justifica su recogida ni evita la sobreexposición autorizada. Comience con el listado de permisos, y luego añada un camino forense regido por separado sólo cuando la pregunta operativa no puede ser contestada de otra manera. Unirse a la telemetría a un resultado, luego decidir Un evento de observabilidad describe una operación. La salud de los agentes requiere un hecho más: ¿se ha cumplido el trabajo previsto? Un controlador de base de datos puede devolver el éxito mientras una transacción posterior se retrocede. Una herramienta de escritura de archivos puede salir de cero mientras escribe el camino equivocado. Una API de mensajes puede aceptar una solicitud mientras que el destino la rechaza de forma asíncrona. Por lo tanto, el envase de telemetría debe contener el nombre y el estado de una verificación determinista de resultados sin copiar el contenido del resultado. Utilice esta orden de decisión: 1. O Resultado pasado: cierra la operación incluso si se produce un retiro transitorio; conserva la señal de retiro para el análisis de costes y fiabilidad. 2. Tool falló y el resultado falló: ruta por la clase de error estable. Reutilizar solo si la operación es reversible y dentro de un límite aprobado. 3. Tool tuvo éxito y el resultado falló: clasifica el éxito falso e investiga el contrato entre la herramienta y el verificador. 4. O resultado no ejecutado: no califica el trabajo como completado. Planifique o realice el chequeo. 5. E no hay pruebas o son contradictorias: marca el estado de incertidumbre y pide antes de una intervención activa. Esto separa la actividad del progreso útil y la finalización del comando del resultado del usuario. También hace que la recuperación sea más segura: un operador puede preparar una acción limitada y luego eliminar el problema solo después de que haya pasado la verificación de resultados. El incumplimiento de la producción Para la mayoría de las cargas de trabajo de LLM y agentes, comience con una lista de permisos de telemetría pequeña y documentada. Mantenga la correlación, el funcionamiento, el error estable, el tiempo, el intento, la forma y los campos de resultado. Mantenga el contenido apagado por defecto. Prueba al exportador con canarios plantados. Tratar la captura de contenido temporal como un procedimiento de incidente autorizado por separado. Ese defecto no responderá a todas las preguntas forenses. Responda a las preguntas de rutina sobre salud sin crear silenciosamente una base de datos de instrucciones, credenciales, registros de clientes y resultados de las herramientas. La dirección del producto de Sidewisp es convertir la disponibilidad, ejecución, memoria, herramienta, resultado y evidencia de costo en una visión clara de la salud mientras se preserva la autoridad humana y se recopila solo lo que se necesita. Sidewisp se encuentra actualmente en versión preliminar privada. El sitio público y los artículos están en vivo; generalmente no se envían adaptadores de monitoreo de producción y recuperación automática. Si este límite de pruebas coincide con la forma en que quieres operar a los agentes, puedes unirte a la lista de espera de la vista previa privada.