LLM Observabilité sans fuite rapide: un contrat de télémétrie sécurisé

L'observabilité de LLM devrait expliquer à quelle opération a été exécutée, quelle a échoué, combien de temps a t elle duré, si elle a été réessayée et si le résultat prévu existe . Il n'est pas nécessaire de copier chaque commande, argument ou résultat d'outil dans un backend télémétrique pour répondre à ces questions. Une production sécurisée par défaut est une enveloppe minimisée par le contenu: identifiants de corrélation, noms d'opération et d'outil, classes d'erreur à faible cardinalité, calendrier, numéro d'essai, entrée noms clés , forme de résultat et verdict de résultat indépendant. Capture du contenu du message ou de l'outil uniquement pour une enquête spécifique, avec autorité explicite, une courte fenêtre de conservation et des contrôles de stockage correspondant aux données. Ce guide construit ce défaut et le teste contre trois événements sensibles délibérément agent. Suivre l'opération, pas la charge privée La définition large de l'observabilité de LLM comprend les traces, les mesures, les journaux, les évaluations, le comportement des modèles et les résultats de l'application. Pour un opérateur d'agent, la question utile est plus étroite: les preuves peuvent elles distinguer un appel de modèle lent, un appel d'outil refusé, une attente légitime, une boucle de réessayer et un outil qui est retourné avec succès alors que le livrable n'est jamais apparu? Le OpenTelemetry Conventions sémantiques génétiques actuel offre un vocabulaire de départ utile. La portée de l'outil d'exécution utilise gen ai.operation.name et gen ai.tool.name ; elle décrit également un identifiant d'appel d'outil, le type d'outil et error.type . Le même document marque les arguments et les résultats des appels d'outils comme opt in et prévient que les deux peuvent contenir des informations sensibles. Ces conventions sont dans Development , alors fixez la version que vous mettez en œuvre et attendez des changements. Cette fraction est opérationnellement solide. Les champs suivants répondent généralement aux premières questions de réponse à l'incident sans reproduire le contenu: champs Ce qu'elle répond Règle de collecte trace id , run id , step id À quelle exécution et à quelle étape appartient cet événement ? Gardez des identifiants opaques; ne les dérivez pas du contenu. operation , tool name , tool type Quel genre de travail a été tenté? Utilisez des noms limités et documentés. status , error type Elle a échoué, et par quelle classe stable? Préférer timeout ou permission denied à un message fournisseur de formulaire libre. duration ms , attempt C'est lent ou répétitif ? Des chiffres record, pas un récit. input keys Quelle forme de demande a été tentée? Conserver les noms des clés; rejeter les valeurs par défaut. result shape L'outil n'a t il rien rendu, un tableau ou un objet? Gardez les touches de type, de compte ou de niveau supérieur; écartez les valeurs. outcome check , outcome status Le résultat attendu de l'utilisateur a t il atterri ? Vérifiez séparément de l'achèvement de l'outil. content captured Le contenu est il présent ailleurs? Faites que la frontière soit visible et consultable. run id et les champs de résultats ci dessus sont un contrat d'application et non des attributs standard OpenTelemetry. C'est délibéré: le suivi du vocabulaire et des données de santé spécifiques à la tâche résolvent des problèmes connexes mais différents. Une liste d'abonnement dépasse une liste de rédaction sans fin Le code de rédaction demande: Quelles valeurs dangereuses avons nous oubliées de supprimer? Un permisseur demande: Quels champs ont obtenu le droit de quitter le processus? Pour la télémétrie de production de routine, la deuxième question a une surface de défaillance plus petite. Le OWASP feuille de tricherie de l'exploitation forestière dit que les jetons d'accès, les mots de passe, les chaînes de connexion de base de données, les clés de cryptage et les données personnelles sensibles ne devraient généralement pas être enregistrés directement. Il décrit également les chemins de fichier et les détails du réseau interne comme des données pouvant nécessiter un traitement spécial. Les outils de l'agent traitent régulièrement chaque élément de cette liste. Les messages d'erreur de forme libre sont une porte arrière commune. C' est dangereux . La version opérationnelle est plus petite: Il prend toujours en charge l'agrégation, le routage d'alerte, l'analyse de la répétition et la corrélation avec un enregistrement local protégé. Il ne transforme pas le magasin d'observabilité en une copie de l'erreur secrète. Les noms clés exigent aussi un jugement. calendar id révèle moins que sa valeur, mais une clé telle que customer alice hiv status contient déjà du contenu. Garder un schéma approuvé pour les noms des outils et les noms des clés; rejeter ou cartographier les noms inattendus à other . La cardinalité n'est pas seulement un problème de coûts, c'est un problème de frontières de données. Reproduire le désinfectant sur trois appareils hostiles L'appareil d'accompagnement contient trois faits faux mais réalistes: 1. une recherche réussie du calendrier avec un faux courrier électronique et un jeton porteur; 2. une publication d'aperçu refusée avec une fausse clé API et un chemin privé; 3. une base de données dépassée écrit avec une fausse chaîne de connexion et un courrier électronique. Le désinfectant ne cherche pas récursivement des modèles secrets. Il construit un nouvel objet à partir d'un permis: Exécutez l'artefact vérifié à partir du paquet de preuves de l'article: Le résultat reproduit conserve le diagnostic: Elle appuie également des conclusions concrètes. L'outil de calendrier a été complété et la vérification des résultats a été réussie. L'appel d'aperçu a besoin d'attention de permission, pas d'une nouvelle tentative aveugle. La liste d'attente a expiré lors de sa deuxième tentative et la vérification du dossier durable a échoué, donc la commande retournée n'est pas une condition de succès. La différence octet par octet est passée. Une recherche séparée de tous les jetons canaries plantés, la clé API, la chaîne de connexion, les valeurs de courrier électronique et le chemin privé n'a pas renvoyé de correspondance dans le fichier désinfecté. Il s'agit d'un test utile à maintenir dans l'IC: ajouter un canary faux unique à chaque appareil sensible et échouer s'il franchit la frontière de l'exportateur. La capture de contenu est un mode d'escalade La télémétrie sans contenu a une limite réelle: elle ne peut expliquer pourquoi un prompt a été mal compris sémantiquement ou si une réponse modèle contenait une erreur factuelle subtile. La limite devrait donc être une escalade contrôlée et non une affirmation absolue selon laquelle le contenu n'est jamais utile. Le orientation sur la capture de contenu d'OpenTelemetry indique que les instructions, les messages utilisateur et les sorties de modèle sont sensibles et souvent grandes, et ne doivent pas être capturées par défaut. Il décrit un stockage externe séparé avec des contrôles d'accès distincts comme une option de production lorsque des contenus sensibles doivent être conservés. Avant d'activer ce mode, décidez de tout ce qui suit: l'exploitation exacte, l'outil ou le locataire dans la portée; qui a approuvé la collecte et qui peut la lire; quels champs sont filtrés avant l'exportation; la durée maximale et la rétention; la région de stockage et les contrôles d'accès; comment la suppression est vérifiée; comment le mode retourne automatiquement à content captured: false . Le prélèvement d'échantillons n'est pas une édition. Un échantillon d'un pour cent peut toujours capturer le seul message contenant une carte d'identité. Le chiffrement n'est pas non plus une minimisation: il protège les octets stockés mais ne justifie pas leur collecte ni empêche une surexposition autorisée. Commencez par la liste d'accès, puis ajoutez un parcours médico légale réglementé séparément seulement lorsque la question opérationnelle ne peut être répondue autrement. Rejoignez la télémétrie à un résultat, puis décidez Un événement d'observabilité décrit une opération. La santé des agents exige un autre fait: le travail prévu s'est il réalisé? Un pilote de base de données peut retourner le succès alors qu'une transaction ultérieure se rétracte. Un outil d'écriture de fichiers peut sortir de zéro tout en écrivant le mauvais chemin. Une API de message peut accepter une demande alors que la destination la rejette de manière asynchrone. L'enveloppe de télémétrie devrait donc porter le nom et l'état d'un contrôle déterministique des résultats sans copier le contenu du résultat. Utilisez cet ordre de décision: 1. O: ferme l'opération même si une nouvelle tentative transitoire a eu lieu; conserve le signal de nouvelle tentative pour l'analyse des coûts et de la fiabilité. 2. Tool a échoué et le résultat a échoué: route par la classe d'erreur stable. Ne réessayez que si l'opération est réversible et dans une limite approuvée. 3. Tool a réussi et le résultat a échoué: classifie le faux succès et enquête sur le contrat entre l'outil et le vérificateur. 4. Oexit n'a pas été exécuté: ne qualifie pas le travail d'achèvement. Planifiez ou effectuez le contrôle. 5. E preuve manque ou est contradictoire: marque l'état incertain et demande avant une intervention active. Cela sépare l'activité du progrès utile et l'achèvement de la commande du résultat de l'utilisateur. Il rend également la récupération plus sûre: un opérateur peut préparer une action limitée, puis éliminer le problème seulement après la vérification des résultats. Le défaut de production Pour la plupart des charges de travail de LLM et d'agents, commencez par une petite liste de permis de télémétrie documentée. Gardez la corrélation, le fonctionnement, l'erreur stable, le timing, l'effort, la forme et les champs de résultats. Éteignez le contenu par défaut. Testez l'exportateur avec des canaries plantées. Traiter la capture de contenu temporaire comme une procédure d'incident autorisée séparément. Ce défaut ne répondra pas à toutes les questions. Il répondra à des questions de routine sur la santé sans créer silencieusement une base de données ombragée de conseils, d'identifiants, de dossiers de clients et de résultats des outils. L'orientation du produit de Sidewisp est de transformer la disponibilité, l'exécution, la mémoire, l'outil, les résultats et les preuves de coûts en une vision claire de la santé tout en préservant l'autorité humaine et en collectant seulement ce qui est nécessaire. Sidewisp est actuellement en préversion privée. Le site public et les articles sont en direct; les adaptateurs de surveillance de la production et la récupération automatisée ne sont généralement pas expédiés. Si cette limite de preuves correspond à la façon dont vous voulez exploiter les agents, vous pouvez rejoindre la liste d'attente d'avant première privée.