Elastic LLM Observabilité: soutien à l'audit avant le vert

L'observabilité élastique de LLM peut vous en dire beaucoup sur les appels de modèle, mais une vue Kibana verte n'est pas encore un verdict d'agent santé. Avant de lui faire confiance, vérifiez cinq couches dans l'ordre: le chemin de collecte, le support pour la paire de langues/fournisseurs exacte, la fraîcheur de la télémétrie, les champs GenAI requis et le résultat de destination. Cet ordre compte. Les documents élastiques sont constitués de deux méthodes de collecte: les intégrations fournisseurs pour les mesures et les journaux, et le suivi des applications à travers les distributions élastiques d'OpenTelemetry (EDOT). Ces méthodes ont une couverture différente. Même une gamme LLM sans erreur supportée ne prouve pas que la logique commerciale spécifique à l'application a fonctionné ou que la livrabilité promise existe. Ce guide transforme ces limites en une petite vérification que vous pouvez effectuer avant d'éliminer un incident. Identifiez le chemin de collecte avant de lire le tableau de bord Le Vue d'ensemble de l'observabilité de LLM et de l'agent AI d'Elastic décrit un large ensemble d'intégrations de fournisseurs, de traces APM, de mesures, de journaux et de tableaux de bord. La première erreur opérationnelle est de compresser tout cela en une capacité appelée "monitorage élastique". Gardez deux avions de collecte séparés: Un avion Qu'est ce qui produit les preuves ? Utilisée pour Ce qu'elle n'établit pas Intégration des fournisseurs Un fournisseur ou un service cloud envoie des mesures et des journaux Erreurs du fournisseur, latence, utilisation, événements de garde corps, santé de la plateforme Que votre demande a émis une durée LLM ou a complété son propre effet d'outil Traçage des applications EDOT Un processus Java, Node.js ou Python instrumenté exporte des étendues OTLP Flux de demande, appel de modèle, durée, erreurs, champs de jetons, corrélation Que les bibliothèques non prises en charge ont été équipées ou que le livrable externe existe Ce n'est pas une faiblesse du produit. C'est une limite de preuves. Une intégration Bedrock peut fournir de nouvelles métriques de service alors qu'une application Java n'a pas d'instrumentation EDOT Bedrock LLM documentée. À l'inverse, une durée de client OpenAI peut être complète tandis qu'une rédaction de base de données personnalisée ultérieure n'est pas instrumentalisée. Le Page de support EDOT LLM actuel d'Elastic rend la frontière entre la langue et le fournisseur concrète: Voie du fournisseur Java EDOT Node.js EDOT Python éditeur : : : Client OpenAI Soutenue Soutenue Soutenue AWS Bedrock Ne figure pas dans la liste Ne figure pas dans la liste Soutenue Google Vertex AI Ne figure pas dans la liste Ne figure pas dans la liste Soutenue La page étiquette l'observabilité de LLM dans les trois distributions EDOT comme prévisualisation technique et dirige les opérateurs vers des pages spécifiques au SDK pour des versions exactes. Traitez cette table comme un instant de soutien daté, pas une promesse de capacité éternelle. L'audit commence donc par deux questions auxquelles un tableau de bord ne peut répondre pour vous: 1. Quel avion devrait contenir les preuves de cet incident ? 2. Le langage déployé, le fournisseur, le package client et la version ont ils documenté l'instrumentation sur cet avion? Si la réponse à la deuxième question est non, n'attendez pas qu'un intervalle manquant apparaisse. Classifier le chemin comme non supporté, choisir une instrumentation OpenTelemetry native ou manuelle documentée ou modifier l'exigence de preuve. Aucune erreur dans Elastic n'est significative lorsque l'événement pertinent n'a jamais été prévu pour être capturé. Support de test et schéma en tant que portes séparées Soutenue ne signifie pas observée, et observée ne signifie pas complète. Le Tableau de technologie EDOT Python documente les versions Python, les gammes de paquets client, les noms de traceurs et l'état de la convention sémantique. Au moment de cet examen, sa ligne d'instrumentation OpenAI étiquette les conventions sémantiques comme development . La même page indique explicitement que l'instrumentation automatique ne peut pas couvrir les cadres personnalisés ou propriétaires, les composants non pris en charge à source fermée ou la logique commerciale spécifique à l'application. Cela nous donne quatre contrôles distincts: 1. Support: la matrice documentée inclut la paire langue/fournisseur. 2. Reaccessibilité: le collecteur et le chemin d'ingestion acceptent la télémétrie courante. 3. Présence: la course produit l'espace de LLM attendu. 4. Schema: l'espace contient les champs requis pour la décision de l'opérateur. Un contrat de terrain minimal peut nécessiter: Ne confondez pas cet exemple avec un schéma universel. Fixer les versions de convention sémantique et d'instrumentation utilisées par votre déploiement. Les anciennes pages de convention GenAI d'OpenTelemetry indiquent maintenant un référentiel dédié des conventions sémantiques de GenAI, ce qui est une autre raison d'enregistrer la provenance plutôt que de supposer qu'un ensemble d'attributs est intemporel. Le classifiant ci dessous préserve les états de défaillance importants: Exécutez l'audit contre un dispositif plutôt que de tester uniquement le bon chemin: Le procès de neuf cas qui a suivi a donné lieu à neuf verdicts attendus: Cette priorité empêche une erreur de surveillance courante: laisser un signal vert ultérieur cacher une lacune de preuve antérieure. Une durée réussie ne peut pas annuler un chèque de collectionneurs inaccessible, et une course terminée ne peut annuler un reçu de destination manquant. Préserver l'attente, manquer de preuves et échec en tant qu'états différents Une pause d'approbation n'est pas une défaillance de l'instrumentation. Un délai manquant n'est pas automatiquement une défaillance du fournisseur. Un chemin non soutenu n'est pas une télémétrie périmée. Ces distinctions modifient le prochain mouvement de l'opérateur: Le verdict La signification L'action suivante est limitée UNSUPPORTED PATH L'instrumentation automatique LLM attendue est en dehors de la matrice documentée Ajouter des champs natifs/manuaux documentés ou modifier le contrat de preuve TELEMETRY STALE Des preuves pertinentes existent, mais pas dans la fenêtre de fraîcheur de la course Vérifiez l'exportation, le collecteur, l'ingestion, l'horloge et la fenêtre de requête INSTRUMENTATION GAP Le parcours est pris en charge et la télémétrie fraîche arrive, mais l'espace LLM est absent. Vérifiez la portée du paquet, le démarrage, l'instrumentation désactivée et l'identité du traceur SCHEMA GAP L'intervalle existe mais ne peut pas répondre à la question requise Vérifiez la version de la convention et la cartographie des champs; signalez que le champ n'est pas disponible en attendant WAITING Une dépendance ou une approbation nommée est exceptionnelle Informer le propriétaire enregistré; ne réessayez pas l'outil à l' aveugle FALSE COMPLETE L'élastique montre une finition propre mais le résultat promis n'est pas vérifié Effectuer une vérification déterministe de la destination avant de fermer l'incident Remarquez ce que le tableau ne recommande pas: traiter chaque lacune comme une raison de redémarrer l'agent. La récupération sans diagnostic peut dupliquer les effets externes, dépenser plus de jetons ou effacer des preuves utiles. Pour une attente légitime, conservez un propriétaire, raison, heure de démarrage, date limite, et condition de reprise. Cela transforme une pause ambiguë en un état opérationnel inspectable. Si la date limite est passée, l'État peut être coincé ou avoir besoin d'attention humaine, mais la pause initiale n'a pas été un échec simplement parce qu'aucune nouvelle période n'est arrivée. Requérir un reçu de résultat en dehors de la trace Un LLM répond à une question d'appel de modèle. Le délivrable appartient à la demande. Supposons qu'un agent demande à un modèle de préparer une facture, appelle une API interne et rapporte la finition. L' élastique peut montrer: une trace fraîche; le fournisseur et le modèle attendus; pas d'exception; la latence plausible et le nombre de jetons; une transaction de racine accomplie. La facture peut toujours être absente. L'API personnalisée peut avoir accepté la demande sans l'engager, un travailleur asynchrone peut avoir échoué, ou l'agent peut avoir sauté l'outil et n'avoir produit qu'une réclamation textuelle. Définissez le plus petit reçu déterministe qui prouve l'effet promis. Les exemples sont les suivants: l'objet attendu existe à la destination et correspond à un hash de contenu; une ligne de base de données a la clé d'entreprise prévue et l'état engagé; une demande de retrait existe au référentiel et à l'agence SHA prévue; un point final du rapport renvoie la nouvelle version et passe la validation du schéma; un fournisseur de messages renvoie un identifiant de livraison qui peut être reconcilié ultérieurement. Conservez uniquement les éléments de preuve minimaux sûrs: L'identifiant de trace fournit une corrélation. Ce n'est pas la preuve elle même. Dans le fichier, la seule différence entre FALSE COMPLETE et HEALTHY est outcomeVerified: true ; aucun des champs d'étendue élastique ne change. C'est la règle de base de l'exploitation: supprimer un incident uniquement lorsque la couverture télémétrique et les preuves des résultats de l'application s'accordent. Traiter la vie privée et la dérive de version comme faisant partie de la santé L'examen général d'Elastic indique que le traçage de LLM peut capturer les instructions et les réponses. Cela peut être utile pour le diagnostic, mais cela change aussi les limites des données. Décider explicitement si le contenu est autorisé avant de l'activer. Préférer les identifiants, les longueurs, les hachages, les classifications, le nombre de jetons et les catégories d'erreurs éditées lorsque le contenu complet n'est pas requis. Enregistrer ces valeurs à chaque audit de couverture: une version de déploiement élastique et de distribution EDOT; la version de l'exécution de la langue et du package client instrumenté; le nom du paquet d'instrumentation active et du traceur; source et révision de la convention sémantique; la voie de collecte et d'ingestion; champs requis et fenêtre de fraîcheur; la politique de capture de contenu; version du vérificateur de destination. Réinitialisez l'appareil lorsque l'une de ces valeurs change. Une mise à niveau du package peut ajouter du support, renommer ou migrer des champs ou modifier l'instrumentation par défaut. Un objet enregistré sur le tableau de bord peut rester vert tandis que ses hypothèses deviennent discrètement obsolètes. Le défaut pratique est modeste: utilisez Elastic pour le modèle et les preuves d'application qu'il recueille réellement, gardez explicitement les signaux non supportés ou manquants et ajoutez un reçu déterministe pour le résultat dont l'utilisateur se soucie. Cela produit une décision de santé défendable sans prétendre qu'un tableau de bord possède chaque couche. Sidewisp est actuellement en préversion privée. Sa direction de produit est de transformer des preuves telles que la facilité d'accès, les progrès, l'accès aux outils, le contexte, les coûts et les résultats vérifiés en une vue claire de la santé; les adaptateurs de surveillance Elastic en direct ne sont pas actuellement expédiés. Si cette distinction entre l'achèvement des traces et le travail réel est importante dans votre pile d'agents, la liste d'attente d'aperçu privé est l'endroit approprié pour partager le cas d'échec dont vous avez besoin.