Datadog LLM Observabilité pour le lit: prouver la trace interne

Datadog LLM Observabilité pour Bedrock peut expliquer un appel de modèle capturé ou une invocation d'agent, mais une trace visible n'est pas encore un verdict de santé. Pour un agent Amazon Bedrock existant, il faut cinq reçus: la configuration prévue a été préparée, le pseudonyme ou la version correcte a été exécutée, des événements de trace interne sont arrivés, toute action de transfert a atteint un état défini et le résultat promis existe à sa destination. Cette distinction compte maintenant. AWS dit qu'Amazon Bedrock Agents est maintenant Amazon Bedrock Agents Classic et ne sera plus ouvert aux nouveaux clients à partir du 30 juillet 2026; les clients existants peuvent continuer à l'utiliser. Ce guide est donc un audit des déploiements actuels de Bedrock Agents Classic. Il ne s'agit pas d'une recommandation de champ vert, et elle ne suppose pas que l'intégration d'AgentCore ait une télémétrie identique. Commencez par le contrat de Bedrock exact que vous tracez. Le premier piège est de traiter le traçage de Bedrock comme une caractéristique. Datadog documente le suivi automatique des méthodes de fonctionnement de Bedrock InvokeModel() et InvokeModelWithResponseStream() . Ces intervalles peuvent contenir la latence, les erreurs, les messages et l'utilisation de jetons pour un appel modèle. Un agent de Bedrock utilise une opération différente: InvokeAgent . La référence actuelle d'instrumentation automatique de Datadog dit que son intégration Python Bedrock Agents suit l'appel InvokeAgent global par défaut. Pour exposer les étapes intra agent, la demande doit utiliser enableTrace=True . AWS donne au même interrupteur une signification opérationnelle: l'activation de trace suit le processus de raisonnement, les actions et le résultat de l'agent. La réponse InvokeAgent est un flux d'événements qui peut contenir des blocs de sortie, des événements de suivi, des erreurs, des citations et une charge utile de contrôle de retour. Ainsi, ne voir que l'appel extérieur prouve moins que voir l'orchestration, la base de connaissances, la barrière de garde et les preuves de groupe d'action à l'intérieur. Couche de preuve Ce que cela prouve Ce qu'il ne prouve pas Département de couchage Une invocation de modèle capturée, la durée, les erreurs et les champs d'utilisation disponibles Quelle version de l'agent a demandé l'appel ou si la tâche a été terminée Spans de racine InvokeAgent La demande invoquait le temps d'exécution de l'agent Bedrock Cette orchestration ancrée a été capturée. Événements de traces à l'intérieur du nid L'invocation sélectionnée a révélé des étapes de raisonnement et d'action internes Que le projet prévu a été préparé ou que l'effet externe existe Partie de réponse complète Bedrock a rendu la réponse finale de l'interaction Que la livraison promise a été acceptée Résumé de la destination Un fichier, un enregistrement, un message ou un autre effet attendu existe et est valide Pourquoi un agent a t il agi comme il l'a fait ? Le défaut utile est de conserver l'instrumentation automatique pour les appels pris en charge et d'ajouter un petit reçu de santé sans contenu autour de InvokeAgent . Ne téléchargez pas d'invitations, d'identifiants, d'arguments d'outils ou de réponses complètes juste pour établir l'état. Enregistrez les identifiants, les timestamps, les booléens, les comptes et les hachages là où ils sont suffisants. Ramasser cinq reçus pour chaque invocation importante L'audit devient gérable lorsque chaque frontière possède un reçu. 1. Recevoir de configuration préparée AWS distingue le projet de travail des versions préparées et des pseudonymes. Après avoir modifié le projet de travail, vous devez le préparer avant l'essai ou le déploiement. AWS recommande également de vérifier la valeur preparedAt de l'agent. Le dossier: La règle déterministe est simple: Si elle échoue, classez la course comme CONFIG NOT PREPARED . Ne débogagez pas une trace détaillée comme si elle représentait la configuration prévue. 2. Résumé de l'identité de l'invocation Ne réutilisez le même Bedrock sessionId que lorsque vous continuez la même conversation. Gardez l'alias ou la version sélectionnée à côté d'un hash à sens unique de l'identifiant de session. Cela relie l'espace de racine Datadog, le flux d'événements Bedrock et la portée attendue de l'opérateur sans conserver le contenu de l'utilisateur. Une trace récente avec le faux pseudonyme est une preuve de mauvaise portée, pas une preuve saine. 3. Résumé de la couverture interne Définir l'activation des traces sur la demande lorsque la question opérationnelle dépend des étapes internes: Ne jamais imprimer les valeurs dans un diagnostic de production. Le reçu ne nécessite que: Si l'intervalle de racine existe, mais que la trace est désactivée ou qu'aucun événement n'arrive, retournez TRACE INCOMPLETE . C'est un verdict de couverture. Ça ne prouve pas que l'agent a échoué. De même, une étendue de racine Datadog manquante doit être TRACE MISSING , et non AGENT FAILED . L'échantillonnage, la configuration de l'exportateur, le transport, les versions de bibliothèque non prises en charge ou l'ordre des instruments peuvent tous supprimer les preuves. Le datadog expose un réglage du taux d'échantillonnage des traces, de sorte que l'absence doit préserver l'incertitude. 4. Réception de l'état d'action Un agent peut invoquer un groupe d'action soutenu par Lambda, demander une base de connaissances ou renvoyer le contrôle à l'application d'appel. Dans la voie de retour contrôle, l'application reçoit l'action prévue et doit soumettre un résultat pour poursuivre. Enregistrer si: une erreur d'action s'est produite; une charge utile de contrôle de retour est arrivée; la demande a présenté le résultat de l'action correspondante; Un morceau de réponse est toujours en attente. Lorsque le contrôle de retour est présent et qu'aucun résultat n'a été présenté, l'état correct est WAITING FOR ACTION RESULT . Il a un propriétaire et une action suivante. L'appeler coincé crée des alertes bruyantes; l'appeler complet perd son travail. 5. Résultat de la réception Datadog peut placer des évaluations personnalisées à côté d'une trace, et ces évaluations sont utiles pour des contrôles subjectifs de qualité ou de politique. Préférer un vérificateur déterministique lorsque la promesse est vérifiable: la livraison du fichier: chemin attendu, MIME, taille, somme de contrôle et schéma; écrire la base de données: clé d'enregistrement, version et champs requis; message sortant: reçu du fournisseur et hash de destination; déploiement: révision de l'objectif et contrôle de santé indépendant; Réponse de connaissances: citations requises plus une règle d'acceptation de domaine. La réception des résultats doit contenir les éléments de preuve minimaux nécessaires pour reproduire le verdict. Une réponse disant done n'est pas l'un de ces champs. Exécutez la règle de décision des huit États L'artefact d'accompagnement applique les reçus dans un ordre fixe. Les limites antérieures empêchent les preuves ultérieures de créer un faux vert: J'ai comparé ce classifiateur à huit cas sans contenu. Les huit jugements correspondent à leurs attentes: L'appareil donne délibérément outcomeVerified: true à l'étui de préparation de l'ancienneté. Il renvoie toujours CONFIG NOT PREPARED , car un résultat de la mauvaise configuration préparée ne peut pas certifier la libération prévue. Il donne également une réponse complète Bedrock à l'affaire fausse complète; sans le reçu de destination, le verdict final reste rouge. Chaque verdict est une action limitée. Le classificateur n'est utile que si ses états modifient le prochain mouvement de l'opérateur. Le verdict Première action Ne le faites pas. CONFIG NOT PREPARED Préparez le projet prévu, confirmez preparedAt , puis redémarrer un canary Diagnostiquer les traces anciennes comme la nouvelle version TRACE MISSING Vérifiez les versions du SDK et du traceur pris en charge, l'ordre d'initialisation, la livraison à l'exportateur et le prélèvement d'échantillons Ressais l'agent comme si l'absence s'était avérée un échec. TRACE INCOMPLETE Confirmez à enableTrace=True que les événements enracinés atteignent la trace de Datadog. Appelez la couverture complète de l' agent extérieur WORKING Attendez dans le délai de l'invocation jusqu'à ce que les changements de progression nés Alerte uniquement sur le temps écoulé WAITING FOR ACTION RESULT Envoyer la demande de contrôle de retour à son propriétaire avec une date limite Réinitialisez l'agent ou marquez le collé ACTION FAILED Inspectez la première action ratée et sa limite d'erreur; ne réessayez que si l'effet est sûr Répétez aveuglément un effet secondaire incertain FALSE COMPLETE Exécuter le vérificateur de destination et réparer le résultat manquant Accepter le texte de réponse finale comme livraison HEALTHY Retenez le reçu compact et fermez la course. Préserver des charges utiles sensibles pour tout cas Cette ordonnance clarifie également la propriété des incidents. Les problèmes de couverture des données appartiennent à l'instrumentation ou au transport. Une attente de retour contrôle appartient à la demande ou à l'homme qui détient la décision externe. Une action ratée appartient à la limite de l'outil. Un livrable manquant appartient au vérificateur des résultats. Une alerte d'erreur d'agent générique ne peut porter ces distinctions. Gardez les limites de Datadog et Sidewisp honnêtes L'observabilité de l'agent datadog est le bon endroit pour inspecter les traces capturées, la structure d'espace, la latence du modèle et de l'outil, l'utilisation des jetons disponibles, les erreurs et les évaluations. La documentation d'intégration Bedrock fournit des étapes concrètes de configuration et de validation, y compris la vérification de l'état du traceur et le débogage des problèmes de transmission. L'audit ci dessus ajoute une limite de libération et de résultat; il ne diminue pas les traces de preuves. Elle empêche ces preuves de répondre à une question qu'elles n'ont pas été conçues pour répondre seules. Il reste trois limites: 1. Le fichier valide la priorité de la décision, pas la véracité des données AWS, Datadog ou destination. 2. L'échantillonnage peut supprimer intentionnellement les traces. Un SLO de couverture a besoin d'un canarien contrôlé ou d'un autre dénominateur; l'absence de traces de production seule est ambiguë. 3. Un juge LLM peut aider à la qualité subjective des réponses, mais il ne devrait pas remplacer une vérification déterministe de la destination pour un effet inspectable. Pour les déploiements actuels de Bedrock Agents Classic, la ligne d'arrivée pratique est donc: version préparée actuelle, champ d'invocation correct, trace interne complète lorsque nécessaire, état d'action résolu et résultat vérifié. Tout ce qui est moins devrait rester en activité, en attente, incertain ou en échec. Sidewisp est actuellement en préversion privée. Il est destiné à ajouter une couche de santé de l'agent autour des temps d'exécution existants, mais ses adaptateurs de production Bedrock et Datadog ne sont pas expédiés. Rejoignez l'aperçu privé si ce flux de travail sur la santé correspond à la façon dont vous opérez avec les agents; continuez à utiliser Datadog et AWS comme leur documentation actuelle le soutient aujourd'hui. Les sources L'intégration de Datadog Amazon Bedrock Instrumentation automatique du datadog pour l'observabilité de l'agent Datadog: Agents de surveillance construits sur Amazon Bedrock Référence API AWS InvokeAgent AWS: Test et dépannage du comportement des agents