Datadog LLM Beobachtbarkeit für Bettwäsche: Nachweis der inneren Spur

Datadog LLM Beobachtbarkeit für Bedrock kann einen erfassten Modell Anruf oder eine Agentinvocation erklären, aber eine sichtbare Spur ist noch kein Gesundheitsurteil. Für einen bestehenden Amazon Bedrock Agent sind fünf Quittungen erforderlich: die beabsichtigte Konfiguration wurde vorbereitet, der richtige Alias oder Version ausgeführt, interne Spurenereignisse kamen, jede Handover Aktion erreichte einen definierten Zustand und das versprochene Ergebnis existiert an seinem Bestimmungsort. Diese Unterscheidung ist jetzt wichtig. AWS sagt, Amazon Bedrock Agents ist jetzt Amazon Bedrock Agents Classic und wird ab dem 30. Juli 2026 nicht mehr für neue Kunden geöffnet sein; bestehende Kunden können es weiterhin verwenden. Dieser Leitfaden ist daher ein Audit für bestehende Bedrock Agents Classic Einsätze. Es handelt sich nicht um eine grüne Empfehlung und geht nicht davon aus, dass eine AgentCore Integration identische Telemetrie besitzt. Beginnen Sie mit dem genauen Bedrock Vertrag , den Sie verfolgen . Die erste Falle ist die Behandlung von Bedrock Tracing als ein Merkmal. Datadog dokumentiert die automatische Verfolgung der Bedrock Runtime Methoden InvokeModel() und InvokeModelWithResponseStream() . Diese Spannungen können Latenz, Fehler, Nachrichten und Token Nutzung für einen Modellruf enthalten. Ein Bedrock Agent verwendet eine andere Laufzeit Operation: InvokeAgent . Die aktuelle automatische Instrumentationsreferenz von Datadog sagt, dass seine Python Bedrock Agents Integration den gesamten InvokeAgent Anruf standardmäßig verfolgt. Zur Aufdeckung von Intra Agent Schritten muss in der Anfrage enableTrace=True verwendet werden. AWS gibt demselben Schalter eine operative Bedeutung: Trace Aktivierung folgt dem Argumentationsprozess, den Handlungen und dem Ergebnis des Agenten. Die InvokeAgent Antwort ist ein Ereignisstrom, der Ausgabestücke, Spurenereignisse, Fehler, Zitate und eine Rückkehrsteuerungsnutzlast enthalten kann. Nur die äußere Aufforderung zu sehen, zeigt sich daher weniger als die Orchestrierung, die Wissensbasis, die Schutzgrenze und die Beweise der Aktionsgruppe darin zu sehen. Beweislager Was das beweist Was sie nicht beweist Bedrock Modell Span Eine erfasste Modell Invokation, Dauer, Fehler und verfügbare Nutzungsfelder Welche Agent Version hat den Anruf angefordert oder ob die Aufgabe abgeschlossen ist InvokeAgent Wurzelspann Die Bewerbung ruft die Bedrock Agent Laufzeit ein. Die versteckte Orchesterung wurde erfasst. Veranstaltungen mit verschlossenen Spuren Die ausgewählte Invocation enthüllte innere Argumentations und Handlungsschritte Dass der beabsichtigte Entwurf erstellt wurde oder die äußere Wirkung besteht Abgeschlossener Reaktionsstück Bedrock gab die endgültige Antwort der Interaktion zurück. Dass das versprochene Lieferwert angenommen wurde Bestimmungsbestätigung Eine Datei, eine Aufzeichnung, eine Nachricht oder andere erwartete Wirkung existiert und ist gültig Warum sich ein früherer Agenten Schritt so verhalten hat, wie er es getan hat Die nützliche Standardfunktion besteht darin, die automatische Instrumentation für unterstützte Anrufe zu speichern und eine kleine, inhaltsfreie Gesundheitsbestätigung rund um InvokeAgent hinzuzufügen. Laden Sie keine Anfragen, Anmeldeinformationen, Tool Argumente oder vollständige Antworten hoch, nur um den Status festzulegen. Speichern Sie Identifikatoren, Zeitstempeln, Booleaner, Zählungen und Hashes, wo sie ausreichen. Fünf Quittungen für jede wichtige Anrufung. Die Prüfung wird verwaltbar, wenn jede Grenze eine Quittung besitzt. 1. Vorbereitete Konfigurationsbestätigung AWS unterscheidet den Arbeitsentwurf von vorbereiteten Versionen und Alias. Nach Änderung des Arbeitsvorhabens müssen Sie ihn vor der Prüfung oder Bereitstellung vorbereiten. AWS empfiehlt auch, den preparedAt Wert des Agenten zu überprüfen. Aufzeichnung: Die deterministische Regel ist einfach: Wenn sie versagt, klassifizieren Sie den Lauf als CONFIG NOT PREPARED . Debug eine detaillierte Spur nicht, als würde sie die beabsichtigte Konfiguration darstellen. 2. Anmeldungs Identitätsbescheinigung Wiederverwenden Sie das gleiche Bedrock sessionId nur, wenn Sie das gleiche Gespräch fortsetzen. Die ausgewählte Alias oder Version sollte neben einem einseitigen Hash des Sitzungs Identifikators aufbewahrt werden. Dies verbindet die Datadog Rot Span, den Bedrock Event Stream und den erwarteten Umfang des Betreibers, ohne Benutzerinhalte zu speichern. Eine jüngste Spur mit dem falschen Alias ist falsche Beweise, nicht gesunde Beweise. 3. Inneres Abdeckungsbescheinigungsbescheinigungsbescheinigung Setzen Sie die Spurenabgabe auf den Antrag, wenn die operative Frage von internen Schritten abhängt: Drucken Sie die Werte niemals in einer Produktionsdiagnose. Die Quittung benötigt nur: Wenn die Wurzelspannung vorhanden ist, aber die Spur deaktiviert ist oder kein vernetztes Ereignis eintrifft, geben Sie TRACE INCOMPLETE zurück. Das ist ein Berichterstattungsurteil. Das beweist nicht, dass der Agent gescheitert ist. Ebenso sollte eine fehlende Datadog Wurzelspannung TRACE MISSING sein, nicht AGENT FAILED . Probenahme, Ausführerkonfiguration, Transport, nicht unterstützte Bibliotheksversionen oder Instrumentierungsanordnung können alle Beweise entfernen. Datadog stellt eine Spur Probe Rate Einstellung dar, so dass die Abwesenheit Unsicherheit bewahren muss. 4. Anmeldung des Aktionsstaats Ein Agent kann eine von Lambda unterstützte Aktionsgruppe anrufen, eine Wissensbasis abfragen oder die Steuerung der Anrufsanträge zurückgeben. Auf dem Weg zur Rückkehr Kontrolle erhält die Anwendung die vorhergesagte Aktion und muss ein Ergebnis vorlegen, um weiterzumachen. Erfassen Sie, ob: ein Aktionsfehler aufgetreten ist; eine Nutzlast für die Rückkehrkontrolle eingetroffen; der Antrag das entsprechende Maßnahmenergebnis vorgelegt hat; Ein Reaktionsstück ist noch nicht abgeschlossen. Wenn die Rückkehrkontrolle vorhanden ist und kein Ergebnis eingereicht wurde, ist der korrekte Zustand WAITING FOR ACTION RESULT . Es hat einen Besitzer und eine nächste Aktion. Wenn man es fest hält, wird es laut warnen, wenn man es vollständig nennt, wird es nicht funktionieren. 5. Ergebnisrechnung Datadog kann benutzerdefinierte Bewertungen neben einer Spur platzieren, und diese Bewertungen sind nützlich für subjektive Qualitäts oder Politikkontrollen. Es ist vorzuziehen, einen deterministischen Verifikator zu verwenden, wenn das Versprechen überprüfbar ist: die Übermittlung von Dateien: erwarteter Weg, MIME, Größe, Prüfsumme und Schema; Datenbank schreiben: Aufzeichnungsschlüssel, Version und erforderliche Felder; Ausgangsnachricht: Anmeldeerbestätigung und Ziel Hash; Einsatz: Zielrevision sowie unabhängige Gesundheitsüberprüfung; Wissensantwort: erforderliche Zitate plus eine Domain Akzeptanzregel. Die Ergebnisbestätigung sollte die erforderlichen Mindestbeweise enthalten, um das Urteil zu reproduzieren. Eine Antwort mit der Bezeichnung done gehört nicht zu diesen Feldern. Führen Sie die Acht Staaten Entscheidungsregel Das begleitende Artefakt legt die Quittungen in einer festen Reihenfolge an. Frühere Grenzen verhindern, dass spätere Beweise ein falsches Grün erzeugen: Ich habe diesen Klassifikator gegen acht Inhaltsfreie Fälle ausgeführt. Alle acht stimmten zu ihrem erwarteten Urteil: Das Gerät gibt outcomeVerified: true bewusst dem Fall der Verfallvorbereitung. Es gibt immer noch CONFIG NOT PREPARED zurück, da ein Ergebnis aus der falschen vorbereiteten Konfiguration die beabsichtigte Veröffentlichung nicht bestätigen kann. Es gibt auch eine vollständige Bedrock Antwort auf den falschen vollständigen Fall; ohne die Bestimmungsbestätigung bleibt das endgültige Urteil rot. Verweisen Sie jedes Urteil auf eine beschränkte Aktion Der Klassifizierer ist nur dann nützlich, wenn seine Zustände den nächsten Schritt des Betreibers ändern. Urteil Erste Aktion Nicht tun. CONFIG NOT PREPARED Bereiten Sie den geplanten Entwurf vor, bestätigen Sie preparedAt , dann wiederholen Sie einen Kanarien. Diagnostizieren Sie alte Spuren als neue Veröffentlichung TRACE MISSING Überprüfen Sie unterstützte SDK und Tracer Versionen, Initialisierungsauftrag, Exporteurlieferung und Probenahme Versuchen Sie den Agenten erneut , als ob Abwesenheit fehlgeschlagen wäre . TRACE INCOMPLETE Bestätigen Sie enableTrace=True und dass die vernetzten Ereignisse die Datadog Spur erreichen Rufen Sie die äußere Spanne vollständige Agent Abdeckung WORKING Warten Sie innerhalb der Frist für die Aufforderung, bis sich die Fortschritte ändern Warnung nur für vergangene Zeit WAITING FOR ACTION RESULT Übermitteln Sie den Rückkehrkontrollantrag an den Eigentümer mit einer Frist Starten Sie den Agent neu oder markieren Sie ihn fest. ACTION FAILED Überprüfen Sie die erste fehlerhafte Aktion und ihre Fehlergrenze; nur dann erneut versuchen, wenn der Effekt sicher ist Wiederholen Sie blind einen unsicheren Nebeneffekt FALSE COMPLETE Führen Sie den Bestimmungsverifikator aus und reparieren Sie das fehlende Ergebnis Akzeptieren Sie den endgültigen Antworttext als Lieferung HEALTHY Halten Sie die Kompaktrechnung und schließen Sie den Lauf. Bewahren Sie empfindliche Nutzlasten nur für den Fall Dieser Befehl klärt auch die Eigentümerschaft des Vorfalls aus. Die Probleme mit der Datadog Abdeckung gehören zu den Instrumenten oder den Transport. Eine Wartezeit für die Rückkehrkontrolle gehört der Antragsteller oder dem Menschen, der die externe Entscheidung trägt. Eine gescheiterte Aktion gehört zur Grenze des Werkzeugs. Ein fehlender Lieferwert gehört dem Ergebnisprüfer an. Eine generische Fehlermeldung kann diese Unterschiede nicht tragen. Halten Sie die Datadog und Sidewisp Grenzen ehrlich Datadog Agent Observability ist der richtige Ort, um erfasste Spuren, Spannungsstruktur, Modell und Werkzeug Latenz, verfügbare Token Nutzung, Fehler und Bewertungen zu überprüfen. Die Bedrock Integrationsdokumentation bietet konkrete Einrichtung und Validierungsschritte, einschließlich der Überprüfung des Tracer Status und des Debugging von Übertragungsproblemen. Die obige Prüfung ergänzt eine Freigabe und Ausgangsgrenze; sie verringert keine Spurennachweise. Sie verhindert, dass diese Beweise eine Frage beantworten, die sie nicht allein beantworten soll. Drei Einschränkungen bleiben: 1. Das Gerät bestätigt die Entscheidungspräferenz, nicht die Richtigkeit von AWS, Datadog oder Zieldaten. 2. Die Probenahme kann Spuren absichtlich entfernen. Eine Abdeckungs SLO benötigt einen kontrollierten Kanarium oder einen anderen Nenner; allein die Abwesenheit von Produktionsspuren ist zweideutig. 3. Ein LLM Richter kann bei der subjektiven Antwortqualität helfen, sollte jedoch nicht eine deterministische Bestimmungsprüfung für eine überprüfbare Wirkung ersetzen. Für bestehende Bedrock Agents Classic Betriebserbriefe ist daher die praktische Ziellinie: aktuelle vorbereitete Version, korrekte Anrufsumfang, erforderliche vollständige interne Spur, gelöstes Aktionszustand und verifiziertes Ergebnis. Alles, was weniger funktioniert, wartet, ist unsicher oder fehlschlägt, sollte nicht grün bleiben. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Es soll eine Agent Health Schicht um die bestehenden Laufzeiten hinzufügen, aber die Produktions Adapter Bedrock und Datadog werden nicht versandt. Nehmen Sie an der privaten Vorschau teil, wenn dieser Beweis zu Gesundheit Workflow übereinstimmt, wie Sie Agenten betreiben; verwenden Sie weiterhin Datadog und AWS, wie ihre aktuelle Dokumentation heute unterstützt. Quellen Datadog Amazon Bedrock Integration Automatische Datadog Instrumentation für die Beobachtbarkeit von Agenten Datadog: Auf Amazon Bedrock errichtete Monitoragenten AWS InvokeAgent API Verweis AWS: Test und Fehlerbehebung von Agentenverhalten