LLM Beobachtbarkeit ohne sofortige Leckage: Ein sicherer Telemetrievertrag

LLM Beobachtbarkeit sollte erklären, welcher Betrieb ausgeführt wurde, was fehlgeschlagen ist, wie lange es dauerte, ob es erneut versucht wurde und ob das beabsichtigte Ergebnis existiert . Es ist nicht notwendig, jede Anforderung, jedes Werkzeugargument oder jedes Werkzeugergebnis in ein Telemetrie Backend zu kopieren, um diese Fragen zu beantworten. Eine sichere Produktionsvorgabe ist ein inhaltlich minimierter Umschlag: Korrelations IDs, Betriebs und Werkzeugnamen, Fehlerklassen mit niedriger Kardinalität, Timing, Versuchsnummer, Eingabe Schlüsselnamen , Ergebnisform und ein unabhängiges Ergebnisverdict. Nachrichten oder Werkzeuginhalte nur für eine spezifische Untersuchung erfassen, mit ausdrücklicher Autorität, einem kurzen Speicherfenster und Speicherkontrollen, die den Daten entsprechen. Dieser Leitfaden erstellt diese Standardfunktion und testet sie gegen drei bewusst empfindliche Ereignisse des Agenten. Verfolgen Sie die Operation, nicht die private Nutzlast. Die breite Definition der LLM Beobachtbarkeit umfasst Spuren, Metriken, Logs, Bewertungen, Modellverhalten und Anwendungsergebnisse. Für einen Agentenbetreiber ist die nützliche Frage schmaler: Können die Beweise einen langsamen Modellruf, einen verweigerten Werkzeugruf, eine legitime Wartezeit, eine erneute Versuchslöcke und ein Werkzeug unterscheiden, das erfolgreich zurückkehrte, während das Lieferwert nie erschien? Die aktuellen OpenTelemetry GenAI Semantikkonventionen bieten ein nützliches Ausgangswort. Die Ausführungs Tool Spanne verwendet gen ai.operation.name und gen ai.tool.name ; es beschreibt auch eine Tool Call ID, Tool Typ und error.type . Das gleiche Dokument markiert Tool Call Argumente und Ergebnisse als Opt in und warnt, dass beide sensible Informationen enthalten können. Diese Konventionen befinden sich in Development , so pin die Version, die Sie implementieren und erwarten Änderungen. Die Spaltung ist operationell gut. Die folgenden Felder beantworten in der Regel die ersten Fragen zur Reaktion auf Vorfälle, ohne den Inhalt zu reproduzieren: Feld Was sie antwortet Sammelregel trace id , run id , step id Zu welcher Ausführung und Schritt gehört dieses Ereignis? Halten Sie unübersichtliche Kennungen auf; entnehmen Sie sie nicht aus dem Inhalt. operation , tool name , tool type Welche Art von Arbeit wurde versucht? Verwenden Sie begrenzte, dokumentierte Namen. status , error type Ist es gescheitert, und von welcher stabilen Klasse? timeout oder permission denied bevorzugen Sie eine Nachricht des freien Anbieters. duration ms , attempt Ist es langsam oder wiederholt sich? Rekordzahlen, keine Erzählung. input keys Welche Form der Bitte wurde versucht? Speichern Sie Schlüsselnamen; Werten werden standardmäßig entfernt. result shape Hat das Werkzeug nichts zurückgegeben, ein Array oder ein Objekt? Speichern Sie Typ , Zähl oder Top Level Schlüssel; Werten Sie Werte ab. outcome check , outcome status Hat das erwartete Ergebnis des Nutzers gelandet? Überprüfen Sie separat von der Fertigstellung des Werkzeugs. content captured Ist Inhalte an anderer Stelle vorhanden? Machen Sie die Grenze sichtbar und fragbar. run id und die oben genannten Ergebnisfelder sind ein Anwendungsvertrag, nicht OpenTelemetry Standardattribute. Das ist bewusst: die Verfolgung des Wortschatzes und der spezifischen Gesundheitsnachweise lösen verwandte, aber unterschiedliche Probleme. Ein Erlaubnisliste schlägt eine endlose Redaktionsliste Der Redaktionscode fragt: Welche gefährlichen Werte haben wir uns daran erinnert zu entfernen? Ein Zulassungsliste fragt: Welche Felder haben das Recht erworben, den Prozess zu verlassen? Für die routinemäßige Telemetrie der Produktion hat die zweite Frage eine kleinere Fehleroberfläche. Die OWASP Logging Cheat Sheet sagt, dass Zugriffströme, Passwörter, Datenbankverbindungsströme, Verschlüsselungsschlüssel und sensible personenbezogene Daten normalerweise nicht direkt aufgezeichnet werden sollten. Außerdem werden Dateiwege und interne Netzwerkdaten als Daten angesehen, die möglicherweise eine besondere Behandlung benötigen. Agent Werkzeuge behandeln routinemäßig jedes Element auf dieser Liste. Freie Fehlermeldungen sind eine häufige Hintertür. Das ist unsicher: Die operationell nützliche Version ist kleiner: Es unterstützt immer noch Aggregation, Alarm Routing, Wiederversuch Analyse und Korrelation zu einem geschützten lokalen Datensatz. Sie verwandelt den Beobachtungsvorrat nicht in eine Kopie des Geheimfehlers. Schlüsselnamen erfordern auch Urteilsvermögen. calendar id zeigt weniger als seinen Wert, aber ein Schlüssel wie customer alice hiv status enthält bereits Inhalt. Bewahren Sie ein genehmigtes Schema für Werkzeugnamen und Schlüsselnamen; ablehnen Sie oder mappen Sie unerwartete Namen auf other . Die Kardinalität ist nicht nur ein Kostenproblem, sondern auch ein Problem der Datengrenzen. Wiederholen Sie den Sanitizer auf drei feindlichen Geräten Das begleitende Bild enthält drei falsche, aber realistische Ereignisse: 1. eine erfolgreiche Kalendersuche mit einer gefälschten E Mail und einem Träger Token; 2. eine verweigerte Vorschauveröffentlichung mit einem gefälschten API Schlüssel und einem privaten Pfad; 3. eine ausgelaufene Datenbank mit einer gefälschten Verbindungsschnur und E Mail schreiben. Der Sanitizer sucht keine geheimen Muster. Es konstruiert ein neues Objekt aus einem Allowlist: Führen Sie das geprüfte Artefakt aus dem Beweispaket des Artikels aus: Die reproduzierte Ausgabe behält die Diagnose bei: Sie unterstützt auch konkrete Schlussfolgerungen. Das Kalenderwerkzeug wurde abgeschlossen und die Ergebnisse überprüft. Der Vorschau Anruf braucht Erlaubnis, keine blinde Wiederversuch. Die Warteliste schrieb beim zweiten Versuch aus und der Check der Langlebigkeitsrekorde scheiterte, so dass der Befehl zurückgegeben keine Erfolgsbedingung ist. Die Byte für Byte Differenz ist vorbei. Eine getrennte Suche nach allen gepflanzten Kanarien Beher Token, API Schlüssel, Verbindungsschnur, E Mail Werte und privaten Pfad ließ keine Übereinstimmungen in der entsorgenen Datei zurück. Das ist ein nützlicher Test, der in der KI gehalten werden muss: Fügen Sie jedem empfindlichen Gerät einen einzigartigen, gefälschten Kanarium hinzu und scheitern, wenn er die Grenze des Exporteurs überschreitet. Inhalte erfassen ist ein Eskalationsmodus Inhaltsfreie Telemetrie hat eine wirkliche Begrenzung: Sie kann nicht erklären, warum ein Anruf semantisch missverstanden wurde oder ob eine Modellreaktion einen subtilen faktuellen Fehler enthielt. Die Grenze sollte daher eine kontrollierte Eskalation sein, nicht eine absolute Behauptung, dass Inhalte nie nützlich sind. OpenTelemetry Leitlinien für die Erfassung von Inhalten sagt, dass Anweisungen, Benutzernachrichten und Modell Ausgänge empfindlich und oft groß sind und standardmäßig nicht erfasst werden sollten. Es beschreibt einen separaten externen Speicher mit unterschiedlichen Zugriffssteuerungen als Produktionsoption, wenn sensible Inhalte aufbewahrt werden müssen. Bevor Sie diesen Modus aktivieren, entscheiden Sie sich für alle folgenden Punkte: die genaue Ausführung, das Werkzeug oder der Mieter im Umfang; wer die Sammlung genehmigt und wer sie lesen kann; Welche Felder vor der Ausfuhr gefiltert werden; die maximale Dauer und Aufbewahrung; die Lagerregion und die Zugangskontrollen; wie die Löschung überprüft wird; wie der Modus automatisch auf content captured: false zurückkehrt. Die Probenahme ist keine Redaktion. Eine Probe von 1 Prozent kann dennoch den einzigen Anruf erfassen, der eine Anmeldeinformationen enthält. Die Verschlüsselung ist auch keine Minimierung: sie schützt gespeicherte Bytes, rechtfertigt jedoch nicht ihre Erhebung oder verhindert eine autorisierte Überbelastung. Beginnen Sie mit der Zulassungsliste und fügen Sie dann nur dann einen separaten forensischen Pfad hinzu, wenn die operative Frage nicht anders beantwortet werden kann. Telemetrie zu einem Ergebnis verbinden, dann entscheiden Ein beobachtbarkeitsereignis beschreibt eine operation. Die Gesundheit des Agenten erfordert noch eine Tatsache: Ist die beabsichtigte Arbeit wahr geworden? Ein Datenbanktreiber kann den Erfolg zurückgeben, während eine spätere Transaktion zurückrollt. Ein Werkzeug für das Schreiben von Dateien kann beim Schreiben des falschen Pfades aus Null herausgehen. Eine Nachrichten API kann eine Anfrage akzeptieren, während die Bestimmung sie asynchron ablehnt. Der Telemetrie Abschlag sollte daher den Namen und den Status einer deterministischen Ergebnisprüfung tragen, ohne den Inhalt des Ergebnisses zu kopieren. Verwenden Sie diese Entscheidung: 1. OErgebnis: schließt den Betrieb, auch wenn eine Übergangsversuch erneut stattgefunden hat; behalten Sie das erneute Versuchssignal für die Kosten und Zuverlässigkeitsanalyse. 2. Tool fehlgeschlagen und Ergebnis fehlgeschlagen: Route durch die stabile Fehlerklasse. Erst wenn die Operation umkehrbar ist und innerhalb einer genehmigten Grenze. 3. Tool ist erfolgreich und das Ergebnis ist gescheitert: klassifiziert falschen Erfolg und untersucht den Vertrag zwischen dem Werkzeug und dem Überprüfer. 4. O Ausgang nicht ausgeführt: bezeichnen die Arbeiten nicht als abgeschlossen. Planen Sie oder führen Sie die Überprüfung durch. 5. E Beweise fehlen oder widersprechen: markieren den Zustand unsicher und fragen vor einer aktiven Intervention. Dies trennt die Aktivität vom nützlichen Fortschritt und das Befehlsabschließen vom Ergebnis des Benutzers. Es macht auch die Wiederherstellung sicherer: Ein Betreiber kann eine begrenzte Aktion vorbereiten und das Problem erst nach der Prüfung der Ergebnisse beseitigen. Die Produktionsschwäche Für die meisten LLM und Agenten Arbeitsbelastungen beginnen Sie mit einem kleinen, dokumentierten Telemetrie Zulassungsliste. Halten Sie Korrelation, Betrieb, stabile Fehler, Timing, Versuch, Form und Ergebnisfelder. Sie halten die Inhalte standardmäßig aus. Prüfen Sie den Exporteur mit gepflanzten Kanarien. Die vorübergehende Erfassung von Inhalten gilt als separat genehmigtes Vorfallverfahren. Diese Standardlösung wird nicht jede forensische Frage beantworten. Es wird routinemäßige Gesundheitsfragen beantworten, ohne schweigend eine schattenhafte Datenbank mit Anfragen, Anmeldeinformationen, Kundendaten und Tool Ergebnissen zu erstellen. Die Produktrichtung von Sidewisp besteht darin, Verfügbarkeit, Ausführung, Speicher, Werkzeug, Ergebnis und Kostennachweis in eine klare Gesundheitssicht zu verwandeln, während die menschliche Autorität erhalten und nur das gesammelt wird, was benötigt wird. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Die öffentliche Website und Artikel sind live; Produktionsüberwachungsadapter und automatisierte Wiederherstellung werden im Allgemeinen nicht versandt. Wenn diese Beweisgrenze übereinstimmt, wie Sie Agenten bedienen möchten, können Sie sich der privaten Vorschau Warteliste anschließen.