2026-07-31T17:58:26.495Z

OpenTelemetry LLM Beobachtbarkeit: Pin das Schema vor Grün

Eine revisionsorientierte GenAI-Span-Audit für Schema-Drift, Privatsphäre, Abdeckung, Frische, Wartezeit und verifizierte Ergebnisse.

OpenTelemetry LLM Beobachtbarkeit ist nur dann nützlich, wenn die Telemetrie eine erklärte Bedeutung hat. Bevor eine GenAI Spur als Betriebsbeweis behandelt wird, muss die semantische Konvention revidiert, die für jede Operation erforderlichen Felder validiert, die nicht genehmigte Inhaltserfassung abgelehnt, die erwarteten Operationen nachgewiesen und dann die Frische, den Arbeitszustand und das externe Ergebnis getrennt bewertet werden. Dieser Befehl ist im Juli 2026 wichtig. Die OpenTelemetry Website verweist nun GenAI Konventionen auf eine ein spezielles Repository. Bei der für diesen Artikel geprüften Quellrevision ist 434c91dcc34ed038e3048c07720ddfed2c6bddfc , das README listet seine Schema URL immer noch als TODO auf des Repositoriums und das generative Client Span Dokument Development gekennzeichnet. Dies ist kein Grund, OpenTelemetry zu vermeiden. Es ist ein Grund, die Kompatibilität explizit zu machen. Ein Dashboard mit GenAI Span kann immer noch einen alten Produzenten, einen aktuellen Sammler und eine für eine dritte Attributform geschriebene Abfrage kombinieren. Die sichere Standardform ist ein kleines, verändertes Akzeptanzprofil neben der Kollektorkonfiguration. Schließen Sie den Vertrag ein, den Sie tatsächlich betreiben. Das GenAI Repository von OpenTelemetry umfasst LLM Clients, Agenten, Tool Ausführung, Auswertung, Speicher, Abruf und MCP. Seine Dokumente stammen teilweise aus YAML Modellen, was wertvoll ist, weil die Quelle überprüfbar und überprüfbar ist. Es bedeutet auch, dass "wir verwenden OTel" zu vage ist, um eine Kompatibilitätsbehauptung zu sein. Aufzeichnen Sie vier Identitäten bei jeder Instrumentationsentwicklung: Identität Beispiel Warum es wichtig ist Ursprung des Übereinkommens Repository plus commit SHA Definiert den Attribut und Betriebsvertrag , den Sie überprüft haben Instrumentationspaket Name und Version des Pakets Identifiziert, was die Spannung ausgestoßen hat Kollektorpipeline Konfigurieren Sie die Digest und Einsatzkennzeichnung Identifiziert Transformatoren, Filter und Exporteure Anfragevertrag Dashboard oder Warnversion Identifiziert, welche Bereiche das Urteil erwartet Nehmen Sie die Kongreßrevision nicht aus den Feldern ab, die zufällig eintreffen. Das verwandelt den stillen Drift in scheinbare Kompatibilität. Kann ein Erzeuger seine Überarbeitung nicht erklären, so klassifizieren Sie die Charge als schema drift , bis Sie diese Erzeugerform testen und registrieren. Dies ist besonders wichtig, wenn ein Framework native und eine externe Instrumentation zusammenleben. Die Leitlinien für die Beobachtbarkeit von Agenten von OpenTelemetry beschreibt die Wartungsschwierigkeiten von eingebakten Instrumenten und warnt, dass externe Pakete mit ihnen kollidieren können. Der gleiche Modellruf kann sonst zweimal beobachtet werden, oder eine Strecke kann nach einem teilweisen Upgrade auf einem älteren Kongreß erhalten bleiben. Die praktische Regel ist einfach: ein erwarteter Telemetrieproduzent pro Betriebspfad, eine deklarerte Konventionsrevision pro Roll out Kohorte und eine Kanarische Spur, die vor der Förderung der Kohorte passieren muss. Validieren Sie ein kleines Betriebsprofil vor dem vollständigen Schema Aus den Repository Modellen kann ein vollständiger Semantik Konvention Validator erzeugt werden. Ein Einsatzstor sollte kleiner beginnen. Durchsetzen Sie nur Felder, die Ihre aktuellen Entscheidungen beeinflussen, und erweitern Sie das Profil, wenn Sie mehr Operationen verwenden. Bei der festgestellten Revision werden die Abschluss Span Tabelle markiert: gen ai.operation.name nach Bedarf; gen ai.provider.name nach Bedarf; error.type , soweit bedingt erforderlich, wenn der Betrieb durch einen Fehler beendet wird; gen ai.request.model nach bedingten Anforderungen, wenn verfügbar; Eingabebotschaften, Ausgabebotschaften, Systemanweisungen und Werkzeugdefinitionen als Opt in. Diese Anforderungen sollten nicht in "Feld vorhanden oder abwesend" abgeflacht werden. error.type hat eine Art von Beweismittel verloren, die die Konvention erwartet. Ein fehlendes Anforderungsmodell kann legitim sein, wenn es nicht verfügbar war. Die Inhalte für Anfragen und Antworten sollten nicht enthalten sein, es sei denn, eine ausdrückliche Richtlinie erlaubt die Erhebung. Die Begleitprüfung führt dieses enge Profil durch: Die Inhaltsprüfung betrachtet nur das Attribut Key . Es liest und speichert weder Anlauftext, Antworttext, Systemanweisungen noch Werkzeugargumente. Das reicht aus, um zufällige Opt In Faktionen zu erfassen, ohne den Validierungsgerät in einen anderen Sensitiv Daten Sink zu verwandeln. Es gibt hier eine absichtliche Begrenzung: Dieses Profil ist nicht die gesamte OpenTelemetry Spezifikation. Es testet einen überprüfbaren Vertrag, der für ein operatives Urteil verwendet wird. Wenn sich die Upstream Quelle ändert, aktualisieren Sie die festgefüllte Revision, vergleichen Sie die erzeugten Definitionen, passen Sie das Gerät an und führen Sie es vor der Aktualisierung der Hersteller erneut durch. Prüfungsabdeckung vor der Auslegung einer sauberen Spur Eine konforme Spanne kann noch unvollständige Beweise sein. Wenn der Antrag invoke agent , chat und execute tool erwartet, aber die Spur nur die ersten zwei enthält, ist das richtige Urteil coverage gap , nicht gesund. Erstellen Sie erwartete Operationen aus der Workflow Topologie und nicht aus beobachteten Spannungen: Dies vermeidet eine kreisförmige Prüfung, bei der die Telemetrie ihre eigene Vollständigkeit definiert. Der erwartete Satz kann aus einem Release Manifest, einer registrierten Werkzeugroute oder einer Workflow Definition stammen. Es sollte klein genug sein, um es zu erhalten, und spezifisch genug, um einen fehlenden Instrumentenweg aufzudecken. Automatische Wiederversuche brauchen Pflege. Die aktuelle Client Span Prosa sagt, dass eine logische Spanne die Betriebsdauer abdecken sollte, einschließlich automatischer Wiederversuche. Ihre Bewerbung kann auch Transportzeiten auf Versuchsebene behalten. Zählen Sie diese beiden Schichten nicht als duplizierte Agentenarbeit. Entscheiden Sie, ob die Abdeckung bei der logischen Operation, dem Versuch oder beidem ausgedrückt wird, und machen Sie dann die Beziehung explizit. Ebenso ist ein Anbieternamen nicht unbedingt der ultimative Modellbesitzer. Das Übereinkommen stellt fest, dass die Instrumentation möglicherweise eine Proxy oder Hostingplattform kennt und nicht den transparenten Upstream Anbieter. Behandeln Sie gen ai.provider.name als Formatsdiskriminierungs und Routing Fakt innerhalb seines dokumentierten Umfangs und nicht als Abrechnungs oder Modell Oral. Schema, Gesundheit und Ergebnis als getrennte Urteile behalten Sobald das Schema und die Abdeckung abgeschlossen sind, kann die Spur eine Gesundheitsentscheidung informieren. Es ist nicht die Entscheidung an sich. Verwenden Sie eine ausdrückliche Vorrangszahl: 1. Schema identity entspricht der Hersteller der festgelegten Revision? 2. Schema Gültigkeit sind erforderlich und bedingte Felder gültig? 3. Inhaltsrichtlinie Sind für diese Strecke einzuwenden Felder zulässig? 4. Coverage sind alle erwarteten Operationen dargestellt? 5. Freshness Ist die Beweise neu genug für den Workflow? 6. Arbeitszustand ist der Agent am Werk, wartet, steckt fest, unsicher oder vollständig? 7. Outcome Ist das versprochene Ergebnis an seinem Bestimmungsort vorhanden? Die zehnfache Anlage für diesen Artikel hält diese Schichten absichtlich unbequem. Es umfasst: einen nicht zugelassenen Hersteller und einen vergangenen Hersteller; eine fehlende Ableitungsdauer von gen ai.provider.name ; eine fehlende Fehlerzeit von error.type ; ein Opt in Inhaltschlüssel ohne Erlaubnis; ein Arbeitsfluss, der seine erwartete Werkzeugdauer verfehlt; eine vollständige Spur ohne Ergebnisbestätigung; eine verifizierte, aber veraltete Spur; eine berechtigte Wartezeit für die Genehmigung durch den Menschen; ein frischer, abgedeckter Fall, der mit Ergebnissen geprüft wurde. Führen Sie das Artefakt mit: Das ausgeführte Ergebnis klassifizierte genau zehn Fälle: Der Fall complete no receipt ist die Schlüsselgrenze. Die Herstellerüberarbeitung stimmt überein. Die Spannungen enthalten die von dem Profil erforderlichen Felder. Die erwarteten Agent und Modelloperationen existieren. Die Telemetrie ist frisch. Sie gibt immer noch unverified zurück, weil kein Zielkvitat beweist, dass das Ticket, die Datei, der Einsatz oder ein anderes versprochenes Ergebnis existiert. Der Fall waiting for approval bewahrt eine andere Grenze. Jüngste, konforme Spannungen stoppen bei einer benannten menschlichen Genehmigung mit Eigentümer und Frist. Das ist kein Stall. Wenn man einen Betreiber so verwirklicht, als hätte der Agent versagt, würden wir nützliche Staatsinformationen zerstören. Umwandeln Sie den Audit in eine Freisetzung und Vorfallkontrolle Führen Sie diesen Test in drei Augenblicken durch. Befür ein Instrumentenupgrade erfassen Sie die aktuelle Revision, Paketversionen, Sammlervergabe und erwartete Operationen. Wiederholen Sie das festgelegte Gerät gegen den vorgeschlagenen Stapel. Ein verändertes Urteil muss vor der Beförderung erklärt werden. Während der Ausführung , emittieren Sie einen inhaltlosen Kanarien durch jedes registrierte Modell, Agent und Werkzeugroute. Überprüfen Sie, ob jeder Kanarier einmal ankommt, die erwartete Erzeugeridentität trägt, das Betriebsprofil durchläuft und im Frischefenster durchsucht werden kann. Während eines Vorfalls , die vier Schichten zu erhalten, anstatt sie in "Beobachtbarkeit ist gebrochen". Schema Drift fordert die Versöhnung von Produzenten und Abfragen. Eine Abdeckungslücke erfordert eine Reparatur der Instrumente. Stalled Telemetry erfordert die Diagnose des Sammlers oder des Exporteurs. waiting ruft nach dem benannten Eigentümer. unverified fordert eine Bestimmungsprüfung, nicht ein neues Modellversuch. Wird nicht automatisch repariert, weil sich ein Telemetriefeld geändert hat. Die Konvention kann Beweise unsicher machen, ohne die zugrunde liegende Arbeit ungesund zu machen. Befrieren Sie die aktive Wiederherstellung, identifizieren Sie die fehlgeschlagenen Beweislagen und verwenden Sie den kleinsten reversiblen Test, der Vertrauen wiederherstellt. Das Schema Profil benötigt auch einen Eigentümer. Eine Verpflichtung für immer festzuhalten, ist keine Sicherheit; es ist letztendlich eine Stagnation. Berechnen Sie eine Überprüfungskadenz, beobachten Sie das GenAI Repository und benötigen Sie beim Umziehen des Pin einen Fixure Diff. Wenn OpenTelemetry später eine stabile GenAI Schema URL veröffentlicht, dann übernehmen Sie sie, wenn Ihre Produzenten und Abfragen sie unterstützen, aber die Abdeckung, Frische, Wartezeit und Ergebnisprüfung unabhängig halten. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Seine öffentliche Erfahrung ist eine Website für den frühen Zugriff und eine interaktive Demonstration; die Sammlung von Produktionsagent Gesundheit, Host Adapter und Wiederherstellung werden nicht im aktuellen Website Repository versandt. Die Produktrichtung ist eine Gesundheitsschicht rund um bestehende Laufzeiten, nicht ein OpenTelemetry Sammler, ein Tracing Backend oder ein autonomer Fixer. Wenn die Revision Pinned Beweise und die separate Ergebnisüberprüfung mit den Fehlern übereinstimmen, die Sie erfassen müssen, können Sie Teilnahme an der privaten Vorschau von Sidewisp und den von Ihnen betriebenen Agentlaufzeit und Telemetrieweg beschreiben.