Agentenbeobachtbarkeit: Fälschlicher Erfolg mit einem Ergebnisvertrag

Die Beobachtbarkeit des Agenten sollte eine schwierige Frage beantworten, als war das Laufende Ende?: bestand das erwartete Ergebnis, gehörte zu diesem Lauf und bestritt seine Akzeptanzprüfung? Die praktische Standardform besteht darin, dieses Ergebnis vor der Ausführung zu definieren, außerhalb der Abwicklungsmeldung des Agenten zu beobachten und eine kompakte Ergebniserklärung aufzuzeichnen. Ein Terminereignis kann die Verifizierung auslösen; es kann die Verifizierung nicht ersetzen. Diese Unterscheidung hat falschen Erfolg, ohne dass ein zweites Modell das gesamte Transkript wiederlesen muss. Es vermeidet auch den entgegengesetzten Fehler: Wenn man eine legitime Genehmigung als eine fehlerhafte Reise betrachtet. Die nachstehend beschriebene Quittung enthält einen unsichtbaren Artefakt Identifikator, Frische, gegebenenfalls eine Inhaltsverwertung und ein deterministisches Validierungsresultat. Fehlende Beweise bleiben unverified oder ein spezifischer Ausfallzustand, anstatt auf gesund zu abgerundet zu werden. Ein terminaler Ereignis ist Beweis für die Ausführung, nicht für die Lieferung Spuren sind der richtige Ort, um zu verstehen, wie die Arbeit lief. Sie sind nicht automatisch ein Beweis dafür, dass der angeforderte äußere Zustand jetzt existiert. Die aktuelle OpenTelemetry Semantikkonventionen für GenAI Agentenspannen beschreibt Operationen wie invoke agent , plan und execute tool sowie Agent , Anbieter , Modell , Timing und Fehlerattribute. Das Dokument ist ausdrücklich auf Entwicklung gekennzeichnet. Diese Signale können zeigen, dass eine Operation stattgefunden hat und ob sie einen Fehler gemeldet hat. Sie können nicht wissen, dass Ihre Rechnung gespeichert wurde, dass Ihre Auszahlungsanfrage die angeforderte Änderung enthält oder dass Ihr Bericht einem genehmigten Schema entspricht. Diese Annahmeregel gehört zur Anmeldung. Die OpenAI Agents SDK Tracing Referenz macht denselben Grenzbeton. Seine Standardspuren können Modellgenerationen, Funktionsanrufe, Guardrails, Handoffs und benutzerdefinierte Spannungen umfassen. Das ist ein reichhaltiger Hinrichtungsergebnis. Das SDK warnt auch davor, dass Generations und Funktionsspannen empfindliche Eingänge und Ausgänge enthalten können, und lässt die Betreiber diese Erfassung deaktivieren. Eine Ergebnisbestätigung kann daher sowohl enger als auch entscheidender sein: Behalten Sie den Beweis, der zur Beurteilung des Lieferwertes erforderlich ist, nicht eine zweite Kopie jeder Anforderung und der Werkzeuglast. Ein gutes Betriebsmodell verwendet beides: die Spur erklärt den Weg, erneute Versuche, Werkzeuge und den Fehlerort; der Ergebnisbestätigungsbericht beleuchtet das beabsichtigte Ergebnis oder benennt den fehlenden Nachweis; ein Wartensignal erfasst eine bekannte Abhängigkeit oder Genehmigung, anstatt die Aufgabe als abgeschlossen zu tun; ein Fortschrittssignal zeigt eine nützliche Bewegung, während die Arbeit noch aktiv ist. Wenn man diese Signale mischt, entstehen schlechte Warnungen. Aktivität ist kein nützlicher Fortschritt. Ein sauberes Terminalsereignis ist kein verifiziertes Ergebnis. Eine erklärte Wartezeit ist kein Stall. Schreiben Sie den Ausgangskontrakt vor dem Lauf Ein Ergebnisvertrag ist klein genug, um bei der Erstellung der Aufgabe zu überprüfen, und streng genug, um zu bewerten, ohne den Agenten zu fragen, was es bedeutete. Beginnen Sie mit der billigsten deterministischen Überprüfung, die mit dem tatsächlichen Ergebnis übereinstimmt. Feld Zweck Beispiel artifact id Nennt das erwartete Ergebnis ohne einen geheimen oder absoluten Weg aufzudecken monthly report run started at Es stellt die Frische Grenze fest 2026 07 25T14:00:00Z observed at Zeigt, wann die Beweise gesammelt wurden 2026 07 25T14:08:12Z modified at Ablehnt ein Artefakt, das von einem früheren Lauf zurückgelassen wurde 2026 07 25T14:07:55Z expected sha256 Pins genaue Bytes, wenn Bytes Identität zählen ein 64 Zeichen Dichest validator Namen der Akzeptanzprüfung report schema v3 validator exit code Das deterministische Urteil wird aufgezeichnet. 0 evidence source Er sagt, woher die Beobachtung kam. local file stat Sie brauchen nicht jedes Feld für jeden Job. Eine Datenbank Migration benötigt möglicherweise eine Schema Abfrage und nicht eine Dateiverwertung. Eine bereitgestellte Seite benötigt möglicherweise HTTP Status, kanonische Inhalte und eine Browserbestätigung. Eine menschliche Genehmigungsaufgabe sollte waiting bleiben, bis das Autoritätsereignis eintrifft. Der Vertrag sollte das Ergebnis darstellen und nicht jede Arbeitsbelastung in ein Dateiformmodell verpflichten. Die Standardklassifizierungsordnung ist wichtig. Überprüfen Sie zuerst, ob keine Beweise vorliegen, dann Identität, Frische, Verdauung und Validierungsergebnis. Dies erzeugt aktionsfähige Zustände: 1. missing es gibt keine beobachteten Artefakte; 2. wrong artifact die Beobachtung gehört zu einem anderen Ziel; 3. stale das Artefakt ist vor dem Laufen; 4. hash mismatch Genauige Bytes wurden benötigt und unterscheiden sich; 5. validator failed das Artefakt existiert, erfüllt jedoch nicht die Annahmekriterien; 6. unverified die erforderliche Prüfung ist nicht durchgeführt worden oder keine Beweise dafür vorliegen; 7. verified alle erforderlichen Bedingungen erfüllt. Bewahren Sie die Quittung auf ein Minimum von Privatsphäre. Opaque Identifikatoren sind sicherer als Kundennamen oder Pfad Datei Systeme. Ein Digest kann die Identität von Bytes beweisen, aber ein einfacher Hash verbirgt kein vorhersehbares Geheimnis vor der Aufzählung. Verwenden Sie einen HMAC mit Tasten, wenn der Wert empfindlich und mit niedriger Entropie ist, oder vermeiden Sie, den Wert vollständig zu behalten. Die Beweisesammlung sollte in der Nähe des Artefakts stattfinden, damit der Rohinhalt den Gastgeber nicht verlassen muss. Führen Sie den Falsch Erfolg Test mit sechs Fällen durch Ich habe die Regel gegen ein synthetisches sechsläufiges Gerät getestet. Jeder Lauf trägt den gleichen Laufzeitterminalzustand: completed . Zwei Beobachtungen sind frisch und gültig. Vier repräsentieren einen anderen falschen Erfolgsmodus: kein Artefakt, ein Artefakt älter als der Lauf, ein Inhaltsunpass und ein Validierungsfehler. Der Klassifikator ist bewusst langweilig. Es bewertet die Tatsachen in einer festen Reihenfolge: Die Ausführung des eingeschlossenen Geräts erzeugt: Die gefälschbare Behauptung ist eng: Für dieses gelieferte Gerät akzeptiert eine Regel zum Terminalstatus sechs Runs, während der Ausgangskontrakt zwei verifiziert und vier mit spezifischen Beweisbeständen ablehnt. Dies ist keine gemessene Produktionsversagenquote. Es handelt sich um einen Grenztest, der zeigt, dass identische Endzustände wesentlich unterschiedliche Ergebnisse verbergen können. Die nützliche Metrik ist nicht Prozent von Laufen, die abgeschlossen sind. Es ist verified outcomes / runs expected to deliver an outcome , die neben der Berichterstattung der Kontrollen gemeldet wird. Wenn nur die Hälfte Ihrer Aufgabenarten deterministische Validiatoren haben, zeigen Sie diese Beschränkung an. Klassifizieren Sie die nicht mit Instrumenten versehene Hälfte nicht als gesund. Überprüfung an der Abschlussgrenze Die Quittung funktioniert am besten, wenn die Laufzeit eine Abschlussgrenze aufweist, der Scheck selbst aber unabhängig bleibt. An dieser Grenze sammeln Sie Beweise, führen Sie den Validierungsgerät aus, halten Sie den Empfang fest und aktualisieren Sie erst dann den Betriebszustand. Der Claude Code enthält einen konkreten Durchführungsbericht. Sein aktueller Referenzhaken sagt, dass TaskCompleted läuft, wenn eine Aufgabe ausgezeichnet wird. Ein Kommandohaken kann mit dem Code 2 ausgehen, um die Fertigstellung zu verhindern und Feedback zurückzugeben, wenn Tests oder ein anderer Akzeptanzcheck fehlschlagen. Dies macht ein deterministisches Tor möglich, ohne einer Prosa Behauptung zu vertrauen. Es handelt sich um einen Claude Code spezifischen Mechanismus, nicht um einen universellen Agentenstandard, und ein Haken, der erfolgreich gelaufen ist, muss noch das richtige Artefakt testen. Für Laufzeiten ohne Abschlusshaken, verwenden Sie einen Zwei Phasen Zustand Übergang: Versuchen Sie nicht automatisch jeden nicht verifizierten Zustand erneut. missing kann nach einer bekannten Upload Verzögerung ein kurzes begrenztes Beobachtungsfenster benötigen. validator failed kann einen reversiblen Reparaturversuch rechtfertigen, wenn der Benutzer ihn bereits genehmigt hat. unverified bedeutet, dass der Nachweiskanal gescheitert ist; es beweist nicht, dass das Lieferbare schlecht ist. Eine Aufgabe, die auf eine unumkehrbare Entscheidung wartet, gehört in waiting oder needs human , nicht in eine Wiederherstellungsschleife. Auch trennen Sie den Kommandoerfolg von dem Ergebniserfolg. Ein Validierungsverfahren, das 0 auslässt, beweist nur, was dieser Validierungsverfahren tatsächlich überprüft. Version des Validierernamens, Aufzeichnung der Beweisquelle und der Beobachtungszeit und Überprüfung des Vertrages, wenn sich die Lieferwürdigkeit ändert. Eine veraltete Akzeptanzregel kann ein vollständig dokumentiertes falsches Positiv hervorbringen. Eskalieren Sie die Unsicherheit; machen Sie keinen Erfolg Ein Ergebnisvertrag ist nur so vollständig wie seine erklärten Erwartungen. Es kann ein nicht aufgelistetes Artefakt verpassen, einen schwachen Validiator akzeptieren oder aus einer veralteten Beweisquelle lesen. Das sind Gründe, um Deckung und Vertrauen zu enthüllen, nicht Gründe, einen Vorbildrichter nach Standardzugeben. Verwenden Sie eine LLM Bewertung nur für Kriterien, die nicht deterministisch überprüft werden können, halten Sie die Rubrik und die Version sichtbar und vermeiden Sie, dass der gleiche Agent sowohl seine eigene Arbeit produziert als auch schlussendlich bewertet. Wenn Beweise in Konflikt stehen, bevorzugen Sie uncertain und bitten Sie um Autorität, bevor Sie den externen Zustand ändern. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Die öffentliche Website und die Artikelbibliothek sind live; Produktion Agent Gesundheit Sammlung, Laufzeit Adapter und Wiederherstellung sind im Allgemeinen nicht versandt. Sidewisp ist als Gesundheitsschicht neben bestehenden Laufzeiten gedacht, nicht als Ersatzlaufzeiten oder autonome Fixer. Die Betriebsregel ist einfach: Lassen Sie das Endereignis des Laufzeitraums die Prüfung starten, lassen Sie externe Beweise das Ergebnis bestimmen und lassen Sie fehlende Beweise unbekannt bleiben. Wenn das Gesundheitsmodell übereinstimmt, wie Sie Agenten betreiben, ist die Private Preview Anmeldung der entsprechende nächste Schritt.