AI-Agentenüberwachung: Eine stille Warnrichtlinie für tatsächliche Fehler

Die Überwachung von AI sollte eine Person nur unterbrechen, wenn sie einen laufenden Fehler nennen, die Beweise zeigen und auf eine begrenzte nächste Aktion hinweisen kann. Ein Tool Anruf, ein Token Spike oder eine lange Spur können dazu beitragen, ein Problem zu erklären; keines von ihnen beweist, dass der Agent keine nützliche Arbeit mehr leistet. Für eine praktische erste Politik sollten drei Dinge separat überwacht werden: 1. Runtime Frischheit: hat den geplanten Lauf gestartet, und ist sein Herzschlag noch aktuell? 2. N Nützliche Fortschritte: hat sich die auf die Aufgabe spezifischen Beweise innerhalb des erwarteten Fensters geändert? 3. OErgebnisüberprüfung: Ist das versprochene Lieferwert vorhanden und hat die Akzeptanzprüfung bestanden? Dann vermitteln Sie das Ergebnis. Seite für einen anhaltenden, benutzerrelevanten Fehler. Erstellen Sie ein Ticket oder eine Benachrichtigung des Eigentümers für eine legitime Wartezeit oder eine langsame Untersuchung. Unterdrücken Sie eine einzige schlechte Probe und gesunde Arbeit. Dieser Artikel verwandelt diese Regel in einen kleinen Ereignisvertrag und ein ausführbares Achtfall Fix. Die Seite sollte das gebrochene Versprechen nennen. Ein Agent kann online sein, während seine Arbeit falsch ist. Es kann auch ruhig sein, weil es richtig auf eine Genehmigung wartet. Deshalb ist prozesslauf zu schwach für die Überwachung von Agenten und nicht kürzlich ein Tool Aufruf zu laut für das Paging. Das Kapitel Überwachung verteilter Systeme von Google zeichnet eine nützliche Linie zwischen Weißkastenbeweisen und Schwarzkasten Symptomen. Für die Diagnose ist eine interne Telemetrie unerlässlich, aber eine Seite sollte ein eindeutiges Misserfolg aufweisen, das den Dienst betrifft. Das Kapitel stellt auch fest, dass eine erfolgreiche Protokollreaktion immer noch ein Fehler sein kann, wenn der zurückgegebene Inhalt falsch ist. Für einen Agenten ist der entsprechende Fehler ein Lauf, der completed sagt, während das erforderliche Artefakt fehlt oder ungültig ist. Beginnen Sie mit einem Monitoringvertrag pro Workflow: Vertragsschicht Beispiel für einen Repository Agent Warum es existiert Erwarteter Start Wochentage um 09:00 UTC, fünfminütige Freude Entdecken Sie einen verpassten Zeitplan Herzschlag Beobachtung der Laufzeit nicht älter als zehn Minuten Entdecken Sie einen unerreichbaren oder toten Lauf Fortschrittsnachweise Neue Kommit, veränderte Testergebnisse oder ein aufgezeichneter Blocker Trennende Bewegung von wiederholter Aktivität Rechtmäßige Wartezeit Genehmigungs ID plus verantwortungsbewusster Eigentümer Warten Sie weiter . Arbeiten Sie außerhalb der Stallseite . Anspruch auf Vollendung Laufzeitstatus ist completed Erzählen Sie , was der Agent erklärt hat . Ergebnisprädikat Zielzweig enthält den Kommit und erforderlichen Kontrollpass Überprüfen Sie das versprochene Ergebnis unabhängig Die letzte Zeile sollte absichtlich spezifisch sein. Eine Antwort generiert kann für eine Chat Aufgabe ausreichen. Erstellt eine Datei reicht für eine Freisetzungsaufgabe nicht aus, wenn die Datei ungültig, unveröffentlicht oder an das falsche Ziel angeschlossen ist. Der Monitor kann diesen Vertrag nicht aus einer Spanne ableiten; der Arbeitströmebesitzer muss ihn definieren. Instrument Lauf ohne Spannungen als Abschluss zu behandeln OpenTelemetry s Generative Semantikkonventionen AI definieren jetzt Agent und Workflow Operationen wie invoke agent , invoke workflow , plan und execute tool . Die aktuelle Agent Span Dokument liefert auch Felder wie gen ai.agent.id , gen ai.agent.name , gen ai.agent.version und error.type . Dies sind nützliche Korrelations und Diagnosefelder. Sie sind kein Ergebnis Schema. Das Dokument ist mit der Markierung Development gekennzeichnet, so dass es darum geht, eine Version festzulegen. Es warnt auch davor, dass festgehalte Eingabe und Ausgabenachrichten wahrscheinlich sensible Informationen enthalten. Sie können die Alarmrichtlinie unten umsetzen, ohne Anfragen, Antworten, Geheimnisse oder volle Werkzeugladungen zu speichern. Ein kompaktes Ereignis kann so aussehen: Halten Sie runId stabil über den Zeitplaner, die Laufzeit Telemetrie und den Ergebnisprüfer hinweg. Speichern Sie einen Low Cardinality Agent oder einen Workflow Namen zur Aggregation. Stellen Sie diagnostische Spuren Identifikatoren hinter den Alarmen und nicht innerhalb ihrer Identität. Andernfalls kann jeder erneute Versuch einen neuen Vorfall für das gleiche gebrochene Versprechen schaffen. Die obere Strecke im Bild ist voll, aber kreisförmig. Die untere Strecke ändert den Zustand und erzeugt ein überprüfbares Ergebnis. Diese Unterscheidung steht im Mittelpunkt der Politik: Aktivität ist der Beweis für Fehlerbehebung; Fortschritt und Ergebnisse bestimmen die Gesundheit. Prüfen Sie die Politik mit acht unangenehmen Fällen. Das Gegenstand, das diesem Artikel begleitet, verwendet einen NDJSON Aufzeichnung pro beobachteten Lauf. Es umfasst verifizierte Fertigstellung, falschen Erfolg, einen fehlenden Zeitplan, eine unerreichbare Laufzeit, eine legitime Genehmigungswartung, einen anhaltenden Lauf ohne Fortschritt, eine vorübergehende schlechte Probe und eine gesunde aktive Arbeit. Führen Sie es aus dem Artefaktsverzeichnis aus: Erwartete Leistung: Der Evaluier verwendet eine feste Priorität. Ein falsch erfolgreiches Ergebnis übertrifft die veraltete Telemetrie, weil das fehlerhafte Ergebnis bereits bekannt ist. Ein fehlender Zeitplan gewinnt, wenn der Lauf nie begonnen hat. Eine unerreichbare Laufzeit gewinnt über eine Progressiediagnostik, weil der Monitor keine neuen Ausführungsbeweise hat. Eine ausdrückliche Warte übertrifft die Regeln. Erst dann wird ein veraltetes Fortschrittszeitstempel stuck . Dies verhindert, dass ein Rekord drei Vorfälle eröffnet. Es macht auch jede Entscheidung erklärbar: Die Ausgabe kann den Zustand, den Beweiszeitstempel und die Schwelle nennen, die überschritten wurde. Die eingeschlossenen Schwellenwerte sind Beispiele, nicht allgemeine Verzögerungen: fünf Minuten nach dem erwarteten Start; zehn Minuten ohne Herzschlag; fünfzehn Minuten ohne nützliche Fortschritte; zwei aufeinanderfolgende schlechte Proben für Seitenbedingungen; Drei aufeinanderfolgende schlechte Proben für ein Progressives Ticket. Ein Coding Agent, der zwei Minuten lang arbeitet, und ein Forscher, der eine Stunde lang Papiere liest, sollten diese Zahlen nicht teilen. Der wichtige Teil ist die Reihenfolge und die Anforderung an Beharrlichkeit, nicht die besondere Dauer. Erweiterung vor der Eskalation Die Warnregeln von Prometheus enthalten zwei wichtige Mechaniken. Die dokumentierte for Klausel behält einen neu aktiven Zustand in Abhängigkeit, bis er für eine Dauer aktiv geblieben ist. keep firing for kann nach der letzten Übereinstimmungsprobe eine Warnung offen halten, um die durch fehlende Daten verursachte Flapperung oder falsche Auflösung zu reduzieren. Die gleichen Ideen gelten auch wenn Sie Prometheus nicht verwenden: Sie benötigen wiederholte Beobachtungen, bevor sie sich zum Schweigen wenden; die erste Verletzungszeit getrennt von der letzten Stichprobe aufzuzeichnen; Gruppenmeldungen nach Workflow und gebrochenem Versprechen, nicht nach erneuten Versuchen oder Nachverfolgungen; den Vorfall offen zu halten, bis neue Beweise die Wiederherstellung bestätigen; Sie werden nur dann wieder auf der Seite gestellt, wenn sich die Schwere oder das betroffene Ergebnis ändert. Setzen Sie nicht alle Bedingungen hinter die gleiche Verzögerung. Eine Behauptung, deren Artefact nicht in einer deterministischen Prüfung durchgeführt wird, ist stärker als ein fehlender Herzschlag. Umgekehrt ist ein LLM Qualitätsscore in der Nähe einer Schwelle schwächer und kann eher in einer Überprüfungszeile als in einem Pager gehören. Eine ruhige Routingtabelle ist nützlicher als ein langer metrischer Inventar: Beobachteter Zustand Standard Route Klarer Zustand Nach der Prüfung fehlt die erforderliche Ergebnisprüfung. Seite, wenn sie für den Benutzer relevant ist, sonst Ticket Ergebnisprädikatpass oder Anspruch korrigiert Der erwartete Lauf hat nach Grace und zwei Kontrollen nicht begonnen. Seite, wenn der Lauf eine aktuelle Verpflichtung hat Laufstart oder Planerwartung wird ausdrücklich geändert Der Herzschlag ist seit zwei Kontrollen veraltet. Seite, wenn die aktive Arbeit beeinträchtigt wird Ein frischer Herzschlag plus eine neue Gesundheitsprobe Eine namentlich genehmigte, geheime oder unumkehrbare Entscheidung steht außer Frage Mitteilung des zuständigen Eigentümers oder Erstellung eines Tickets Abhängigkeit wird bereitgestellt oder die Arbeit wird storniert Die Aktivität geht weiter, aber die Beweise für die Aufgaben haben sich für drei Kontrollen nicht geändert. Ein Ermittlungsticket Veränderungen der Fortschritte oder eine berechtigte Wartezeit werden aufgezeichnet Eine veraltete oder fehlende Probe Keine menschliche Benachrichtigung Neubewertung auf der nächsten Stichprobe Bearbeiten Sie die Randkassen, bevor Sie ein Werkzeug wählen Warnrichtlinienfehler erscheinen in der Regel an den Grenzen, nicht auf dem glücklichen Weg. Verifizierungsverzögerung: Ein Verleger kann die Fertigstellung Sekunden vor einer CDN oder Suchindex Aktualisierung melden. Geben Sie dem Ergebnis eine dokumentierte Frist, dann überprüfen Sie erneut. Nehmen Sie einen willkürlichen Schlaf nicht als Beweis; bei der zweiten Prüfung muss der eigentliche Bestimmungsort überprüft werden. Human wartet: speichert sowohl die Abhängigkeit als auch ihren Besitzer. waitingOn: "approval" ohne verantwortliche Person versteckt lediglich den Stand. Eine Wartezeit kann für den Agenten gesund bleiben und gleichzeitig eine verspätete menschliche Aufgabe schaffen. lange stille Arbeit: ein Forschungs oder Kompilationsschritt kann ohne häufige Werkzeugveranstaltungen gesund sein. Wählen Sie Fortschrittsnachweise, die die Laufzeit sicher ausstrahlen kann: ein abgeschlossener Shard, ein veränderter Content Hash, eine neue Testphase oder eine explizit begrenzte Phase Datum. Retries: Wiederversuche können Lieferantenversagen maskieren und gleichzeitig Aktivität und Kosten erhöhen. Sie werden unter demselben Verfahren gruppiert und als Diagnosekontext gezählt. Ein erneuter Versuch sollte die Zeit des ersten Bruchs nicht zurücksetzen, es sei denn, er führt zu nützlichen Fortschritten. Unbekannte Signale: fehlende Telemetrie ist nicht grün. Sie wird als nicht verfügbar gemeldet und automatische Wiederherstellung vermieden, wenn der Monitor nicht zwischen eingeschlossenem und nicht verbundenem System unterscheiden kann. Eine unsichere Diagnose sollte eine Inspektion verlangen, nicht eine zerstörerische Lösung. Wiederherstellung: schließt einen Vorfall, weil ein Neustartbefehl null zurückgegeben hat, wiederholt das falsche Erfolgsproblem. Verwenden Sie die gleiche Ergebnis oder Fortschrittspredikate, die den Vorfall eröffnete. Die Wiederherstellung ist nur dann vollständig, wenn neue Beweise zeigen, daß das Werk in Bewegung ist oder daß das versprochene Ergebnis vorhanden ist. Was dieses Experiment beweist und was nicht Die Feststellung macht eine enge These gefälschbar: Mit den dokumentierten Vorrangs und Schwellenwerte erzeugen die acht eingereichten Fälle genau drei Seiten, zwei Eintrittskarten und drei unterdrückte Mitteilungen. Sie können einen Zeitstempel oder eine Verletzungszahl bearbeiten und sehen, wie sich die Route ändert. Es beweist nicht, daß die Schwellenwerte Ihrer Arbeitsbelastung entsprechen. Die Fälle sind synthetisch, und der Bewerter liest bereits normalisierte Aufzeichnungen. Echte Integrationen müssen mit der Uhrverschiebung, Duplikate Lieferung, verspäteten Proben, Scheduler Politik, Zeitzonen und Sammler Ausfällen umgehen. Sie benötigen auch eine Privatsphäregrenze für alles, was aus Anfragen oder Tool Anrufen abgeleitet wird. Die Richtlinie ersetzt keine Spuren, Bewertungen oder Laufzeitprotokolle. Diese Signale erklären, warum ein Ergebnis versagt hat. Es garantiert auch nicht, dass ein Aufgaben spezifisches Prädikat jedes Qualitätsproblem erfasst. Einige Ergebnisse sind deterministisch, wie z. B. ein Dateihash oder ein Testresultat; andere benötigen Probenahme, Überprüfung oder einen Bewertungsprozess mit einem expliziten Unsicherheitsniveau. Das wichtigste ist, daß die Politik nicht die Autonomie der Wiederherstellung zulässt. Ein Monitor kann einen begrenzten erneuten Versuch empfehlen oder einen Reparaturschritt vorbereiten, aber irreversible Aktionen, geheimer Zugang und unsichere Diagnosen erfordern immer noch menschliche Autorität. Verwandeln Sie das Gerät in einen Akzeptanzstest Bevor Sie ein echtes Warnziel anschließen, ersetzen Sie die synthetischen Fälle durch jüngste Beispiele aus einem Workflow: 1. Definieren Sie den erwarteten Start und die akzeptable Verzögerung. 2. Wählen Sie einen außerhalb der Modellreaktion produzierten Herzschlag. 3. Nennen Sie den kleinsten Beweis für nützliche Fortschritte. 4. Verzeichnen Sie berechtigte Wartegründe und Besitzer. 5. Implementieren Sie das Ergebnispredikat am eigentlichen Ziel. 6. Wiederholen Sie bekannte gesunde, wartende, feststehende, verpasste, unerreichbare und falsche Erfolgsfälle. 7. Führen Sie die Richtlinie still genug aus, um falsche Seiten und verpasste Vorfälle zu überprüfen. Erst nach dieser Überprüfung sollte eine Seitenroute aktiviert werden. Halten Sie die Rohnachweise, die Entscheidung, die Schwellenversion und die Auflösung überprüfbar, damit der Betreiber verstehen kann, warum der Monitor gesprochen hat. Sidewisp ist um diese Grenze der Gesundheit herum konzipiert: Erkennen, erklären, bei Bedarf Autorität bitten und das Ergebnis überprüfen. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Die Produktionsüberwachungsadapter und die Wiederherstellungsmotor werden heute nicht in der Regel versandt. Wenn dieser Ansatz übereinstimmt, wie Sie Agenten bedienen, können Sie Teil der privaten Vorschau und beschreiben die Laufzeit und Ausfallfälle, die Sie abdecken müssen.