AI-Agent Beobachtbarkeit für Schleifen: Testwiederholung gegen Fortschritt

Ein wiederholter Werkzeugruf reicht nicht aus, um einen AI Agent festzuhalten. Eine Schleife wird nur dann markiert, wenn sich eine normalisierte Aktionssequenz wiederholt, sich die Aufgabenspezifische Beweise nicht ändern und weder eine erklärte Abhängigkeit noch ein erneuter Versuch innerhalb der Politik die Wiederholung erklärt. Diese Regel erfasst sowohl A A A A als auch A B A B Zyklen, ohne Fehler in der Paginierung, im Rücklauf oder im Zulassungszeitraum zu verfehlen. Das praktische Minimum ist ein Beobachtungsfenster, das vier Arten von Beweisen enthält: sichere Handlungsunterzeichnungen, Fortschrittsfingerabdrücke, Fakten zur Wiederholungspolitik und Abhängigkeitsverträge. Bewahren Sie die Rohspuren für die Diagnose, lassen Sie aber nicht, dass die Anzahl der Anrufe oder der Erfolg des Zeitraums das gesundheitliche Urteil werden. Ein wiederholter Anruf ist eine Aktivität, nicht noch eine Schleife Die Agentenabläufe zeigen bereits detaillierte Aktivitäten. Das OpenAI Agents SDK Tracing Dokumentation listet Generationen, Funktionsanrufe, Guardrails, Handoffs und benutzerdefinierte Spannungen auf. Die aktuelle OpenTelemetry GenAI Agent Span Konventionen, mit dem Kennzeichen Entwicklung, beschreibt Operationen für die Anrufung von Agenten und Workflows, Planung und Ausführung von Werkzeugen. Diese Aufzeichnungen können feststellen, dass eine Operation ausgeführt wurde, wie lange sie dauerte und ob sie einen Fehler zurückgab. Sie können nicht definieren, was eine nützliche Bewegung für Ihre Aufgabe bedeutet. Vier Anrufe an fetch page können vier verschiedene Ergebnisseiten sammeln. Vier Anrufe an search mit derselben normalisierten Abfrage und demselben akzeptierten Beweis können eine Schleife sein. Der Name der Operation ist in beiden Beispielen identisch. Beginnen Sie mit der Ableitung zweier Werte für jedes Folgeereignis: Wert Beispiel Zweck actionSignature search:topic:timeout Vergleicht die semantische Aktion nach Entfernung von flüchtigen Feldern progressFingerprint brief:sha 4 Eine sichere Projektion von Aufgabennachweisen nach der Aktion erfasst Eine Aktionssignatur sollte Argumente aufbewahren, die die Bedeutung der Aktion ändern, und Werte, die nur Lärm erzeugen, entsorgen. Behalten Sie ein Seiten Token, Zielklasse, normalisierte Abfrage, Toolname und Berechtigungsbereich, wenn sie das Verhalten beeinflussen. Entfernen Sie Anforderungs IDs, Wanduhrzeitstempeln, zufällige Samen, Spuren IDs und neu angeordnete JSON Schlüssel, wenn sie dies nicht tun. Der Fortschritt der Fingerabdrücke beantwortet eine separate Frage: Welche dauerhafte Beobachtung wäre anders, wenn dieser Schritt geholfen hätte? Für einen Code Agent könnte es die kanonische Git Baumverdauung mit dem Ziel Test Ergebnis kombinieren. Für eine Forschungsrun könnte es die akzeptierten Quellen IDs und die kurze Vergabe abdecken. Für einen Verlagsjob könnte es die Inhaltsvergabe, die öffentliche Ressourcen ID und den Verifizierungszustand kombinieren. Verwenden Sie nicht die Aussage des Modells, dass es Fortschritte gemacht hat. Finden Sie den kürzesten Zyklus und testen Sie seine Wirkung Ein nützlicher Erstdetektor fragt, ob das vollständige Aktionsfenster durch eine kurze Wiederholungsphase beschrieben werden kann. Die folgende Funktion überprüft Perioden 1 bis 3 und erfordert mindestens zwei Wiederholungen: Für search, search, search, search wird die erste Periode zurückgegeben. Für search, read, search, read, search, read wird die zweite Periode zurückgegeben. Ein Neben Duplikate Zähler fängt die erste Sequenz ein, verpasst aber die zweite. Die Periodizität allein beweist sich immer noch nicht als Stall. Beurteilen Sie den Zeitraum neben den Fortschrittsfingerabdrücken: Ordnung ist wichtig. Überprüfen Sie die Reichbarkeit, bevor Sie ein Aktionsfenster interpretieren. Eine Abhängigkeit wird nur geehrt, wenn sie einen Eigentümer benennt und eine Frist hat, die noch nicht abgelaufen ist. Sie benötigen vollständige, sichere Beweise, bevor Sie eine Schleife berechnen. Ein fehlender Fingerabdruck ist keine Erlaubnis zur Schlussfolgerung no progress; er erzeugt uncertain . Ich habe diese Entscheidung gegen sechs synthetische Momente in einer festgelegten Beobachtungszeit wiedergegeben: Fall Sequenz oder Zustand Ergebnis Katalog Page Verarbeitung Vier verschiedene Seitenunterzeichnungen; Fingerabdrücke wachsen von 50 auf 182 Zeilen working Anbieter Backoff Drei identische Anrufe; wiederholbarer Fehler; Verzögerungen von 2s und 4s retrying Gleichrufsschleife Vier identische Suchanfragen; unveränderter Nachweis stuck loop , Abschnitt 1 Such /lesen Schwingung Drei Wiederholungen eines A/B Paares; unverändert kurze Verdauung stuck loop , Abschnitt 2 Genehmigungswartung Wiederholung plus benannte Eigentümer und künftige Frist waiting Überarbeitete Beweise Wiederholt schreibt, aber kein sicherer Fortschritt Fingerabdruck uncertain Der Befehl zum Artefakt lautete: Es gab sechs passende Behauptungen, null Fehler und genau die beiden vorgesehenen Schleifefälle zurück. Dies ist ein verfälschbarer Einheitstest für die Regel, nicht ein Beweis dafür, dass diese Proportionen in der Produktion vorkommen. Halten Sie begrenzte Wiederversuche, Paginierung und Warten aus dem Schleife Eimer Nachproben Sie mehr als nur einen Zähler. Erfassen Sie die Fehlerklasse, die anwendbare Richtlinie, die Versuchsnummer und die tatsächliche Verzögerung. Das AWS Schrittfunktionen Fehlerbearbeitungsdokumentation ist ein konkretes Beispiel für diesen Vertrag: Ein Retrier passt mit benannten Fehlern und verwendet Felder wie IntervalSeconds , MaxAttempts und BackoffRate . Die übertragbare Lektion ist explizite Grenzen, nicht die Notwendigkeit, Schrittfunktionen zu verwenden. In der Feststellung bleiben drei Anbieteranrufe mit rate limit retrying , da der Fehler zulässig ist, die Wiederversuchzahl innerhalb der Richtlinie ist und die beobachteten Lücken den erwarteten 2 Sekunden und dann 4 Sekunden Back off befriedigen. Der Detektor berechnet einen Zyklus der Periode eins, aber die Nachweise haben Vorrang. Wird der Fehler nicht wiederholbar, fallen die Verzögerungen zusammen oder wird das Versuchsbudget ausgeschöpft, so gilt diese Ausnahme nicht mehr. Die Pagination braucht einen anderen Schutz. Normalisieren Sie den Cursor oder das Page Token nicht, wenn er das angeforderte Stück ändert. Wichtiger ist, die Wirkung zu überprüfen: Die akzeptierte Zeilenzahl oder die Ergebnis Digest sollte sich ändern. Ein Werkzeug kann durch verschiedene Cursor Strings zyklieren, während das Ziel unverändert bleibt, so dass Argumentvariation ohne Fortschrittsdelta ein schwacher Beweis ist. Die Wartezeit erfordert eher einen Mietvertrag als einen Status des freien Textes: Nach Ablauf der Frist werden die restlichen Beweise neu eingestuft. Begrenzen Sie die Erneuerungen und behalten Sie den Eigentümer. Ansonsten kann ein Agent eine Schleife hinter einer unbegrenzt aktualisierten Wartung auf die Eingabe Nachricht verstecken. Kalibrieren Sie das Beobachtungsfenster um die Arbeit herum Das Gerät verwendet höchstens sechs Aktionsereignisse und sucht bis zu drei Perioden. Diese Werte machen das Beispiel überprüfbar; es handelt sich nicht um universelle Produktionsfehler. Wählen Sie das Fenster aus dem normalen Rhythmus des Arbeitsflusses und dem kürzesten schädlichen Zyklus, den Sie erfassen müssen. Ein interaktiver Codierungsmittel kann innerhalb weniger Minuten ein schlechtes Lese /Bearbeitungs /Testmuster wiederholen. Ein geplanter Forschungsagent kann nach einer Stunde aus einem berechtigten Grund eine Quelle wieder besuchen. Verwenden Sie geschichtliche gesunde und vorfallliche Wiederholungen, um Nachweisverzögerungen und falsche Positive zu messen, bevor Sie Alarme anbringen. Es gibt genug Beweise, um jeden Übergang zu reproduzieren. Speichern Sie eine verschlüsselte Vergabe oder eine nicht empfindliche Projektion, wenn die zugrunde liegenden Beweise Kundendaten, Anfragen, Geheimnisse oder absolute Wege enthüllen könnten. Version des Signaturnormalizers und der Fingerabdruckdefinition. Eine veränderte Normalisierung kann sonst wie eine plötzliche Erholung oder ein Vorfall aussehen. Warnung auf einen Zustandübergang, nicht auf jeden wiederholten Zeitraum. Für laute Sammler sind zwei aufeinanderfolgende Fenster mit demselben Zyklus und unveränderten Beweisen erforderlich. Lassen Sie diese Hysterese nicht einen deterministischen Ergebnisversagen oder einen schweren Verlust von Erlaubnis verzögern. Die Diagnose erlaubt auch keine Intervention. Ein stuck loop Ergebnis kann die Vorbereitung eines begrenzten Schubs, die Unterbrechung eines verifizierten Fluchtprozesses oder die Anforderung einer menschlichen Überprüfung rechtfertigen. Es erlaubt nicht, erneut zu starten, Anmeldeinformationen zu ändern, zu löschen, eine externe Nachricht zu senden oder unbegrenzt erneut zu versuchen. Nach einer genehmigten Maßnahme muss vor der Ankündigung der Rückforderung ein neuer Fortschrittsfingerdruck oder ein überprüftes Ergebnis verlangt werden. Wissen Sie, was dieser Detektor nicht feststellen kann Ein schlechter Fingerabdruck kann eine gesunde Arbeit in eine offensichtliche Schleife verwandeln. Wenn es nur Dateinamen hasht, verschwinden nützliche Bearbeitungen an vorhandenen Dateien. Wenn es Zeitstücke enthält, sieht die unveränderte Arbeit frisch aus. Eine randomisierte Aktionssignatur kann durch das Verbergen eines stabilen semantischen Zyklus hinter neuen IDs oder neu geordneten Argumenten den entgegengesetzten Fehler hervorrufen. Einige nützliche Arbeiten sind nicht monotonisch. Ein Forschungsagent kann eine Hypothese ablehnen und zu einer früheren Quelle zurückkehren; ein Codierungsagent kann einen gebrochenen Ansatz rückgängig machen. Beibehalten Sie Meilensteinüberschreitungen oder Akzeptierte Beweisänderungen, anstatt davon auszugehen, dass jeder Zähler steigen muss. Kurze Zeiten sind auch eine absichtliche Begrenzung. Ein Sechs Stufen Zyklus wird nicht für einen Zeitraum von höchstens drei Jahren erkannt. Die Erhöhung der Fenster und Zeitobergrenze verbessert die Abdeckung, kostet aber das Gedächtnis, verzögert das Urteil und erhöht die Wahrscheinlichkeit einer zufälligen Wiederholung. Kalibrieren Sie aus bekannten Vorfällen und behalten Sie uncertain , wenn die Beweise keine sichere Schlussfolgerung unterstützen können. Die operative Regel bleibt eng: Wiederholte Aktivität wird nur dann zu einem Schleifeverurteil, wenn die normalisierte Sequenz periodisch ist, nützliche Beweise unverändert bleiben und kein gültiger Wiederversuch oder Abhängigkeitsvertrag erklärt. Das reicht aus, um eine beschäftigte Spur in eine überprüfbare Diagnose zu verwandeln, ohne vorzugeben, dass jeder wiederholte Tool Anruf kaputt ist. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Seine öffentliche Website und Artikelbibliothek sind live, aber die Produktion Agent Gesundheit Sammlung, Laufzeit Adapter und Wiederherstellung werden im Allgemeinen nicht versandt. Sidewisp soll neben bestehenden Laufzeiten eine Gesundheitsschicht hinzufügen, sie nicht ersetzen oder als autonome Fixer fungieren. Wenn die Schleife Beweise ein Fehlermodus sind, den Sie klar sehen müssen, können Sie sich dem frühen Zugriff anschließen, während Sie das aktuelle Produkt als Vorschau behandeln, anstatt die Überwachung einzusetzen.