LLM Beobachtbarkeit bei Nachprobenstürmen: Kosten pro bestätigten Ergebnis

LLM Beobachtbarkeit sollte Token, Latenz, Fehler und Modellanrufe zählen. Für einen Agenten, der wieder versuchen kann, zu arbeiten, ist das nur der Zähler. Der operative Nenner ist die Anzahl der bei der Bestimmung geprüften beabsichtigten Ergebnisse. Ein nützliches Kostensignal ist daher: Halten Sie die Kosten, den Eigentümer und den Ergebnisstatus unter einem stabilen run id . Teilen Sie die Ausgaben nicht durch erfolgreiche API Antworten oder durch die eigene komplete Nachricht des Agenten. Beide können gesund aussehen, während sich ein Arbeitsfluss wiederholt, ein Ergebnis fehlt oder zwei Schichten das gleiche Versagen stillschweigend erneut versuchen. Dieser Leitfaden gilt diese Regel für ein festes achtläufiges Experiment. Die stabile Kohorte kostet 0,012 Dollar pro bestätigten Ergebnis. Die Re Try Storm Kohorte scheint $0.041 pro erklärte Fertigstellung zu kosten, aber ihre Zielseitigkeit beweist nur ein Ergebnis, so dass die tatsächliche Zahl $0.12310.3 mal die stetige Kohorte beträgt. Die Dollarbeträge sind synthetisch; der Rechnungsfehler ist real und reproduzierbar. Halten Sie die normale LLM Beobachtungsschicht Die vernünftige Standardfunktion ist immer noch Modell Anruf Telemetrie. Aufzeichnen Sie die Dauer der Anforderung, die Eingabe und Ausgabezeichen, die Fehlerklasse, der Anbieter, das Modell, den Betrieb und die Spurkorrelation. Diese Signale sagen Ihnen, ob ein Anbieter verlangsamt, ein Kontext erweitert, ein Modell geändert oder ein Anruf versagt hat. Der aktuelle OpenTelemetry GenAI Metrikkonventionen macht diesen Basisbeton. Bei der Festlegung vom 24. Juli 2026 definieren sie gen ai.client.token.usage und gen ai.client.operation.duration . Sie definieren außerdem die Anzahl der Ableitungen und der Geräte auf Agentenebene. Das Dokument markiert die Konventionen Development , so dass Sie die Version, die Sie implementieren, festlegen und erwarten, dass sich die Felder bewegen. Die Verwendung von Token ist nicht automatisch kostenpflichtig. Ein Anbieter kann berechnungsfähige Tokenzahlen zurückgeben, ein Gateway kann eine Schätzung berechnen und eine Rechnung kann später den Betrag vereinbaren. Halten Sie die Herkunft neben dem Wert: Verwenden Sie einen unsichtbaren Lauf Identifikator. Anfragen, Antworten, Anmeldeinformationen, Werkzeugargumente, Kundeninhalte und absolute Wege gehören nicht zu einer Kostendimension. Die geschützten Spuren können für eine autorisierte Untersuchung zur Verfügung stehen; das Aggregat benötigt nur genügend Informationen, um den Versuch zu finden und seine Rechnungslegung zu erklären. Die Grafiken für jeden Anruf bleiben wertvoll. Sie beantworten einfach eine andere Frage. Eine sinkende Kosten pro Modellreaktion kann mit steigenden Versuchen pro Workflow koexistieren. Ein erfolgreicher erneuter Versuch kann einen vorübergehenden Providerfehler beheben und gleichzeitig verbergen, dass die gleiche Aufgabe auch von einer Warteschlange und dann vom Agenten erneut versucht wurde. Die Telemetrie beschreibt die Anrufe. Die Buchhaltung beschreibt das Versprechen. Das bestätigte Ergebnis ist der Nenner. Definieren Sie das Ergebnis vor der Hinrichtung. Das zurückgegebene Modelltext ist ein Anrufresultat. Die Zugforderung hat das erwartete Engagement, der Bericht existiert unter dem vereinbarten Schlüssel, oder die Sitemap enthält die veröffentlichte URL ist ein Ergebnis. Der Mindestlauf erfordert vier Zustände: Staat Bedeutung Kostenbehandlung Gesundheitsbehandlung verified Ein Ziel Nativen Prädikat Kosten und Zunahme des Nenners Vollständig missing Der Agent erklärte, dass er fertig ist, aber das Prädikat scheiterte. Kosten einbeziehen; den Nenner nicht erhöhen Falscher Erfolg waiting Eine benannte Abhängigkeit oder menschliche Entscheidung ist herausragend. Kosten einbeziehen; nennen Sie es noch nicht Erfolg oder Misserfolg Route zum Besitzer der Abhängigkeit unavailable Der Prüfer ist nicht ausgeführt worden oder seine Beweise sind veraltet Einbeziehen Sie bekannte Kosten; lassen Sie die Ratio unbekannt, wenn kein gültiger Nenner existiert Untersuchen Sie die Berichterstattung über die Beweise Diese Unterscheidung verhindert eine bequeme, aber zerstörerische Abkürzung. Wenn eine Person eine Änderung nicht genehmigt hat, wartet der Agent; das wiederholte Ausführen des Modells schafft keine Autorität. Wenn der Verifizierer offline ist, kann die Abwesenheit des Verifizierers als Ausfall bezeichnet werden, was zu doppelten Nebenwirkungen führt. Wenn der Agent done sagt, aber das Ziel leer ist, belohnt die Erklärung als Erfolg eine falsche Vollendung. Fügen Sie das Ergebnisprotokoll zu Versuchen anstatt das Ergebnis in den Beobachtungsspeicher zu kopieren: Der Überprüfer sollte soweit möglich deterministisch sein. Überprüfen Sie einen Dateihash, eine Datenbankzeile, ein API Feld, das Testresultat oder den Zielstatus. Ein qualitativer Evaluier kann Beweise liefern, wenn das Ergebnis nicht als Prädikat ausgedrückt werden kann, aber seine Version, Kalibrierung und Unsicherheit gehören neben der Punktzahl. Wiederholen Sie die Unterschiede zwischen den Kosten für erneute Versuche Das begleitende Experiment verwendet acht synthetische Laufen: vier stetig und vier in einem erneuten Sturm. Jeder Lauf enthält Versuchs und Kostenfelder sowie einen endgültigen Ergebniszustand. Der Sturm beinhaltet ein bestätigtes Ergebnis, zwei falsche Erfolgserklärungen und eine legitime Genehmigung. Speichern Sie ein NDJSON Objekt pro Lauf. Dieses abgekürzte Paar zeigt die Form: Alle Versuche unter ihrer Kohorte zusammenfassen, und dann berechnen: Die mit dieser Veröffentlichung aufbewahrte vollständige Festlegung und Prüfung erzeugen: Drei Beobachtungen ändern die Betriebsentscheidung. Erstens unterschätzen die Kosten des Sturms pro erklärte Fertigstellung die Kosten pro verifiziertes Ergebnis um 3x. Die Erklärung des Agenten ist ein schlechter Abrechnungsbetrag. Zweitens steigt die Versuchsverstärkung von 1,25 auf 3,00. Ein Modell Anruf Dashboard kann zwölf einzeln normale Anrufe zeigen, ohne zu zeigen, dass sie nur zu vier Versprechungen gehören. Drittens, 62,6% der Sturm Ausgaben treten nach den ersten Versuchen auf, und zwei verschiedene Schichten besitzen diese Wiederversuche. Das Problem ist nicht nur ein teures Modell. Es ist ein grenzenloser Kontrollweg. Dieses Experiment schätzt keine Produktionsversagenquote. Die Preise und Fälle sind so konstruiert, dass die Rechnungslegungsregel überprüft wird. Führen Sie die gleiche Berechnung auf Ihrer eigenen Rechnungslegung oder von Anbietern abgeleiteten Kosten durch, behalten Sie die Quell und Preisversion und vergleichen Sie im Laufe der Zeit ähnliche Workflows. Geben Sie eine Schicht das Budget erneut ausprobieren Wiederholungen sind oft richtig. Eine eingeschränkte Anfrage oder ein vorübergehender Netzwerkausfall kann nach einer Verzögerung erfolgreich sein. Das Scheitern beginnt, wenn jede Schicht unabhängig davon entscheidet, dass sie die Wiederherstellung besitzt. Die Leitlinien für die Ratengrenze von OpenAI empfiehlt eine zufällige exponentielle Rückzahlung und warnt, dass fehlgeschlagene Anfragen immer noch zur Minutengrenze beitragen. Die kontinuierliche Weiterversendung verbraucht daher die für die Wiederherstellung erforderliche Kapazität. Die aktuelle AWS SDK Wiederversuch Referenz dokumentiert die gleichen Kontrollprinzipien in einer breiteren API Einstellung: begrenzte maximale Versuche, exponentielle Rückkopplung mit jitter und ein Retry Quota Token Bucket, das erneute Versuche aufhört, wenn sein Budget erschöpft ist. Diese Quellen schreiben keine universelle Agenturpolitik vor. Sie unterstützen einen sicheren Vertrag: 1. Wählen Sie für eine Operation einen erneuten Versuchseigner aus, der in der Regel die niedrigste Schicht auswählt, die den vorübergehenden Fehler klassifizieren und die Idempotency bewahren kann. 2. Zählen Sie die anfängliche Anfrage und jeden erneuten Versuch gegenüber einem Versuch auf Laufniveau und dem Kostenbudget. 3. Versuchen Sie, Metadaten nach oben zu verbreiten, damit ein Workflow Runner den letzten Fehler eines SDK nicht mit einem ersten Fehler verwechselt. 4. Erläutern Sie ausdrücklich, dass nicht zurückführbare Zustände: Verweigerung der Erlaubnis, ungültige Eingabe, fehlende Autorität und fehlende Ergebnisüberprüfung erfordern Routing oder Untersuchung, nicht blinde Wiederholung. 5. Hören Sie auf, wenn die Zeit, das Versuch oder das Budget ausgeschöpft sind. Wiederherstellen Sie einen sichtbaren Zustand mit den letzten Beweisen. 6. Überprüfen Sie nach einem erneuten Versuch das Ziel. Ein Befehl, der erfolgreich zurückkehrt, ist nicht das versprochene Ergebnis. Die Auszeit braucht besondere Sorgfalt. Ein Client Timeout beweist nicht, dass die Remote Seite nichts getan hat. Bevor Sie ein Nebenwirkungswerkzeug erneut ausprobieren, verwenden Sie einen Idempotency Schlüssel oder fragen Sie nach dem Ziel. Ansonsten kann ein Beobachtungssystem den zweiten Versuch korrekt melden, während das Geschäftssystem zwei Rechnungen, Nachrichten oder Publikationen erhält. Warnung auf Regression, dann überprüfen Sie das Ergebnis Versuchen Sie es nicht noch einmal. Beginnen Sie mit Arbeitsfluss spezifischen Basislinien und erfordern Beharrlichkeit. Eine nützliche erste Warnung kann drei Bedingungen vereinen: Passen Sie diese Werte an den Workflow an. Ein Bündelprozess mit billigem, unmöglichen Fan out kann mehr Versuche tolerieren. Eine Zahlung, eine Veröffentlichung oder ein Kundennamen Workflow erlauben möglicherweise weniger. Trennung des Anbieters durch den Ausfall des Werkzeugs und das Fehlen eines Zielresultats. Sie haben verschiedene Besitzer und verschiedene Sicherheitsmaßnahmen. In der Warnung sollte das betroffene Versprechen, die Gesamtversuche, die Wiederversuche der Eigentümer, die Kostenvorkommen, das Ergebnis und die Frische des Verifikators sowie die nächste begrenzte Maßnahme genannt werden. Eine nützliche Nachricht lautet: Die Berichtsveröffentlichung nutzte 12 Versuche im SDK und im Workflow Runner; die Wiederversuchsausgaben sind 63%; eines von vier Ergebnissen wird verifiziert; überprüfen Sie die Wiederversuchbesitz und den Sitemap Verifier. Es sollte nicht nur Token Kosten hoch sein. Es gibt zwei wichtige Grenzen. Kostendaten können verzögert, geschätzt oder unvollständig sein, so dass die Abdeckung angezeigt wird und keine Nullen erstellt werden. Die Ergebnissechecks können auch unabhängig davon versagen, so dass unavailable von missing unterschieden bleiben muss. Ein legitimer waiting Run bleibt außerhalb des verifizierten Nenners und wird nicht als stecken gekennzeichnet, bis sich seine Abhängigkeit oder die Frist ändert. Die Produktrichtung von Sidewisp umfasst Kosten als ein Gesundheitssignal neben Verfügbarkeit, Ausführung, Speicher, Werkzeugen und Ergebnissen. Es soll neben den bestehenden Laufzeiten funktionieren und nicht zu einem obligatorischen Modell Gateway oder einem autonomen Fixer werden. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Die öffentliche Website und Artikelbibliothek sind live; Produktionsüberwachungsadapter, Token Kostenanalyse und Wiederherstellungsdurchführung werden im Allgemeinen nicht versendet. Nehmen Sie an der privaten Vorschau teil, wenn Sie helfen möchten, zu definieren, wie erneute Beweise, Kosten und verifizierte Ergebnisse erfüllen sollten, während Menschen die Autorität behalten.