New Relic LLM Observability: Beweisen Sie, dass jeder Anruf einer Route gehört

Die Observability von New Relic LLM kann Modelllatenz, Token, Fehler, Traces und KI Antwortdaten anzeigen. Es allein kann einem Bediener nicht sagen, ob zwei Kollektoren denselben Modellaufruf gezählt haben oder ob der Agent das angeforderte externe Ergebnis erzeugt hat. Die praktische Standardeinstellung besteht darin, einen Instrumentierungseigentümer für jede Modellaufrufgrenze zu benennen, jeden Datensatz mit einer inhaltsfreien Aufruf ID zu korrelieren und eine separate Quittung für die Lieferung aufzubewahren. Diese Regel ist wichtig, da New Relic mehrere legitime Pfade dokumentiert. Es ist einheimischKI Überwachungverwendet APM Agenten. New Relic dokumentiert auchOpenLIT über OTLPfür Spuren und Metriken undOpenLLMetry über OTLPfür Spuren. LiteLLM verfügt über eine separateNew Relic Integrationbasiert auf seinem Rückruf und dem New Relic Python Agenten. Diese Wege sind Optionen und kein Beweis dafür, dass alle die gleiche Grenze verfolgen sollten. Ein Dashboard kann ausgefüllt werden, wenn der Besitz falsch ist, Beweise veraltet sind, ein erforderliches Feld fehlt oder ein abgeschlossener Modellaufruf kein verifiziertes Ergebnis hat. Deklarieren Sie die Route, bevor Sie der Karte vertrauen Beginnen Sie mit einem Bereitstellungsmanifest, nicht mit einer Abfrage. Es sollte den Dienst, die zu instrumentierende Grenze, den einen Eigentümer, der diese Grenze melden darf, die Signalarten, die dieser Eigentümer aussenden darf, das Korrelationsfeld und die Aktualitätsgrenze identifizieren. Die Unterscheidung zwischen einem Eigentümer und einer Signalart verhindert einen groben Deduplizierungsfehler. Ein deklarierter Eigentümer kann für denselben Anruf absichtlich ein APM Span und ein AI Nachrichtenereignis aussenden. Diese Datensätze ergänzen sich, wenn sie dieselbe Anruf ID haben und der Bereitstellungsvertrag beides erwartet. Ein OpenLIT Eintrag und ein OpenLLMetry Eintrag für dieselbe Grenze sind zwei Eigentümer, auch wenn ihre Felder ähnlich aussehen. Das Manifest sollte von der Bereitstellung erstellt werden, die die Instrumentierung ermöglicht hat. Schließen Sie es nicht von der Entität ab, die gerade in der Benutzeroberfläche angezeigt wird. Die Setup Pfade stellen die Identität unterschiedlich her: Die KI Überwachung durch New Relic beginnt mit einem APM Agenten und einer unterstützten Bibliothek oder einem unterstützten Framework. OpenLIT sendet Traces und Metriken an den OTLP Endpunkt von New Relic. OpenLLMetry sendet Traces an diesen Endpunkt und New Relic leitet die Dienstentität von OpenTelemetry ab service.name Ressourcenattribut. LiteLLM ermöglicht a newrelic Rückruf und verwendet den New Relic Python Agenten für APM Telemetrie. In der Dokumentation heißt es, dass der Rückruf eine Initialisierungsmeldung protokolliert und dass es zwei bis drei Minuten dauern kann, bis Ablaufverfolgungsdetails angezeigt werden. Dies reicht aus, um einen expliziten Routendatensatz zu erfordern. Es ist kein Beweis dafür, dass ein bestimmtes Paar einen Anruf immer duplizieren wird. Der sichere Betriebsanspruch ist enger gefasst: Wenn zwei Eigentümer für eine Grenze beobachtet werden, deren Manifest dies zulässt, sind Gesamtwerte und Gesundheitsurteile nicht eindeutig, bis der Einsatz abgeglichen ist. Verwenden Sie eine undurchsichtige Anrufkennung anstelle eines Eingabeaufforderungs Hashs. Ein nützlicher Beobachtungsumschlag kann inhaltsfrei bleiben: Eingabeaufforderungs und Antwortinhalte sind für Eigentum, Aktualität, Token Feld Präsenz oder Zielüberprüfung nicht erforderlich. LiteLLM dokumentiert sowohl ein New Relic spezifisches turn off message logging Einstellung und ein Umgebungsschalter, der die Aufzeichnung von KI Überwachungsinhalten deaktiviert. Behandeln Sie die Aufbewahrung von Inhalten als separate Datenschutzentscheidung. Schalten Sie es nicht nur ein, damit die Eigentumsprüfung funktioniert. Spielen Sie die acht Zustände ab, die eine grüne Ansicht verbirgt Das begleitende Audit verwendet acht synthetische Aufrufe. Es gilt dieser Vorrang: 1. keine Beobachtung; 2. voraussichtlicher Eigentümer abwesend; 3. mehr als ein Eigentümer; 4. unerwartete Signalart oder fehlendes Pflichtfeld; 5. veraltete Beweise; 6. legitimes Warten; 7. Fertigstellung ohne Ergebnisbeleg; 8. Abschluss mit Ergebnisbeleg. Vorrang ist wichtig. Ein veralteter Datensatz vom richtigen Eigentümer ist nicht fehlerfrei. Eine neue Schallplatte vom falschen Besitzer ist auch nicht gesund. Das Warten wird erst ausgewertet, nachdem Eigentum, Form und Frische verstrichen sind, sodass eine Genehmigungspause nicht über eine fehlerhafte Sammlung hinwegtäuschen kann. Die gesamte Vorrichtung enthält keine Eingabeaufforderungen oder Antworten. Die Ausführung führt zu acht verschiedenen Urteilen: Der Klassifikator ist bewusst klein: Jedes nicht gesunde Urteil weist auf eine andere Reparatur hin: Urteil Was es begründet Begrenzte nächste Aktion NO TELEMETRY Für den erwarteten Anruf ist kein Datensatz eingetroffen Überprüfen Sie die Initialisierung der Instrumentierung, die Erreichbarkeit des Exporters und das Abfragefenster ROUTE DRIFT Daten sind eingetroffen, jedoch nicht vom angegebenen Eigentümer Vergleichen Sie das Bereitstellungsmanifest mit dem laufenden Prozess und deaktivieren Sie den unbeabsichtigten Pfad MULTIPLE OWNERS Mehr als ein Instrumenteneigentümer hat die Grenze beachtet Den Anruf von Totals unter Quarantäne stellen; Wählen Sie einen Eigentümer aus oder erfassen Sie eine zeitlich begrenzte Migrationsausnahme SCHEMA GAP Die Eigentumsangaben sind korrekt, die Beweise sind jedoch unbrauchbar oder unvollständig Korrigieren Sie die Feldzuordnung oder den Signalartvertrag, bevor Sie darauf aufmerksam machen STALE Die neuesten Beweise überschreiten das zulässige Alter Überprüfen Sie die Verzögerung des Exporters, die Warteschlange, die Taktausrichtung und die Abfragezeit WAITING Die Sammlung ist fehlerfrei und eine benannte Abhängigkeit bleibt bestehen Benachrichtigen Sie den Eigentümer oder warten Sie bis zum angegebenen Termin; Starten Sie den Agenten nicht neu OUTCOME UNVERIFIED Der Modellaufruf wurde ohne Nachweis der gewünschten Wirkung abgeschlossen Führen Sie die deterministische Zielprüfung durch HEALTHY Eigentum, Beweise, Arbeitsstatus und Ergebnis stimmen alle überein Bewahren Sie die Quittung auf und wenden Sie das normale Stabilitätsfenster an MULTIPLE OWNERS Datensätze sollten nicht automatisch gelöscht oder zusammengeführt werden. Bei einer geplanten Migration kann die doppelte Erfassung sinnvoll sein. Machen Sie die Ausnahme explizit mit einer Startzeit, einer Endzeit, Eigentümern und einer Abgleichsregel. Halten Sie Migrationsbeobachtungen von den Produktionskosten und Zuverlässigkeitsnennern fern, bis die beiden Pfade verglichen werden. Andernfalls könnte ein offensichtlicher Token Spitze eher eine Instrumentierungsänderung als eine Verhaltensänderung sein. Die Vorrichtung zeigt auch, warum ein allgemeiner roter Zustand schwach ist. ROUTE DRIFT ist ein Bereitstellungsproblem; STALE Möglicherweise handelt es sich um ein Aufnahme oder Abfragefensterproblem. WAITING ist kein Misserfolg; Und OUTCOME UNVERIFIED erfordert eine Zielprüfung und keine weitere Trace Abfrage. Verbinden Sie die Beobachtbarkeit mit einem Ergebnisbeleg In der KI Überwachungsdokumentation von New Relic werden Leistungs , Kosten , Token , Antwort , Trace und Benutzer Feedback Beweise beschrieben. Das sind nützliche Signale über die KI Ebene. Auf eine Modellantwort kann immer noch ein fehlgeschlagener Toolaufruf, eine nicht festgeschriebene Datei, eine nie gesendete E Mail oder ein Job folgen, der auf Genehmigung wartet. Bewahren Sie daher den Zielempfang außerhalb der Modellaufruftelemetrie auf: Das Ziel und die Überprüfungsmethode hängen von der Arbeit ab. Verwenden Sie eine Objektversion für einen Datei Upload, einen Commit Hash plus Prüfungen auf eine Codeänderung, eine Provider Nachrichten ID für eine Zustellung oder ein API Rücklesen für eine Konfigurationsmutation. Ein Befehls Exit Code ist schwächer, wenn das versprochene Ergebnis anderswo existiert. In der Wiederholung false complete Und healthy haben die gleichen zwei Signalarten auf der New Relic Seite: Eigentümer, Felder und Frische. Lediglich der Zielbeleg ändert sich. Das ist die operative Grenze: Die LLM Beobachtbarkeit erklärt den Modellaufruf Beweis; Die Quittung beweist, dass das vom Agenten beabsichtigte Ergebnis vorliegt. Ein praktischer Rollout ist klein: 1. Wählen Sie eine echte Modellaufrufgrenze. 2. Notieren Sie den erwarteten Instrumentierungseigentümer und die zulässigen Signalarten in der Bereitstellung. 3. Generieren Sie eine synthetische Anruf ID und fragen Sie alle relevanten New Relic Ereignistypen dafür ab. 4. Die Einführung schlägt fehl, wenn der erwartete Eigentümer abwesend ist oder ein nicht deklarierter Eigentümer erscheint. 5. Überprüfen Sie die erforderlichen Felder und ein begrenztes Aktualitätsintervall. 6. Aufzeichnen working , eine benannte Warteabhängigkeit, oder complete separat. 7. Fordern Sie vor dem Umzug eine deterministische Empfangsbestätigung an complete zu gesund. 8. Wiederholen Sie diesen Vorgang nach einem SDK , Rückruf , Exporter oder Agent Upgrade. Dieses Verfahren hat eine Einschränkung: Es beweist nicht, dass jede von New Relic unterstützte Integration jede Framework Kombination doppelt instrumentiert. Es beweist, ob Ihre beobachtete Bereitstellung mit dem deklarierten Eigentumsvertrag übereinstimmt. Es ersetzt auch nicht die Kompatibilitätsprüfungen von New Relic oder einen vollständigen OpenTelemetry Schema Konformitätstest. Die beabsichtigte Rolle von Sidewisp grenzt an diese Unterscheidung: Erkenntnisse über Erreichbarkeit, nützlichen Fortschritt, Tools, Ergebnisse, Zeit und Budget in einer Sicht auf die Agentengesundheit zu kombinieren. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Das Live Produkt ist eine Early Access Website und eine Demonstration; Ein New Relic Produktionsadapter, eine Überwachungs Engine und ein automatisierter Wiederherstellungs Executor werden nicht ausgeliefert. Nutzen Sie die oben stehende Prüfung mit Ihren aktuellen Telemetrie und Zielsystemen, anstatt davon auszugehen, dass Sidewisp sie heute sammelt oder repariert. Die Lösung ist einfach genug, um durchgesetzt zu werden: ein deklarierter Instrumentierungseigentümer pro Modellaufrufgrenze, mehrere Signalarten nur dann, wenn das Manifest dies zulässt, neue inhaltsfreie Beweise, ein expliziter Wartezustand und ein unabhängiger Ergebnisempfang. Eine grüne New Relic Ansicht wird für Agentenvorgänge erst dann vertrauenswürdig, wenn diese Grenzen übereinstimmen.