Azure LLM Beobachtbarkeit: Überprüfung des gemachten Grünen Lücken

Azure LLM Beobachtbarkeit sollte mehr als hat ein Lauf beendet? Bevor Sie ein gesundes Urteil akzeptieren, beweisen Sie vier Bedingungen für den gleichen Lauf: Die Telemetrie ist abfragbar und frisch, der Ausführungszustand ist verstanden, jede erforderliche Qualitätsprüfung deckte den Lauf tatsächlich ab und das versprochene Ergebnis ist an seinem Zielort vorhanden. Microsoft Foundry gibt Ihnen nützliche Stücke dieses Beweises. Es kann Serverseitenspuren in Azure Monitor Application Insights platzieren, Betriebsmetriken im Agent Monitoring Dashboard anzeigen und Evaluationen gegen entnommene Produktionsantworten ausführen. Diese Stücke sind nicht austauschbar. Eine Spur kann frisch sein, während ein Bewertungsleiter den Lauf überspringt. Ein Evaluator kann passieren, während eine Datei, ein Ticket, eine Bereitstellung oder eine Nachricht nie ihr Ziel erreicht hat. Ein abgeschlossener Lauf kann auch auf eine legitime menschliche Entscheidung warten, die die Anwendung schlecht modelliert hat. Die praktische Nichterfüllung ist daher eine Abdeckungsprüfung, nicht eine zusammengesetzte Punktzahl. Nicht verfügbare Beweise nicht verfügbar zu halten, die Probenahme als Abdeckung und nicht als Erfolg zu betrachten und eine Arbeitslast spezifische Ergebnisbestätigung zu lassen, um die endgültige Lücke zu schließen. Lesen Sie die Gießerei Oberflächen als getrennte Beweise Überblick über die Beobachtbarkeit von Microsoft trennt drei Fähigkeiten: Tracing erfasst den Ausführungsweg, einschließlich Modellanrufe, Werkzeugnutzung, Latenz und verwandter Spannungen. Monitoring fasst operative Maßnahmen wie Token, Latenz, Fehlerrate und Run Erfolg zusammen. EEvaluierung misst ausgewählte Qualitäts oder Sicherheitsmerkmale mit integrierten oder maßgeschneiderten Evaluierern. Dass die Trennung während eines Vorfalls wichtig ist. Eine erfolgreiche Laufzeit legt fest, dass ein instrumentalisierter Betrieb einen Terminalsatz erreicht hat. Es wird nicht festgestellt, dass das aktuelle Dashboard alle relevanten Spannungen sehen kann, dass ein Bewerter diese Antwort untersucht hat oder dass die gewünschte Nebenwirkung aufgetreten ist. Tracing Setup Leitfaden stellt zwei nützliche Grenzen explizit dar. Zunächst beginnt die Serverseitenverfolgung des hosteten Agenten, nachdem das Projekt mit Application Insights verbunden ist. Zweitens können neue Spuren einige Minuten dauern, bis sie erscheinen. Wenn die erwartete Spur fehlt, ist das verantwortliche Urteil nicht failed oder healthy. Es ist evidence unavailable , bis Sie Verbindung, Genehmigung, Verzögerung der Einnahme, Probenahme und Instrumentation unterscheiden. Die Frage nach Zugang ist eine weitere unabhängige Bedingung. Die Monitoring Dokumentation von Foundry erfordert einen geeigneten Azure Rollen basierten Zugriff auf Application Insights und für Log Ansichten den damit verbundenen Arbeitsplatz Log Analytics. Ein Betreiber, der das Projekt öffnen kann, aber seine geschützte Telemetrie nicht abfragen kann, hat ein Sichtbarkeitsproblem, kein Beweis für einen gesunden Agenten. Die gleiche Vorsicht gilt auch für den Tab Monitor. Das Handbuch über die Überwachung von Agenten beschreibt die Ausführung Erfolgsrate, Token, Latenz und Bewertungsergebnisse. Es heißt auch, dass eine kontinuierliche Bewertung auf Beispiele durchgeführt wird. Antworten. Die Probenahme ist eine gültige Kosten und Durchsatzentscheidung, stellt aber eine Nennungsfrage: Hat dieser spezielle Probe alle für die Entscheidung erforderlichen Bewertungen erhalten? Beantworten Sie diese Frage nicht aus einer Gesamtzahl. Erfassen Sie es pro Lauf. Geben Sie eine Berichterstattung Beginnen Sie mit einer kleinen, inhaltlosen Platte. Bewahren Sie Identifikatoren oder Hashes, mit denen ein autorisierter Betreiber die zugrunde liegenden Beweise findet; kopieren Sie keine Anweisungen, Werkzeugargumente, Geheimnisse oder Modell Ausgänge in einen neuen Gesundheitsgeschäft. Jedes Feld beantwortet eine Entscheidung: 1. Kann der Betreiber die aktuelle Telemetrie abrufen? Testen Sie die Application Insights Verbindung und die tatsächliche Abfrageberechtigung. Ein Portalseitenladen ist nicht der Test. 2. Ist die Spur frisch genug für diesen Workflow? Setzen Sie ein Budget aus der erwarteten Laufzeit plus beobachteten Aufnahmeverzögerungen. Verwenden Sie die grüne Spannung von gestern nicht stillschweigend wieder. 3. Was macht der Agent? Bewahren Sie working , waiting , succeeded und Ausfallzustände. Eine benannte Zustimmung oder eine äußere Abhängigkeit ist eine Wartezeit, nicht eine Haltestelle. 4. Hat der erforderliche Bewertungsbeauftragte diesen Lauf abgedeckt? Die Abdeckung ist getrennt vom Ergebnis des Bewerters zu speichern. 5. Ist das versprochene Ergebnis erreicht? Abfrage nach dem Ziel, das das Ergebnis besitzt. Die Ergebnisse müssen mit der Arbeit übereinstimmen. Überprüfen Sie für einen erzeugten Bericht, ob das erwartete Objekt existiert und sein Hash oder Schema korrekt ist. Lesen Sie das Ticket und überprüfen Sie den vorgesehenen Übergang. Für eine API Mutation befragen Sie die Zielressource, anstatt sich auf den erfolgreichen HTTP Austausch des Clients zu verlassen. Für eine Code Aufgabe ist der erwartete Diff plus das entsprechende Build oder Testergebnis erforderlich. Diese Aufzeichnung vermeidet bewusst ein universelles Erfolgsfeld. Die Kombination von unähnlichen Beweisen zu früh ist, wie unbekannte Berichterstattung grün wird. Wiederholen Sie die Entscheidung vor der Übertragung von Alarmen Das für diesen Artikel verwendete Gerät enthält acht synthetische Laufen und keine Azure Zugaben, Anfragen oder Produktionstelemetrie. Der Klassifizierer bewertet die Sichtbarkeit vor dem Ausgangszustand, den Ausgangszustand vor der Qualität und die Qualität vor dem Ergebnis: Bei der Ausführung des node audit azure observability.mjs gegen das feste Gerät wurden acht Übereinstimmungen erzielt und keine Fehl Übereinstimmungen: Fall Azure seitige Beweise Bestimmungsnachweise Urteil Verbindung vorhanden, Anfrage abgelehnt Kann die aktuelle Telemetrie nicht überprüfen Gute Quittung EVIDENCE UNAVAILABLE Alte Spur, alle anderen Felder grün Stale Gute Quittung EVIDENCE STALE Frische Spur, aktiv laufen Aktuelle Tätigkeit Noch nicht erwartet WORKING Frische Spur, Namensgenehmigung warten Aktuelle Wartezeit Noch nicht erwartet WAITING Erfolgreich ausgeführt, die erforderliche Bewertung übersprungen Qualitätsdeckung fehlt Gute Quittung QUALITY UNKNOWN Erfolgreich ausgeführt, Probenabschätzung fehlgeschlagen Qualität fehlgeschlagen Gute Quittung QUALITY FAILED Ausführung und Evaluation erfolgreich Vollständig in der Gießerei Abwesenheit von Quittung FALSE COMPLETE Ausführung und Evaluation erfolgreich Vollständig in der Gießerei Gute Quittung HEALTHY Zwei Ergebnisse sind leicht zu verfehlen. QUALITY UNKNOWN ist kein gescheiterter Bewertungsbeauftragter. Es heißt, der Bewertungsbeauftragte habe den für diese Entscheidung erforderlichen Zeitraum nicht abgedeckt. Sie können diesen Zustand auf einen deterministischen Ersatz, gegebenenfalls eine einmalige Bewertung oder eine menschliche Überprüfung verweisen. Sie können die Gesamt Dashboard Score nicht als Ergebnis dieses Laufens neu kennzeichnen. WAITING ist auch kein Ausfall. Wenn die Spur frisch ist und einen berechtigten Besitzer und Abhängigkeit identifiziert, ist die nützliche Maßnahme, die Wartezeit für diesen Besitzer aufzutauchen. Wenn der Agent neu gestartet wird, kann die Arbeit dupliziert oder der Kontext entfernt werden, ohne die Abhängigkeit zu lösen. Setzen Sie Alarme auf den fehlgeschlagenen Zustand, nicht die Farbe Eine Alarmmeldung sollte die Beweise nennen, die gebrochen wurden: Telemetrie nicht verfügbar : Überprüfen Sie die Verbindung Foundry to Application Insights, die Abfrage RBAC, den Zugriff auf geschützte Tabellen, die Instrumentation und den jüngsten Verkehr. EBeweise stale : Vergleichen Sie die letzte beobachtete Spurenzeit mit dem Haushaltsplan für die Frische des Arbeitsflusses und die bekannte Verzögerung der Einnahme. QQualität unbekannt : Überprüfen Sie die konfigurierte Stichprobenrate und ob diese Entscheidung tatsächlich einen Bewertungsbeauftragten erfordert. Quality fails : Bewahren Sie den Bewerternamen, die Version, den Schwellenwert und den Prüflauf Identifikator vor der Untersuchung. False complete : Stoppen Sie automatische Wiederversuche an der Nebenwirkungsgrenze und vereinbaren Sie die Bestimmung mit einem stabilen Arbeitsidentifikator. Dies führt zu leichteren Operationen als eine Warnung bei jeder fehlenden Probe oder einer langen Dauer. Die Leitlinien für das Dashboard von Microsoft bieten breite Prüfschwellen, wie z.B. die Untersuchung niedriger Erfolgsraten oder hoher Latenz. Diese Flottensignale sind nützlich, um eine Kohorte zu finden. Die Berichterstattung über die Leistung pro Lauf entscheidet, was mit einem bestimmten Werk nicht stimmt. Frische braucht auch einen Besitzer. Die Aufbewahrung von Application Insights kontrolliert, wie lange Beweise befragbar bleiben; die Einnahme und Abfrageberechtigungen kontrollieren, ob sie jetzt sichtbar sind. Speichern Sie die letzte erfolgreiche Abfragezeit und die neueste passende Tracezeit getrennt. Das geladene Dashboard beweist keines. Halten Sie die Vorschau und die Grenzen für die Privatsphäre sichtbar Die aktuelle Dokumentation der Gießerei markiert Teile der Agentenaufspurung und überwachung als Vorschau. Das Überblick über die Verfolgung durch Agenten sagt, dass das Tracing für prompt und hosted Agenten im Allgemeinen verfügbar ist, während Workflow und Externe Agent Tracing in Vorschau stehen. Der Überwachungsleitfaden markiert auch die Dashboard Funktionen als Vorschau. Registrieren Sie den Typ des Agenten und den Status der Funktionen im Runbook; übertragen Sie keine Garantien von einem Host Agent Pfad auf einen externen Workflow, ohne den aktuellen Vertrag zu überprüfen. Das Tracing kann Anfragen, Ausgänge, Werkzeugargumente und Werkzeugergebnisse erfassen. Microsoft empfiehlt, sensiblen Inhalten vor der Telemetrie zu bearbeiten und Produktionszugangs und Speicherkontrolle anzuwenden. Eine Gesundheitsschicht sollte, soweit möglich, die Beweise mit inhaltlosen Identifikatoren verweisen und keine zweite Lagerung sensibler Nutzlasten erzeugen. Es gibt eine letzte Beschränkung, die man außerhalb des Urteils behalten muss: Dieser Klassifizierer prüft die Vorrangigkeit der Beweise. Es kontaktiert kein Azure Abonnement, schließt ein Service Level Ziel ab oder entscheidet, was Erfolg für Ihre Anwendung bedeutet. Die Bestimmungsbestätigung ist absichtlich arbeitsspezifisch. Diese Grenze ist der Punkt. Die Beobachtbarkeit von Azure LLM kann die Ausführung, die Leistung, die Qualität der Stichproben und die Debug Beweise aussetzen. Die Betriebsgesundheit erfordert auch Frische, Abdeckung, einen korrekten Wartezustand und den Nachweis des erwarteten Ergebnisses. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Sie hat es sich zum Ziel gesetzt, Beweise aus bestehenden Agentenlaufzeiten in eine klare Gesundheitssicht zu verwandeln, wobei gleichzeitig Unsicherheit und menschliche Genehmigungsgrenzen gewahrt werden; die Überwachung von Microsoft Foundry wird hier nicht als versandte Sidewisp Integration dargestellt.