LLM Beurteilung: Verfolgen Sie jede Entscheidung auf die richtigen Beweise

LLM Evaluierung ist die Praxis, zu prüfen, ob ein Modellbetriebssystem ein definiertes Kriterium für ein definiertes Ziel erfüllt. Das nützliche Standard ist einfach: Nennen Sie zuerst die Entscheidung, dann sammeln Sie die engsten Beweise, die sie unterstützen können. Ein kuratierter Datensatz kann eine Behauptung über die Qualität vor der Veröffentlichung unterstützen. Ein Ausgangsvergleich kann eine Regressionsentscheidung unterstützen. Die Probenahme der Produktion kann Live Qualitäts Drift aufdecken. Keines von ihnen beweist, dass ein Agent erreichbar war, einen Werkzeug Effekt vollendete oder das versprochene Artefakt geliefert hat. Diese Grenze ist wichtig, weil die Bewertung breiter klingt als sie ist. Ein Ergebnis hat immer ein Ziel, eine Uhr und fehlende Beweise. Wenn man es als ein universelles Gesundheitsurteil betrachtet, entsteht ein falsches Grün: Die Reaktion sieht gut aus, während der Prozess oder das Ergebnis gebrochen ist. Beginnen Sie mit der Entscheidung, nicht mit der Metrik Bevor Sie eine genaue Übereinstimmung, eine Eingliederungsscore, einen LLM Richter oder eine Plattform wählen, schreiben Sie einen Satz in dieser Form: Bei dieses Mal entscheiden Sie diese Aktion von dieses Ziel mit dieses Beweis . Dieser Satz führt die Arbeit in eine Spur: Entscheidung Ziel Uhr Mindestbeweise Stärkste unterstützbare Behauptung Ist ein Kandidat gut genug? Kuratierte Beispiele Vor dem Einsatz Datensatz, Task spezifische Scorer Der Bewerber erfüllt das benannte Kriterium in diesem Datensatz Hat sich die Freilassung zurückgenommen? Ausgangspunkt und Kandidat Bei der Freisetzung Paare Strecken, Schwellenwert Der Bewerber überschritten nicht die benannte Regressionsgrenze Wird die Qualität der Live Sendungen abweichen? Stichprobenvorbereitung der Produktion Während des Verkehrs Frische Stichprobe, Produktionsbewertung Diese Stichprobe erfüllt das Live Kriterium oder verpasst das Live Kriterium. Ist der Agent gesund? Laufzeit und erwartete Arbeit Bei der erwarteten Laufzeit Herzschlag, Zeitplan, Fortschrittsbestätigung Die Laufzeit ist erreichbar und die nützliche Arbeit bewegt sich Ist das gewünschte Ergebnis gelungen? Externe Bestimmungsort Nach Ablauf der Frist für die Wirkung oder die Vollendung Bestimmungsbestätigung, Schecksumme, Akzeptanzprüfung Die Wirkung oder Lieferwert existiert und bestreicht die Überprüfung Die letzten beiden Zeilen sind keine Better Evalue. Sie beantworten verschiedene Fragen. Ein Evaluier kann eine Antwort oder eine Spur überprüfen; die Betriebsgesundheit benötigt Beweise für den Prozess, der ausgeführt werden sollte; die Ergebnisseüberprüfung benötigt Beweise aus dem Bestimmungsort, an dem das Ergebnis vorhanden sein sollte. Offline Bewertung unterstützt begrenzte Vorveröffentlichungsansprüche Die Bewertungsanleitung von OpenAI definiert einen nützlichen Workflow: Festlegen Sie das Ziel, sammeln Sie einen Datensatz, definieren Sie Metriken, führen Sie Vergleiche aus und bewerten Sie weiter, wenn sich das System ändert. Es warnt auch vor generischen Metriken und vibe basierter Evaluierung. Die praktische Implikation ist, dass eine Offline Score eine Freigabeentscheidung benötigt. Nehmen wir an, ein Support Agent muss das richtige Tool auswählen, den richtigen Konto Identifikator geben und eine politisch entsprechende Antwort zurückgeben. Stürzen Sie diese nicht in einen Durchschnitt zusammen. Verwenden Sie drei Kontrollen: genaue oder schemabasierte Kontrollen für das ausgewählte Werkzeug und Argumente; eine Aufgabenspezifische Qualitätsrubrik für die Antwort; eine deterministische Prüfung für jedes Ausgangsfeld, das der Antragsvertrag verlangt. Vergleichen Sie dann den aktuellen Kandidaten mit der Ausgangsbasis für die gleichen Fälle. Ein Kandidat, der den Antwortstil verbessert, aber die Genauigkeit der Konto ID reduziert, ist nicht 0.7% besser. Er hat eine Fehlerklasse gegen eine andere ausgetauscht. Das Release Gate sollte sagen, ob dieser Handel erlaubt ist. Regressionsprüfungen sind daher eine besondere Verwendung von Offline Evaluierung und kein Synonym für alle Evaluierungen. Es erfordert eine stabile Ausgangsbasis, Paare von Fällen und eine Schwelle, die mit einer Freisetzungsaktion verbunden ist. Aufzeichnen Sie die Datensatzversion, die Scorer Version, das Modell und die Anlaufkonfiguration, die Probenzahl und die Meinungsverschiedenheiten. Ohne diesen Manifest kann eine Punktänderung nicht sicher zugeschrieben werden. Der vernünftige Boden kann klein sein. Fünf bis zehn sorgfältig überprüfte Beispiele pro kritischen Bestandteil sind nützlicher als ein großer synthetischer Satz mit unklaren Annahmekriterien. Erweitern Sie das Set von echten Vorfällen, Vorfällen und Meinungsverschiedenheiten der Kritiker. Ein Datensatz sollte schwieriger werden, weil das System Ihnen beigebracht hat, wo es fehlt, nicht weil ein Dashboard die Zahl der Fallen belohnt. Die Online Evaluierung beobachtet Live Verhalten, mit schwachen Referenzen LangSmiths Bewertungskonzepte macht einen wichtigen Ziel unterscheiden. Offline Evaluierungen werden auf Datensätzen und Beispielen durchgeführt, oft mit Referenzergebnissen. Die Online Evaluierungen werden auf Produktionsläufen oder fäden durchgeführt, wo in der Regel keine richtige Referenz vorhanden ist. Das ändert, was das Urteil bedeuten kann. Ein Online Evaluator kann ein Sicherheitsmuster, eine fehlerhafte Ausgabe, einen Thema Drift, eine geringe Benutzerzufriedenheit oder eine ungewöhnliche Flugbahn markieren. Es kann auch schwierige Live Fälle für den Offline Regressionsset erfassen. Es kann die Zuverlässigkeit eines Referenzunterstützten Tests nicht schweigend erben. Die Probe kann veraltet, gefiltert, nicht repräsentativ sein oder von einem Richter, der abgedreht ist, bewertet werden. Für jede Online Regel: die Stichprobenpolitik und die Ausnahmen; der Kennzeichen für Lauf oder Faden, ohne dass ein sensibler Inhalt durchläuft; die Auswertungsversion und die Rubrik; die Beobachtungszeit und das Frischefenster; die durch einen Fehler ausgelöste Aktion; Ein Weg zur menschlichen Überprüfung und der Festnahme von Meinungsverschiedenheiten. Die Dokumentation des Agent Development Kit von Google trennt die Bewertung der Werkzeugnutzungsbahn von der Bewertung der endgültigen Antwort. Das ist nützlich, aber Trajektorienpassung erfordert Zurückhaltung. Zwei gültige Agenten können die gleiche Aufgabe durch verschiedene Werkzeugsequenzen lösen. Eine genaue Trajektoregulierung ist angemessen, wenn die Ordnung Teil des Sicherheitsvertrags ist; ansonsten müssen die erforderlichen Effekte und verbotenen Handlungen überprüft werden, anstatt einen idealen Weg zu fordern. Die Überwachung der Produktion enthält auch Nichtbewertungssignale. Latenz, Fehlerrate, Token Nutzung und Spurenvollständigkeit beschreiben das Serviceverhalten. Ein Evaluier der Reaktionsqualität beschreibt den in der Stichprobe erfassten Inhalt oder das Verhalten. Keiner von beiden stellt fest, daß der Arbeitsplan für morgen erreichbar ist. Halten Sie diese Behauptungen getrennt, auch wenn sie auf einer Plattform zusammen angezeigt werden. Die Ausgangsgrenze braucht Quittungen, kein anderer Richter. Drei Fälle aus der Feststellung des Artikels ergaben die gleiche Falle: Eine generische LLM Score wurde bestanden, doch das einzige verteidigbare Urteil war UNKNOWN . 1. Der Runtime Health Fall hatte einen erwarteten Zeitplan und einen Fortschrittsrekord, aber keinen frischen Herzschlag. Altes gutes Werk bewies nicht, dass es heute erreichbar ist. 2. Der Werkzeug Effekt Fall hatte eine stabile Betriebs ID, aber keine Quittung vom Bestimmungsort. Eine Auszeit könnte entweder keine Wirkung oder eine vollständige Wirkung verbergen. 3. Der letzte Lieferfall hatte eine Akzeptanzstestdefinition, aber keine Artefakt Checksum. Es gab nichts konkretes zu testen. Ein LLM Richter kann diese Lücken nicht beheben. Wenn man ein Modell fragt, ob ein Arbeiter wahrscheinlich am Leben ist, wird das nicht zum Herzensschlag führen. Die Frage, ob eine E Mail vermutlich gesendet wurde, erzeugt keinen Anbieter Receipt. Die Frage, ob eine Datei vollständig klingt, beweist nicht, dass die Datei auf dem erforderlichen Pfad existiert. Es ist vorzuziehen, dass deterministische Beweise in der Nähe der Grenze: ein frischer Herzschlag und eine erwartete Laufzeit für die Verfügbarkeit; eine Fortschrittsbestätigung, die mit einer nicht geheimen Ausführungs ID für die Ausführung verbunden ist; ein Idempotency Schlüssel plus eine Bestimmungsstelle, die für eine externe Wirkung gelesen wird; eine Überprüfungssumme, Schemavalidierung, Testergebnis oder Bestimmungsfrage für ein Lieferwert; eine genehmigte Entscheidung für eine unwiderrufliche Klage. Die fehlenden Beweise sollten noch fehlen. UNKNOWN ist ein operationell nützlicher Zustand, weil er Untersuchungen durchführt, ohne Erfolg oder Misserfolg zu erfinden. Reproduzieren Sie die achtfache Prüfung der Evidenzvermittlung Die für diesen Artikel verwendeten untersuchbaren Artefakte enthalten acht Entscheidungspfälle. Jeder Fall erklärt die Entscheidung, die verfügbaren Beweise, die erwartete Strecke und das erwartete Urteil. Die Kernpolitik ist absichtlich mechanisch: Die Feststellung umfasst Kandidatenqualität, Release Regression, Live Qualitäts Drift, Runtime Gesundheit, externe Effekte, endgültige Ergebnisse, subjektive Überprüfung und menschliche Autorität. Die Ausführung erzeugte: Alle acht Fälle erreichten ihre erwartete Beweislinie. Fünf hatten genug Beweise für ihre begrenzte Behauptung. Drei waren unbekannt, und alle drei hätten grün ausgesehen, wenn die Politik einen generischen Pass Score angenommen hätte. Das ist kein universeller Standard. Ersetzen Sie das Gerät durch Entscheidungen aus einem echten Workflow. Fügen Sie die genauen Beweisnamen hinzu, die Ihre Laufzeit und Ziele liefern können. Behalten Sie das Fehlverhalten: Wenn ein gewünschtes Signal fehlt, geben Sie Unbekannt zurück und führen Sie die fehlenden Felder auf. Verwandeln Sie die Abwesenheit nicht in eine Null Score, denn Null deutet darauf hin, dass die Messung stattgefunden hat. Wählen Sie nur nach dem Ziel der Beweise Sobald das Ziel richtig ist, wird die Auswahl der Punkte einfacher. Verwenden Sie Code, wenn die Eigenschaft deterministisch ist: JSON Form, Werkzeugnamen, Argumentbereich, Prüfsumme, Dateipräsenz, Teststatus oder Bestimmungszustand. Verwenden Sie einen LLM Rechter, wenn die Immobilie wirklich qualitativ ist und Sie eine klare Rubrik, einen Kalibrierungssatz und einen Weg zur Meinungsverschiedenheitsüberprüfung haben. Die Leitlinien von OpenAI weisen darauf hin, dass Modelle bei der Diskriminierung zwischen Optionen oft zuverlässiger sind als die Herstellung von offenen Urteilen, so dass ein Paarvergleich oder eine Klassifizierung stärker sein kann als eine unbeschränkte Punktzahl. Verwenden Sie menschliche Überprüfung, wenn die Entscheidung ohne stabile Rubrik, rechtliche oder politische Autorität, zweideutige Auswirkungen, Geheimnisse oder unumkehrbare Handlungen geschieht. Ein Richter kann den Beweis für den Prüfer zusammenfassen; er kann nicht die autorisierte Person werden. Die Bewertungsdokumentation von MLflow beschreibt Datensätze, Scorer, Vorhersagefunktionen, menschliches Feedback, systematische Bewertung und Produktionsüberwachung als verwandte Fähigkeiten. Das ist ein nützliches Implementierungsmenü. Die Routing Regel gehört immer noch dem Anwendungsbesitzer: Das Tool kann eine Punktzahl berechnen, aber nur der Besitzer kann definieren, welche Entscheidung die Punktzahl unterstützen darf. Halten Sie vier Urteile in der Veröffentlichung und Operations Akten Eine kompakte Bewertungsschrift sollte vier Fragen unabhängig beantworten: Hat der Kandidat seine Qualitätskriterien offline erfüllt? Hat es eine verbotene Regression gegenüber der Ausgangslinie vermieden? Erfüllt eine frische Produktionsprobe ihre Online Kriterien? Ist das erwartete Werk gesund und wird das versprochene Ergebnis verifiziert? Vergessen Sie diese Antworten nicht. Eine Veröffentlichung kann eine Offline Evaluierung durchlaufen, während noch keine Live Beweise verfügbar sind. Eine Produktionsprobe kann gesund aussehen, wenn eine geplante Fahrt verpasst wird. Eine Spur kann vollständig aussehen, während das letzte Artefakt fehlt. Bewahren Sie jedes Urteil, seine Beweiszeit und seinen Umfang. Dies führt zu einer ruhigeren Betriebsregel: Modell und Anwendungsverhalten mit Datensätzen und Probenabläufen zu bewerten; Laufzeitgesundheit mit Erreichbarkeit, Zeitplan, Wartezeit und Fortschrittsnachweis zu bewerten; externe Ergebnisse an ihrem Zielort zu überprüfen. Eskalieren Sie nur die fehlende oder fehlende Spur. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Es wird als Gesundheitsschicht für bestehende Agentenlaufzeiten konzipiert, aber Produktionsüberwachungsadapter und Wiederherstellungssysteme werden im Allgemeinen nicht ausgeliefert. Wenn das Problem, das Sie lösen möchten, der Unterschied zwischen einem gut aussehenden Lauf und einem verifizierten Ergebnis ist, ist die private Vorschau Warteliste der passende nächste Schritt.