MLflow LLM Evaluación: Agregue una puerta de liberación de tiempo de ejecución-salud

La evaluación de MLflow LLM puede indicarle si los resultados de una solicitud cumplen con los criterios elegidos. No puede, por sí solo, demostrar que el agente fue accesible, comenzó a tiempo, completó un efecto secundario externo o dejó el producto prometido en su destino. El defecto práctico es mantener el resultado de la evaluación del flujo de ML y el veredicto de salud en el tiempo de ejecución como dos capas de evidencia, y luego requerir ambos antes de la liberación. Probé ese límite con MLflow 3.14.0. Un marcador basado en código le dio a tres agentes un exact deliverable/mean perfecto de 1.0 . Una regla de salud separada de cuatro recibos permitió que sólo una de esas carreras pasara. La diferencia no fue un defecto en el flujo ML. Se trataba de una discrepancia entre la pregunta que respondió el puntero y la decisión operativa más amplia. Reproducir la trayectoria documentada de evaluación de los flujos ML Guía de evaluación actual de MLflow define una evaluación a partir de tres componentes: un conjunto de datos, uno o más marcadores y una función de predicción opcional. El conjunto de datos proporciona entradas y expectativas. Una función de predicción genera salidas cuando no están ya presentes. Los marcadores convierten la evidencia disponible en retroalimentación o métricas. Esta división es útil porque hace explícita la pregunta de evaluación. Si la pregunta es ¿Esta salida era igual al nombre de entrega esperado?, un punteador basado en código determinista es más apropiado que un juez LLM. MLflows Documentación de puntuación personalizada permite a los marcadores leer inputs , outputs , expectations , o un rastro completo, y devolver un resultado primitivo o más rico Feedback . El experimento utilizó una lista en línea, salidas pre generadas, y este punteador: MLflow registró exact deliverable/mean = 1.0 . Ese es el resultado correcto para la evidencia definida: cada cadena de salida coincidió con sus expectativas. El resultado es reproducible, barato y fácil de explicar. También es más estrecho que Todos los tres agentes son saludables. MLflows documentación del conjunto de datos de evaluación describe los conjuntos de datos como ejemplos seleccionados para la prevención de regresión, la comparación de versiones y las pruebas de calidad dirigidas. Ese es el modelo mental correcto. Un conjunto de datos es un conjunto de pruebas para las reclamaciones codificadas en sus ejemplos y puntuaciones; no es automáticamente un censo de cada fallo de producción que importa. Colocar los recibos operativos junto al resultado de la evaluación El mismo dispositivo adjuntaba un pequeño recibo de tiempo de ejecución a cada tarea. Se registraron cuatro hechos que el punteador de resultados exactos no inspeccionó: heartbeatFresh : el tiempo de ejecución es recientemente alcanzable; scheduleOnTime : la carrera prevista comenzó dentro de su período permitido; effectVerified : el destino externo confirma el efecto secundario previsto; deliverableVerified : el artefacto prometido existe y pasa la verificación de destino. La comparación resultante fue: tarea Se puede entregar exactamente. Prueba de tiempo de ejecución Decisión de liberación run 101 el paso los cuatro recibos presentes liberación run 102 el paso ritmo cardíaco obsoleto; efecto y rendimiento no verificados bloque como inaccesible run 103 el paso el horario se perdió su ventana permitida Bloqueo tan tarde Pasaron las tres filas de evaluación. Sólo una carrera era liberable. Una cadena correcta puede sobrevivir en una respuesta almacenada en caché después de que un trabajador desaparezca. Una carga útil correcta puede llegar después de la fecha límite de trabajo. Una llamada de herramienta puede devolver un reconocimiento plausible mientras el destino permanece inalterado. Ninguno de estos casos invalida al puntero de salida; demuestran por qué la decisión de liberación necesita pruebas adicionales. Mantenga las capas unidas por una task id o run id estable, pero no las desplome en una puntuación vaga. Un disco compacto puede verse así: La unión es clave. Sin él, un equipo puede comparar un recibo de salud actual con una evaluación de otra versión, entorno o volver a intentarlo. Incluya la versión de la aplicación, la versión del conjunto de datos, la versión de puntaje, el entorno y el tiempo de observación cuando esas dimensiones puedan cambiar el veredicto. MLflow puede retener la evaluación y rastrear las pruebas; el tiempo de ejecución o el destino deben proporcionar aún hechos que sólo pueden conocer. Tratar las pruebas faltantes como unknown , no como pass . Una falta de latidos cardíacos puede significar el fracaso del colector en lugar del fracaso del agente. Un recibo de destino faltante puede significar que la inscripción no ha funcionado, que el verificador no ha funcionado o que la integración no puede exponer el hecho. Esos Estados piden una investigación; no justifican una liberación verde. Utilice una decisión de dos puertas en lugar de una puntuación mixta Una regla práctica de liberación es deliberadamente aburrida: Cada cláusula debe conservar su propia evidencia, frescura y razón de fracaso. Eso le da a un operador una siguiente acción limitada: Un fallo de evaluación se remonta al prompt, modelo, política de herramienta, conjunto de datos o puntero. Un latido cardíaco obsoleto conduce al diagnóstico de tiempo de ejecución o colector. Una ruta de programación perdida al programador, cola o límite de capacidad. Un efecto no verificado bloquea los retos hasta que se reconcilia el destino externo. Las rutas de entrega que faltan al verificador del productor o del destino. Esta separación también impide que un juez de LLM se convierta en una autoridad que no fue diseñada para ser. Los jueces son valiosos cuando la corrección o la calidad requieren una evaluación semántica. MLflow admite explícitamente los marcadores incorporados, basados en directrices, personalizados y basados en código. Utilice esas herramientas para sus criterios establecidos. Preferir las verificaciones deterministas de destino para la existencia de archivos, estado de base de datos, recursos de API, resultados de pruebas o recibos firmados. No lea el experimento ya que MLflow carece de monitoreo de producción. Evaluar los documentos de MLflow, rastrear, monitorear, conjuntos de datos, comentarios y varios tipos de puntuación. La conclusión más estrecha es falsificable: la evaluación exacta realizada aquí no estableció cuatro hechos operativos porque sus datos y el punteador no los probaron. Puede agregar puntuaciones orientadas a la salud cuando haya pruebas pertinentes, o mantener el clasificador de salud junto a MLflow cuando las pruebas estén en el tiempo de ejecución y en los sistemas externos. El accesorio es intencionalmente pequeño. No comparará los jueces de LLM, no pondrá a prueba el flujo MLflow a escala, no comparará a los proveedores ni medirá la cobertura de monitoreo. Su valor es la discrepancia controlada: tres pases de evaluación idénticos, tres estados operativos diferentes y una regla inspectable que explica la decisión de liberación. Para los agentes operativos de los equipos, este límite es útil: evaluar la calidad de la salida con el punteador más fuerte apropiado, verificar los hechos operativos en su fuente y unir la evidencia antes de declarar el éxito. Sidewisp se encuentra actualmente en versión preliminar privada. Su papel previsto es una capa de salud junto con los tiempos de ejecución existentes, no un reemplazo de MLflow o una afirmación automática de que una evaluación aprobada significa un agente saludable. La experiencia pública actual es un sitio de acceso temprano y una demostración de productos; generalmente no se envían adaptadores de monitoreo de producción.