Мониторинг LLM: что измерять помимо латентности, ошибок и токенов

Наблюдение за LLM должно начинаться с состояния модели звонков: задержка, ошибки, объем запросов, токены и качество выхода. Это разумный дефолт для функции чата, трубопровода извлечения или обложки API. После того, как одно и то же приложение может планировать, вызвать инструменты, ждать одобрения, возобновить позже или объявить выполнение задачи, добавьте вторую книгу для оперативного здоровья. Две книги отвечают на разные вопросы. Первый задает вопрос: Делала ли модель нормально? Второй задает вопрос: Делала ли агент полезный прогресс и давал ожидаемый результат? Присоединяйтесь к ним с run id ; не превращайте одну зеленую диаграмму задержки в утверждение о том, что работа здорова. Начните с по умолчанию уровня мониторинга LLM Для первой полезной панели нет необходимости в десятках панелей. Ему нужны достаточные доказательства, чтобы разделить неисправность поставщика, неисправность приложения, дрейф затрат и дрейф качества выпуска. Сигнал Вопрос отвечает Первый практический сигнал тревоги Что он не может доказать Уровень ошибок в запросе Модельные звонки провалились? Стоимость за окно, разделенная по поставщику и модели Успешные вызовы продвинулись задержка p50/p95 Время реагирования регрессировало? Сравнить аналогичные операции и модели Если медленный бег в конечном итоге доставлен Входные/выходные токены Взобрался ли контекст или поколение? Изменение от базовой линии, специфической для задачи Были ли дополнительные токены полезны Пропускная способность Загрузка меняется? Запросы в минуту плюс совпадение Была ли пропущена запланированная пробежка Качественный балл Соответствуют ли выработанные образцы данным рубрики? Версионный оценщик плюс калибровка человека Существует ли файл, билет или развертывание Покрытие следов Может ли оператор восстановить исполнение? Отсутствующие или неполные следы по времени выполнения Присутствует ли предполагаемый результат Эта базовая линия соответствует текущему намерению поиска. Langfuse описывает мониторинг за задержкой, пропускной способностью и скоростью ошибок, с следами для путей выполнения и оценки качества выхода. Splunk и Dynatrace расширяют набор на ресурсы, безопасность, стоимость, обратную связь и сигналы приложения. Это полезные взгляды на приложение LLM; ни одно из них не должно быть отброшено просто потому, что существует слой агента. Семантические конвенции GenAI OpenTelemetry делают разделение видимым в самой инструментации. Спецификация разработки определяет gen ai.client.token.usage и gen ai.client.operation.duration , а затем отдельные инструменты рабочего потока и агентов, такие как gen ai.invoke agent.duration , число выводных вызовов и число инструментальных вызовов. Развитие здесь важно: зафиксируйте версию, которую вы реализуете, и ожидайте, что имена изменятся. Чистая реализация представляет собой реестр модели звонков с клавишами run id , operation , provider , model и timestamp. Соедините его для оповещений на уровне службы, но сохраняйте путь обратно к отдельному запуску. Токенный шпик без идентификатора пробега это банкнота; токенный шпик, прикрепленный к застоявшемуся пробегу, это ключ к инциденту. Добавьте реестр здоровья задач , когда приложение становится агентом Функция, поддерживаемая LLM, пересекает операционную границу, когда она владеет работой с течением времени. Он может позвонить в базу данных, написать отчет, открыть запрос на вывод, подождать человека или проснуться по расписанию. В этот момент успешные модели ответов являются только промежуточными событиями. SDK OpenAI Agents иллюстрирует, насколько богатыми могут стать эти события. Встроенные записи отслеживания поколений, звонки на инструменты функций, передачи, ограждения и агенты. Это ценные доказательства. В той же документации также отмечается, что диапазоны генерации и функций могут содержать чувствительные входы и выходы, что является причиной сделать запись контента явным выбором, а не предварительным условием мониторинга. Книга с учетом задач может быть меньше, чем след. За каждую побегу запись: expected outcome : предикат, такой как report exists and parses , а не фраза завершить задачу; outcome verified : true , false или unavailable с версией проверки; progress delta : изменение количества или переваривания по задаче в течение объявленного окна; waiting on : именная зависимость, такая как human approval или null ; last heartbeat at и last progress at , поскольку деятельность и прогресс разные часы; declared complete : то, о чем сообщалось в ходе работы; collector freshness : когда эти факты были в последний раз отмечены. В этой книге намеренно не повторяются каждое задание, завершение или промежуток времени. Он сохраняет минимальные доказательства, необходимые для того, чтобы определить, работает ли бег, ждет ли, застрял ли, недоступен ли или завершен ли. Рыбые следы остаются доступными для расследования, когда политика позволяет. Важным вариантом моделирования являются три статусные доказательства. Если коллектор не может проверить доставку, записывайте outcome verified: "unavailable" . Не преобразуйте отсутствующие доказательства в true , и не называйте неизвестную работу неудачной просто потому, что ее сигнал отсутствует. Воспроизведите разрыв шестью ранами . Сопроводительное устройство содержит шесть синтетических путей. LLM предупреждает, когда ошибки запроса составляют не менее 20%, задержка p95 превышает 5000 мс или использование токенов превышает 20 000. В книге "Здоровье задач" проверяется явное ожидание, объявленное завершение по сравнению с детерминистическим результатом и свежесть прогресса. Запустить аудит с Node.js 20 или новейшим: Точный результат: Не согласие это результат, а не дефект в любой книге. Проверка ошибки поставщика требует расследования модели обслуживания, хотя агент все еще делает прогресс. Медленная пробега завершена с проверенным результатом, поэтому это проблема производительности, а не инцидент с отсутствием работы. На мониторе LLM ожидание одобрения и ошибочный результат выглядят нормально, потому что их звонки были быстрыми, дешевыми и успешными. Только контракт на задачу раскрывает то, что требует внимания. Цифры являются противопоказанием, а не эталоном. Шесть синтетических записей не могут устанавливать универсальные пороги оповещения. Заменить ограничения базовыми линиями из вашего времени работы, и заменить progress delta доказательствами, связанными с фактической работой. Превратить контракт на задачу в оповещение Начните с одного высокоценного рабочего процесса. Напишите предложение завершения, прежде чем добавить другую панель управления. Исследовательская работа может потребовать файла Markdown, по крайней мере двух доступных источников и учетной записи доказательств, действительной по схеме. Для работы с кодированием может потребоваться чистый патч плюс название тестового команды. Агент поддержки может потребовать создания билета или записи эскалации. Затем оценивайте сигналы в порядке, который сохраняет значение: 1. Если время бега или коллектор устарело, отметьте, что бег недоступен или неопределен. 2. Если waiting on является ясным, маршрутизируйте зависимость, а не перезапустите работу. 3. Если время выполнения объявляет завершение, оценивайте прогноз результатов. 4. Если запуск активен, но progress delta остается нулевым за пределами окна, отметьте его застрявшимся. 5. Если не будет никакого прогресса, и полезный прогресс будет свежим, оставьте его работать. Этот приказ предотвращает три громких вмешательства. Законное ожидание одобрения это не задержка. Команда, вышедшая из нуля, не является автоматически завершенной задачей. Загруженный след с повторяющимися инструментами не является прогрессом, если соответствующий артефакт никогда не меняется. Приведите предупреждение о следующем безопасном шаге, а не только о симптоме. Уведомление о ошибке провайдера отправляется владельцу приложения с моделью, операцией, классом ошибок и ссылкой на отслеживание. Ожидается одобрение у человека, который может принять решение, с точной объемом, требуемым. Уведомление о отсутствии результатов указывает на неудачный предикат. Перепробовая петля рекомендует ограничительную паузу или исследование; она не должна допускать необратимого исправления. Держите соединение полезным , не собирая все . Используйте один непрозрачный run id по обеим регистрам. Не помещайте в этот идентификатор тексты клиентов, секреты, абсолютные пути или полезные инструменты. Полезный учет корреляции может содержать: Правила хранения и доступа к данным должны отличаться, если риски данных различаются. Агрегированная латентность и токенные гистограммы могут потребовать более длительного хранения, чем протяженность просмотра. Результаты доказательства часто могут быть переваривание, подсчет, код статуса или результат схемы, а не сам артефакт. Когда оператор пробивается в след, покажите его свежесть и границу выборки образцов, чтобы отсутствие не было ошибочным доказательством. Кроме того, есть ограничения на автоматизированную оценку. Детерминистические проверки предпочтительны для файлов, HTTP статуса, рядов базы данных, тестов и структурированных полей. Если предполагаемый результат является качественным, может помочь пересмотренный оценщик, но его результат является доказательством с неопределенностью, а не основной истиной. Калибрируйте его по сравнению с человеческим обзором и сохраняйте состояние unavailable . Где Sidewisp подходит Направление продукта Sidewisp представляет собой вторую книгу: представление о состоянии здоровья вокруг существующих сроков действия агентов, с доказательствами, свежестью, приоритетом выпуска и четкими границами одобрения. Он не предназначен для замены времени выполнения, модели шлюза или сырой системы отслеживания. Это направление, а не заявление о перевозке. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Общественная система сайта и статьи находятся в режиме, в то время как коллекция продуктового агента здравоохранения, адаптеры запуска и выполнение восстановления обычно не отправляются. Присоединяйтесь к частному просмотру, если эта граница модели вызова против результата совпадает с операционной проблемой, которую вы должны решить. Первичные источники OpenTelemetry ГЕНАИ метрики семантические конвенции метрические названия статуса разработки для операций клиента, потока работы, агента и инструмента. Руководство по отслеживанию SDK OpenAI Agents типы событий, поведение экспорта и контроль чувствительных данных. Лангфуз: Что такое наблюдаемость и мониторинг LLM? одинаковый критерий для задержки, пропускной способности, ошибок, отслеживания и оценки.