Grafana LLM Наблюдаемость: доказать исходный слой

Наблюдаемость Grafana LLM может дать вам четкий отчет о модели звонков, генерациях агентов, следах, активности инструмента, задержке, токенах, затратах и оценках. Она сама по себе не может доказать, что агент был доступен при ожидании, ждал правильного человека, применял внешний эффект точно один раз, или выпустил запрошенный продукт. Таким образом, практический дефолт состоит из двух частей: используйте Grafana для телеметрии, которую он документирует, а затем добавьте небольшой контракт на эксплуатационные доказательства для вопросов, на которые телеметрия не отвечает. Проверьте эти части отдельно. Разговор, появляющийся в Графане, не является доказательством того, что следы и показатели прибыли, и чистый след не является доказательством того, что место назначения изменилось. В этом руководстве эта граница реализуется по сравнению с текущей документацией Grafana и пакетом JavaScript @grafana/agento11y . Он также включает в себя семипрофильный аудит, который делает правило принятия исполняемым, а не оставляет его в качестве советов на приборной панели. Начните с документального пути, а затем проверьте его на кусочки. В настоящее время Grafana раскрывает два связанных маршрута. Его общий AI Настройка наблюдаемости по умолчанию отправляет отпечатки, метрики и журналы OpenTelemetry через шлюз Grafana Cloud OTLP; OpenTelemetry Collector или Grafana Alloy являются документированной альтернативой, когда вам нужно маршрутизация, трансформация или лучшее управление на более высоком объеме. Его новейшая поверхность Наблюдаемость агента добавляет ориентированные на агента поколения, разговоры, звонки на инструменты, шаги по рабочему потоку, данные о токенах и затратах, оценки и интеграции рамок. Для JavaScript текущий пакет @grafana/agento11y . Тег npm latest вернул версию 0.9.0 при проверке 27 июля 2026 года. Обращайтесь с этим как с момента реализации, а не как с постоянной версией рекомендации. Самый короткий задокументированный старт выглядит так: Затем конфигурируйте SDK из переменных окружающей среды, а не размещайте токен доступа в источнике: Наименования соответствующих переменных окружающей среды документируются как AGENTO11Y ENDPOINT , AGENTO11Y PROTOCOL , AGENTO11Y AUTH MODE , AGENTO11Y AUTH TENANT ID и AGENTO11Y AUTH TOKEN . Не печатайте их значения в журналах или не прикрепляйте их к следам. В Руководство по инструментации JavaScript Grafana есть нелегкая граница: экспорт генерации и экспорт OpenTelemetry это не один и тот же путь. SDK может отправлять генерируемые данные, но для экспорта выделяемых от него диапазонов и показателей требуется настройка TracerProvider и MeterProvider . Без этих поставщиков, по словам гида, следы и показатели молча потерялись. Это делает один видимый разговор слабым тестом настройки. Используйте вместо этого три независимые зонды: 1. Создайте генерацию с уникальным идентификатором тестирования и найдите его в Conversations . 2. Найти промежуток времени, содержащий тот же идентификатор корреляции в источнике данных следов. 3. Запросить одну метрику, выпущенную SDK, в тестовом окне и подтвердить ее атрибуты ресурса, чтобы определить ожидаемое обслуживание и окружающую среду. Провалить установку, если какой либо зонд отсутствует. Не используйте средний показатель в качестве успокаивающего показателя: generation=yes, trace=no, metric=no это частичная телеметрия, а не в основном здоровая установка. Полный след Графаны это все еще свидетельство активности Графана документирует полезное освещение. Agent Observability может охватывать поколения, звонки на инструменты, шаги рабочего потока, задержку, ошибки, токены, затраты, оценки качества и сравнения версий. Эти сигналы могут ответить на такие вопросы, как: Звонок LLM провалился или замедлился? Какая модель и версия агента справились с побегом? Какие инструменты использовались и в каком виде? Сколько токенов и сколько затрат на бегство было потрачено? Настроенная оценка или охрана дали результат? OpenTelemetry Генеральные агентские конвенции дает этой деятельности портативный словарный запас. Во время исследований конвенции агентов были явно обозначены состоянием разработки и включали операции по использованию агента или рабочего потока, планированию и выполнению инструмента. Статус развития имеет значение: нажмите версию инструментации и ожидайте, что атрибуты или формы интервала будут развиваться. Ни одно из этих названий не определяет результат вашего бизнеса. Спан execute tool может сообщить об успешном ответе HTTP, пока провайдер применяет запрос асинхронно, отвергает его после проверки или пишет на неправильный объект. Завершенный рабочий процесс может сосуществовать с отсутствующим файлом. Оценка качества может оценивать генерируемый текст, в то время как запланированная работа никогда не начиналась. Используйте карту доказательств, которая указывает как доказательство, так и его границы: Доказательный самолет Она может установить Он не устанавливает Проверка выпуска Экспорт производства Зарегистрированное поколение моделей достигло Agent Observability Следы и показатели были экспортированы Найти уникальный идентификатор разговора Следы Инструментированные операции и их причинно следственный путь Внешний пункт назначения теперь имеет предполагаемое состояние Спроси соотношение протяженности Показатели Совокупная ставка, продолжительность, ошибка, токен и стоимостные сигналы Успел один необходимый пробег или доставка Спросите точную пробную окно Оценка Названный бомбардировщик сталкивается с поставленным материалом Установление детерминистического назначения принято Сохранить версию сборщика и объем ввода Квитанция за время запуска Время запуска было доступным и свежим в ожидаемое время Задача завершена Сравните возраст сердечных сокращений с его SLA Ждем квитанции У паузы есть причина, владелец, срок действия и руководство резюме Владелец решит вовремя. Проверка маршрута и эскалации Получение результатов Внешняя операция может быть согласована Полный результат пользователя присутствует Прочитайте с помощью идентификатора стабильной эксплуатации Получение результатов Утверждение, касающееся конкретного места назначения, принято Будущая стабильность Повторное проверка во время окна стабильности Это не аргумент для загрузки большего количества контента. Предпочитают идентификаторы, часовые марки, версии, состояния с низкой кардинальностью, хэши, подсчеты и заявления о назначении перед сырыми запросами, завершениями, полезными нагрузками инструментов, секретами или путями файлов. Богатая телеметрия и минимизация данных совместимы, если договор разработан до инструментации. Проведение аудита охвата в семи случаях Я превратил карту в небольшую детерминистическую фиксацию. Каждый случай записывает, удалось ли генерировать, отслеживать и экспортировать метрику; являются ли телеметрические данные и сердцебиение на пробеге свежими; имеет ли пробег законное ожидание; был ли согласован внешний эффект; и имеет ли ожидаемый результат авторитетный результат. Классификатор применяет предпочтение, а не арифметику: Семь светильников охватывают: никакого поколения не было; прибыло поколение, но не прибыли диапазоны и показатели; вся телеметрия существует, но устарела; агент законно ждет с владельцем, сроком действия и продолжением токен; попытка использования инструмента не имеет согласованного эффекта; доказательства телеметрии и инструментов зеленые, но доставки отсутствуют; в том же заполненном деле имеется удостоверенный квитанция. Местное повторение прошло все семь ожидаемых классификаций: Наиболее полезное сравнение между последними двумя случаями. Оба имеют генерирование, следы и метрический экспорт. Оба свежие. Оба сообщают о завершении работы и проверке эффекта инструмента. Первый не имеет заявления о назначении и классифицируется как false success ; второй добавляет object:report 17 плюс хэш контента и становится verified . Это изменение намеренно узкое. Никаких изменений в панели панели, количестве токенов, оценке модели или состоянии следа. Измениваются только доказательства, требуемые по запросу пользователя. Аудит имеет одно трудное ограничение: он доверяет предоставленным фактам. Зломысленный или сломанный коллекционер может врать, и квитанция из неправильного места назначения не является доказательством. В производстве генерируйте полученные результаты на авторитетной границе: чтение после написания хранилища, запрос с ограничениями базы данных, исследование состояния развертывания, поиск поставщика отправленных сообщений или другое определение, связанное с оригинальным идентификатором работы. Превратить охват в шлюз для принятия продукции Используйте один инструментальный канар, прежде чем включить новую версию агента, интеграцию с рамками, маршрут коллектора или изменение образцов. Дайте канарию уникальный идентификатор работы и безопасный ожидаемый результат. Затем требуется все применимые утверждения: Generation: поколение существует под названием "Canary ID". Trace: корневой промежуток и требуемые детские операции могут быть запрошены. Metric: Канарное окно способствует ожидаемой серии. Свежесть: Задержка коллектора остается ниже объявленного предела. Runtime: получение от сердечного ритма или расписателя подтверждает, что время выполнения было достижимо, когда это было ожидано. В ожидании: любая пауза называет причину, уполномоченного владельца, срок принятия решения, маршрут эскалации и руководство перезагрузкой. Eeffect: операции с побочным эффектом совпадают с стабильной бездействием или идентификацией операций поставщика. OOutcome: авторитетная проверка назначения доказывает существование запрашиваемого артефакта или состояния. Пrivacy: тест запрос подтверждает отсутствие запрещенных полей запроса, ответа, секрета и пути. Держи приговоры неудобными. telemetry partial должен блокировать развертывание инструментации. health unknown должен предотвратить предоставление зеленого статуса, если доказательства устарели. waiting должен уведомить владельца без возобновления законной работы. uncertain effect должен остановить слепые повторные попытки. false success должен возобновить работу или инцидент, даже когда следы закончились нормально. Пробовая процедура требует отдельного решения. Тяжелые следы могут быть пробованы, когда требуется объем, но компактные медицинские расписки, необходимые для классификации требуемого пробега, не должны исчезнуть с ними. Сохранить достаточно идентификаторов, чтобы соотносить пробованные следы с непробованными полученными расчетами по запуску, ожиданию, эффекту и результатам. В противном случае более дешевая политика телеметрии постепенно становится более слабой политикой корректности. Также есть эксплуатационные затраты. Отзывы о направлении добавляют задержку и звонки провайдера; сердцебиение в режиме запуска добавляет проверку хранения и свежести; квитанции ожидания требуют права на маршрутизацию. Применяйте наименьшую детерминистическую проверку, которая решает решение. Проверка существования файла и хэш проверка лучше, чем спросить другую модель, существует ли файл. Судья LLM остается полезным, когда результат семантичен, но записывает его версию, рубрику, объем ввода и неопределенность рядом с детерминистическими проверками. Где Sidewisp подходит Графана это способное место для проверки и корреляции телеметрии. Описанный здесь отсутствующий слой это оперативное суждение о достижимости, прогрессе, ожидании, последствиях и результатах, а не о других следах. Sidewisp предназначен для того, чтобы стать слоем здоровья вокруг существующих сроков действия агента, с явными доказательствами, свежестью, неопределенностью, границами одобрения и проверкой. Это не замена времени запуска или обязательный модельный шлюз. Адаптеры для мониторинга производства и восстановления не отправляются сегодня. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Если эта граница доказательств совпадает с тем, как вы управляете агентами, подходящим следующим шагом является присоединение к листи ожидания для частного предварительного просмотра и описание проверки времени выполнения и результатов, которые вам нужны. До тех пор держите телеметрические вердикты Графаны точными и прикрепите завершение к доказательствам назначения, которые действительно требуются вашей работой.