Эластичный LLM Наблюдаемость: Поддержка аудита до зеленого

Эластичная наблюдаемость LLM может многое рассказать о модельных звонках, но зеленый вид Кибаны пока не является вердиктом агент здравоохранитель. Прежде чем доверять ему, проверьте пять слоев в порядке: путь сбора, поддержка точной пары языков / поставщиков, свежесть телеметрии, требуемые поля GenAI и результат назначения. Этот порядок важен. Эластические документы представляют собой два метода сбора: интеграции поставщиков для метрики и журналов, и отслеживание приложений через эластические распределения OpenTelemetry (EDOT). Эти методы имеют различное охватное положение. Даже поддерживаемый, свободный от ошибок промежуток времени LLM не доказывает, что работала специфическая для приложения бизнес логика или что обещанная доходность существует. Этот справочник превращает эти границы в небольшой аудит, который вы можете проверить, прежде чем разрешить инцидент. Определите путь сбора до прочтения панели управления Обзор наблюдаемости LLM и агентического AI Elastic описывает широкий набор интеграций провайдеров, APM следы, метрики, журналы и панели управления. Первая оперативная ошибка заключается в сжатии всего этого в одну способность, называемую эластичным мониторингом. Держите два самолета сбора отдельно: Самолет Что дает доказательства Полезный для Что он не устанавливает Интеграция провайдера Провайдер или облачный сервис отправляет показатели и журналы Ошибки провайдера, задержка, использование, события на ограждении, состояние платформы Что ваша заявка выпустила промежуток времени LLM или завершила свой собственный эффект инструмента Отслеживание приложений EDOT Инструментированный процесс Java, Node.js или Python экспортирует OTLP спансы Поток запросов, модели вызовов, продолжительность, ошибки, поля токенов, корреляция То , что не поддерживаемые библиотеки были инструментами или что существует внешний доставка Это не слабость продукта. Это граница доказательств. Интеграция Bedrock может предоставлять свежие показатели сервиса, в то время как приложение Java не имеет документальной инструментации EDOT Bedrock LLM. Наоборот, протяженность клиента OpenAI может быть завершена, в то время как позднее пользовательская запись базы данных не используется инструментами. Текущий Страница поддержки EDOT LLM Elastic делает границу между языком и поставщиком конкретной: Путь поставщика EDOT Java EDOT Node.js EDOT Python : : : Клиент OpenAI Поддержка Поддержка Поддержка AWS Bedrock Не включен в список Не включен в список Поддержка Google Vertex AI Не включен в список Не включен в список Поддержка Страница обозначает наблюдаемость LLM в трех дистрибутивах EDOT как технический просмотр и направляет операторов на страницы, специфические для SDK, для получения точных версий. Обращайтесь к этой таблице как к устаревшему снимку поддержки, а не к вечному обещанию возможностей. Таким образом, аудитор начинает с двух вопросов, на которые панель управления не может ответить для вас: 1. Какой самолет должен содержать доказательства этого инцидента? 2. Есть ли в развернутом языке, провайдере, клиентском пакете и версии документированная инструментация на этом самолете? Если на второй вопрос ответ нет, не ждите, пока появится недостающий промежуток времени. Классифицируйте путь как неподдерживаемый, выберите документированную новую или ручную инструментацию OpenTelemetry или изменьте требование доказательства. Никакие ошибки в Elastic не имеют смысла, если соответствующее событие никогда не должно было быть зафиксировано. Поддержка тестов и схема как отдельные ворота Поддержание не означает, что оно наблюдается, и наблюдение не означает, что оно полно. Таблица технологии Python EDOT документирует версии Python, диапазоны пакетов клиентов, имена трасеров и статус семантической конвенции. На момент проведения данного обзора ряд инструментации OpenAI обозначает семантические конвенции как development . На той же странице прямо говорится, что автоматическая инструментация не может охватывать пользовательские или собственные рамки, не поддерживаемые компоненты закрытого исходного кода или бизнес логику, специфическую для приложения. Это дает нам четыре различных проверки: 1. Поддержка: Документированная матрица включает языковую/поставщическую пару. 2. Доступность: сборник и путь приема принимают телеметрию текущего времени. 3. Присутствие: пробег производит ожидаемый период действия LLM. 4. Schema: протяженность содержит поля, необходимые для решения оператора. Минимальный контракт на поле может потребовать: Не путайте этот пример с универсальной схемой. Запиши версии семантической конвенции и инструментации, используемые в вашем развертывании. Бывшие страницы конвенции GenAI OpenTelemetry теперь указывают на специальный репозиторий семантических конвенций GenAI, что является еще одной причиной для записи происхождения, а не предполагает, что набор атрибутов вечен. Нижеприведенный классификатор сохраняет важные провальные положения: Проверьте проверку на фиксированном устройстве , а не только на счастливом пути: В сопровождающемся девятидесятном состязании было вынесено девять ожидаемых вердиктов: Это преимущество предотвращает распространенную ошибку мониторинга: позволяет позднему зеленому сигналу скрыть ранее отсутствующие доказательства. Успешный пробег не может отменить недоступный коллекторский чек, а завершенный пробег не может отменить отсутствующий квитанция назначения. Сохранить ожидание, отсутствие доказательств и неудачи как разные штаты Пауза одобрения не является неисправностью инструментации. Отсутствующий пробег не является автоматическим провалом поставщика. Неподдерживаемый путь это не устаревшая телеметрия. Эти различия изменяют следующий шаг оператора: Приговор Значение Ограниченное следующее действие UNSUPPORTED PATH Ожидаемая автоматическая инструментация LLM находится за пределами документированной матрицы. Добавьте документальные оригинальные/ручные рамки или измените договор о доказательстве TELEMETRY STALE Существуют соответствующие доказательства, но не в пределах окна свежести бега Проверьте окно экспорта, коллектора, потребления, часов и запросов INSTRUMENTATION GAP Путь поддерживается и прибывает свежая телеметрия, но протяженность LLM отсутствует. Проверьте диапазон пакетов, загрузку, отключенную инструментацию и идентификацию отслеживающего устройства SCHEMA GAP Продолжительность существует , но не может ответить на требуемый вопрос Проверяйте версию конвенции и картографию поля; сообщите о поле как о недоступности в то время WAITING Узнанная зависимость или одобрение выдается Уведомить зарегистрированного владельца; не перепробовать инструмент слепо FALSE COMPLETE Эластика показывает чистое завершение , но обещанный результат не подтвержден . Провести детерминируемую проверку назначения перед закрытием инцидента Обратите внимание на то, что таблица не рекомендует: рассматривать каждый пробел как причину для перезагрузки агента. Восстановление без диагноза может повторить внешние эффекты, потратить больше токенов или удалить полезные доказательства. Для законного ожидания, сохраняйте владельца, причину, время начала, срок и состояние возобновления. Это превращает двусмысленную паузу в проверяемое состояние работы. Если истекает срок, государство может застрять или нуждаться в человеческом внимании, но первоначальная пауза не была неудачей просто потому, что не прибыли новые сроки. Требуйте получение результатов за пределами отслеживания Продолжительность LLM отвечает на вопрос по модели. Доставка принадлежит заявке. Предположим, агент просит модель подготовить счет, позвонит внутреннему API и сообщает о завершении. Эластика может показывать: свежие следы; предполагаемый поставщик и модель; не исключение; правдоподобная задержка и подсчет токенов; завершенная коренная транзакция. Счет может быть еще отсутствующий. Например, в случае, если настройка не выполняет требования, а не выполняет требования, указанные в пункте 1 настоящей статьи, в случае, если настройка не выполняет требования, указанные в пункте 2 настоящей статьи, то в случае, если настройка не выполняет требования, указанные в пункте 2 настоящей статьи, в случае, если настройка не выполняет требования, указанные в пункте 2 настоящей статьи, то в случае, если настройка не выполняет требования, указанные в пункте 2 настоящей статьи, в случае, если настройка Определите наименьший детерминистический расчет, доказывающий обещанный эффект. Примеры включают: ожидаемый объект существует в пункте назначения и соответствует хэшу содержания; строка базы данных имеет предполагаемый бизнес ключ и обязательное состояние; в ожидаемом хранилище и главе SHA существует запрос на снятие; конечная точка отчета возвращает новую версию и проходит проверку схемы; поставщик сообщений возвращает идентификатор доставки, который может быть согласован позже. Сохранить только минимальные безопасные доказательства: Идентификатор отслеживания обеспечивает корреляцию. Это не само доказательство. В фиксации единственным отличием между FALSE COMPLETE и HEALTHY является outcomeVerified: true ; ни одно из полей эластического протяженности не меняется. Это основное правило: устранить инцидент только тогда, когда охват телеметрии и доказательства результатов применения согласны. Относитесь к конфиденциальности и дефференциации версий как к здоровью В обзоре Elastic говорится, что отслеживание LLM может запечатлеть запросы и ответы. Это может быть полезно для диагностики, но также изменяет границы данных. Определите, разрешается ли контент, прежде чем включить его. Предпочитают идентификаторы, длины, хэши, классификации, количество токенов и категории ошибок, когда не требуется полный контент. Зарегистрируйте эти значения при каждом аудите охвата: Эластичная версия развертывания и EDOT; языковое время запуска и инструментальная версия клиентского пакета; активный инструментационный пакет и название трассера; источник и пересмотр семантической конвенции; сборник и путь приема; требуемые поля и окно свежести; политика охвата контента; версия проверщика назначения. Перезагрузить устройство, когда изменится любой из этих значений. Усовершенствование пакета может добавить поддержку, переименовать или мигрировать поля или изменять стандартную инструментацию. Сохранившийся на приборной панели объект может оставаться зеленым, пока его предположения потихоньку устаревают. Практическое дефолт является скромным: используйте Elastic для модели и доказательств применения, которые он фактически собирает, храните неподдерживаемые или отсутствующие сигналы ясными, и добавьте один детерминистический квитанция для результата, который интересует пользователя. Это дает защитное решение о состоянии здоровья, не притворяясь, что каждый слой принадлежит одной панели управления. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Его направление продукта заключается в том, чтобы превратить такие доказательства, как доступность, прогресс, доступ к инструментам, контекст, стоимость и проверенные результаты в четкий взгляд на здоровье; живые адаптеры мониторинга Elastic в настоящее время не поставляются. Если это различие между завершением следов и реальной работой имеет значение в вашем агентском стекле, личный список ожиданий является подходящим местом для обмена случаем неудачи, который вам нужно охватить.