Datadog LLM Наблюдаемость для кроватки: доказать внутренний след

Datadog LLM Наблюдаемость для Bedrock может объяснить запечатленный модельный звонок или вызов агента, но видимый след пока не является судебным решением. Для существующего агента Amazon Bedrock требуется пять квитанций: подготовлена намеченная конфигурация, запущен правильный псевдоним или версия, прибыли события внутреннего отслеживания, любое передача действия достигла определенного состояния, и обещанный результат существует в его месте назначения. Это различие имеет значение сейчас. AWS говорит, что Amazon Bedrock Agents теперь является Amazon Bedrock Agents Classic и больше не будет открыта для новых клиентов с 30 июля 2026 года; существующие клиенты могут продолжать использовать ее. Следовательно, данное руководство является аудитом существующих размещений Bedrock Agents Classic. Это не является рекомендацией, и она не предполагает, что интеграция AgentCore имеет идентичную телеметрию. Начните с того контракта Бедрока, который вы отслеживаете. Первая ловушка заключается в том, чтобы рассматривать Bedrock tracing как одну из особенностей. Datadog документирует автоматическое отслеживание методов Bedrock Runtime InvokeModel() и InvokeModelWithResponseStream() . Эти промежутки времени могут содержать задержку, ошибки, сообщения и использование токенов для модели звонка. Агент Бедрока использует другую операцию за время выполнения: InvokeAgent . В текущем справочнике автоматической инструментации Datadog говорится, что интеграция Python Bedrock Agents отслеживает общий InvokeAgent вызов по умолчанию. Для раскрытия внутриагентных шагов в запросе должно быть использовано enableTrace=True . AWS дает одному и тому же переключателю оперативное значение: включение следа следует за процессом рассуждения агента, действиями и результатом. Ответ InvokeAgent является потоком событий, который может содержать выходное кусочки, следить за событиями, ошибки, цитаты и полезную нагрузку контроля возврата. Следовательно, видеть только внешний звонок показывает меньше, чем видеть в нем оркестрацию, базу знаний, ограждение и доказательства группы действий. Склад доказательств Что это доказывает Что это не доказывает Протяженность модели кровати Захваченное образец призыва, продолжительность, ошибки и доступные поля использования Какая версия агента попросила вызов или завершилась ли задача InvokeAgent расстояние корня Заявление призвало агента Бедрока запустить Эта заложенная оркестрация была запечатлена События с заложенными следами Выбранное призыв раскрыло внутреннее рассуждение и шаги действий То, что предполагаемый проект был подготовлен или существует внешний эффект Завершенная часть ответа Бедрок ответил на последнюю реакцию. Что обещанное добыча прошла приемлемость Квитанция назначения Файл, запись, сообщение или другой ожидаемый эффект существует и действителен Почему предыдущий шаг агента повел себя так, как он сделал По умолчанию полезным является сохранение автоматической инструментации для поддерживаемых звонков и добавление небольшого, безсодержащего медицинского квитанции вокруг InvokeAgent . Не загружайте запросы, удостоверения личности, аргументы инструмента или полные ответы только для установления состояния. Сохранить идентификаторы, часовые марки, булены, подсчеты и хэши там, где их достаточно. Собирайте пять квитанций за каждый важный запрос . Аудит становится управляемым, когда каждая граница имеет один квитанция. 1. Приготовленная конфигурационная квитанция AWS отличает рабочий проект от подготовленных версий и псевдоним. После изменения рабочего проекта вы должны подготовить его до тестирования или развертывания. AWS также рекомендует проверять значение preparedAt агента. Запись: Детерминистическое правило простое: Если он не удастся, классифицируйте ход как CONFIG NOT PREPARED . Не дебгурируйте детальный след, как будто он представляет собой предполагаемую конфигурацию. 2. Допись о удостоверении личности по вызову Повторить тот же Bedrock sessionId только при продолжении того же разговора. Сохраняйте выбранный псевдоним или версию рядом с односторонним хэшем идентификатора сессии. Это связывает корневой протяженность Datadog, поток событий Bedrock и ожидаемый охват оператора, не сохраняя контент пользователя. Недавний след с неправильным псевдонимом это доказательства неправильного масштаба, а не здоровые доказательства. 3. Квитанция по внутреннему отслеживанию Установка возможности отслеживания на запросе, когда операционный вопрос зависит от внутренних шагов: Никогда не печатайте значения в диагностике производства. Квитанция требует только: Если коренный промежуток существует, но след отключен или нет заложенного события, верните TRACE INCOMPLETE . Это вердикт об охране. Это не доказывает, что агент провалился. Аналогичным образом, отсутствующим корневым интервалом Datadog должен быть TRACE MISSING , а не AGENT FAILED . Образец, конфигурация экспортера, транспорт, не поддерживаемые версии библиотеки или заказ инструментации могут удалить доказательства. Datadog подвергает воздействию установку скорости отслеживания образцов, поэтому отсутствие должно сохранять неопределенность. 4. Допись о состоянии действия Агент может призвать группу действий, поддерживаемую Lambda, запросить базу знаний или вернуть контроль в призывное приложение. На пути возврата контроля заявка получает предсказанное действие и должна представить результат для продолжения. Зарегистрируйте: произошла ошибка действия; прибыла полезная нагрузка контроля возврата; в заявлении представлен соответствующий результат действия; Часть ответа все еще не получена. При наличии контроля возврата и отсутствии результатов, правильное состояние WAITING FOR ACTION RESULT . У него есть владелец и следующее действие. Называть его застрявшим создает шумные сигналы; назвать его полным теряет работу. 5. Получение результатов Datadog может размещать настраиваемые оценки рядом с следом, и эти оценки полезны для субъективных проверок качества или политики. Предпочтительно использовать детерминистический верификатор, когда обещание проверяется: доставка файла: ожидаемый путь, MIME, размер, сумма проверки и схема; запись базы данных: запись ключа, версии и требуемых полей; исходящее сообщение: квитанция поставщика и хэш назначения; развертывание: целевая пересмотр плюс независимая проверка здоровья; Ответ знаний: необходимые цитаты плюс правило принятия домена. В результате расписки должны содержаться минимальные доказательства, необходимые для воспроизведения приговора. Ответ с выражением done не является одним из таких полей. Используйте правило восьмигосударственных решений Присоединяющийся артефакт применяет квитанции в фиксированном порядке. Ранние границы препятствуют последующим доказательствам создавать ложный зеленый: Я проверил этот классификатор по восьми случаям без контента. Все восемь соответствовали ожидаемому приговору: Примечание преднамеренно передает outcomeVerified: true в корпус устаревшей подготовки. Он все равно возвращает CONFIG NOT PREPARED , потому что результат неправильной подготовленной конфигурации не может подтвердить предполагаемое выпуск. Он также дает полный ответ Бедрока на ложный полный случай; без расписки на место назначения окончательный приговор остается красным. Направьте каждое приговор в одно ограниченое действие Классификатор полезен только в том случае, если его состояние изменяет следующий шаг оператора. Приговор Первое действие Не делай этого. CONFIG NOT PREPARED Подготовить намеченный проект, подтвердить preparedAt , а затем перезапустить один канар Диагностировать старые следы как новый выпуск TRACE MISSING Проверяйте поддерживаемые версии SDK и трассера, порядок инициализации, доставку экспортера и выборку образцов Перепробуйте агента , как если бы отсутствие доказало неудачу . TRACE INCOMPLETE Подтвердите enableTrace=True и что гнездные события достигают след Datadog Позвоните на внешний диапазон полного охвата агентов WORKING Подождите в течение срока взыскания, пока не произойдут изменения Уведомление только о прошедшем времени WAITING FOR ACTION RESULT Переправить запрос на контроль возвращения к его владельцу с установленным сроком Перезагрузить агента или пометить его застрял ACTION FAILED Проверьте первое неудачное действие и его границу ошибок; попробуйте снова только в том случае, если эффект безопасен Повторить неопределенный побочный эффект слепо FALSE COMPLETE Запустить проверку назначения и исправить отсутствующий результат Примите окончательный ответный текст в качестве доставки HEALTHY Сохранить компактный квитанция и закрыть пробег Сохранить чувствительные полезные нагрузки только на всякий случай Этот приказ также уточняет право собственности на инцидент. Проблемы по охвату данных относятся к инструментации или транспортировке. Ожидание возврата контроля принадлежит заявителю или человеку, который владеет внешним решением. Неудачное действие относится к границе инструмента. Лишняя доходность принадлежит проверщику результатов. Одно общее предупреждение об ошибке агента не может содержать эти различия. Держите границы Datadog и Sidewisp честными Datadog Agent Observability это подходящее место для проверки запечатленных следов, структуры интервала, задержки модели и инструмента, использования доступных токенов, ошибок и оценок. Интеграционная документация Bedrock предоставляет конкретные шаги по установке и проверке, включая проверку состояния трассера и отладку проблем передачи. Вышеуказанный аудит добавляет границу выпуска и результата; он не уменьшает следственных доказательств. Это мешает этому доказательству отвечать на вопрос, на который он не был разработан для того, чтобы ответить один. Остаются три ограничения: 1. Устройство подтверждает преимущество решения, а не достоверность данных AWS, Datadog или пункта назначения. 2. Образец может умышленно удалять следы. Покрытие SLO требует контролируемого канарного или другого знаменателя; отсутствие производственных следов является двусмысленным. 3. Судья LLM может помочь с качеством субъективного ответа, но он не должен заменить проверку детерминируемого назначения на предмет проверяемого эффекта. Для существующих развертываний Bedrock Agents Classic практической финишной чертой является: текущая подготовленная версия, правильный объем призыва, полный внутренний след при необходимости, состояние действия и проверенный результат. Все, что меньше, должно оставаться в работе, ожидании, неуверенности или неудачи. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Он предназначен для добавления слоя агента здоровья вокруг существующих сроков запуска, но его производственные адаптеры Bedrock и Datadog не отправляются. Присоединяйтесь к частному просмотру, если данный рабочий процесс подтверждения здоровья соответствует тому, как вы управляете агентами; продолжайте использовать Datadog и AWS, как их текущая документация поддерживает сегодня. Источники Интеграция Datadog Amazon Bedrock Автоматическая инструментация Datadog для наблюдения за агентом Datadog: агенты мониторинга, созданные на Amazon Bedrock Ссылка на API AWS InvokeAgent AWS: Тестирование и устранение неполадок поведения агента