AI агент Наблюдаемость: отпечатки пальцев каждый ход

Самый короткий полезный ответ: прикрепите к каждому запуску агента отпечаток пальца run manifest , затем сравнивайте состояние только после того, как вы узнаете, были ли время запуска, снимок модели, запрос, политика, схема инструмента и изображение развертывания одинаковыми. Следы показывают, что сделал бег. Манифест говорит вам, какая версия системы сделала это. Этот отпечаток пальцев не является показателем здоровья и не доказывает, почему бег провалился. Это разветвленный ключ. Если появляется регрессия под новым отпечатком пальцев, сначала проверьте дрейф конфигурации. Если он появляется под старым отпечатком пальцев, ищите незарегистрированную среду, зависимость, провайдера, данные или изменения разрешений. Стабильное имя агента может скрыть другую систему Предположим, что support triage заполнит два билета правильно в пятницу и пропустит необходимую эскалацию в понедельник. У обоих операторов одно и то же имя агента. Оба излучают сердцебиение. Оба инструмента. Группировка их вместе кажется естественной и может быть ошибочной. Между этими ходами, может быть, изменилась какая то из них: Манифестационный компонент Запись Избегайте записи Время выполнения имя и точная версия или обязательство путь хоста, токен доступа Модель провайдер и записанный снимок, когда доступен Ключ API, полный ответ Немедленно SHA 256 пересмотренного запросного пакета необработанный клиент или системный запрос Политика хэш или неизменная версия секретные ценности, включенные в политику Инструменты каноническая схема хэш учетные данные, полезные нагрузки инструментов Развертывание переваривание изображения или источник сообщения пароль реестра Это следует за утвержденной идеей наблюдаемости, а не за изобретением второго формата следов. SDK ресурсов OpenTelemetry описывает ресурс как неизменное представление субъекта, производящего телеметрию. Для выполнения агента конфигурация выполнения является частью этой идентичности. Сохраняйте идентификатор следа для одного исполнения и отпечаток пальца для версии, которая его создала; ни один из них не заменяет другой. Полезный манифест намеренно скучный. Он содержит стабильные идентификаторы, а не такие наблюдения, как задержка, количество токенов, статус выхода или результат. Они принадлежат к ясному Писанию. Смешивание их в хэш создаст новый отпечаток для каждого запуска и уничтожит сравнение. Существует также ограничение конфиденциальности: настраивайте запрос или политику локально, но не загружайте оригинал, чтобы просто объяснить его личность. Хаши все еще могут утекать информацию, когда вход исходит из небольшого предсказуемого множества, поэтому используйте непрозрачные идентификаторы выпуска или ключевой локальный дигес, когда эта угроза имеет значение. Никогда не указывайте удостоверения личности в манифест, даже прежде, чем зашифровать весь объект. Канонизировать перед хэшированием Складывание сырой JSON является ловушкой, потому что порядок ключа объекта и незначительные варианты сериализации могут отличаться, пока представленная конфигурация остается той же. Схема канонизации JSON в RFC 8785 определяет детерминистическую сериализацию, включая рекурсивное сортирование свойств. Производственный код должен использовать пересмотренную реализацию JCS, когда имеется отношение к оперативному взаимодействию. Для компактного локального эксперимента для обычных конечных значений JSON достаточно следующей функции Node.js: Эксперимент использовал Node.js v22.23.1 . Он преднамеренно более узкий, чем RFC 8785: он рекурсивно сортирует ключи объектов и отвергает нескончаемые числа, но это не является требованием полного соответствия JCS на различных языках. Это ограничение находится рядом с кодом, а не в сноске после того, как читатель скопировал его. Сам манифест может оставаться небольшим: Вышеприведенные значения держателя места являются идентификаторами фиксации, а не претензиями поставщика. В настоящем коллекционере выводите их на хозяина из закрепленных релизов. Более широкий принцип напоминает происхождение SLSA: сохранить проверяемую информацию о том, где, когда и как что то было произведено. Манифест пробега использует этот принцип для диагностики; он не является автоматически аттестацией SLSA. Шесть раундов показывают значение и лимит Я проверил правило на шести синтетических записях NDJSON для одного агента. Победы 101 и 102 содержат те же явные значения в разном порядке ключа JSON. Запустить 103 изменяет только хэш промота, 104 изменяет только снимок модели, и 105 изменяет только хэш схему инструмента. Запуск 106 не работает из за выключения зависимости, который не представляется в манифесте фиксации. Командование по аудиту было: Детерминистический результат: Два наблюдения важнее, чем число. Во первых, имя одного агента скрывало четыре зарегистрированных конфигурации. Во вторых, два объекта изначальной линии, расположенные по разному, производили один и тот же отпечаток пальца SHA 256, поэтому порядок сериализации не создавал ложного дрейфа. Важным является противопоказание: run 106 не удалось найти базовый отпечаток пальца. Не измененный отпечаток пальцев не сделал бег здоровым, и это не доказало, что окружающая среда осталась неизменной. Он только показал, что записанные поля конфигурации были неизменны. Следующее расследование должно рассматривать доказательства, не связанные с наличием провайдера, входящими данными, маршрутом сети, состоянием разрешений и свежестью зависимости. Фиксация является синтетической, поэтому она демонстрирует механику и фальсифицирует сверхъестественное заявление; она не оценивает, как часто дрейф конфигурации вызывает реальные инциденты. Для этого потребуются производственные данные с контролируемыми выпусками и проверенными результатами. Превратить отпечатки пальцев в решение о triage Используйте отпечатки пальцев только после того, как результат бега будет заметен. Только деятельность выпущенные токены, инструменты, вызванные, или процесс, который все еще жив не устанавливает полезного прогресса. Доказательства результатов Сравнение отпечатков пальцев Первый филиал Прошло То же, что и в начале Сохранять как сопоставимый здоровый справочник Не удалось Изменение Разграничить отредактированные поля манифестирования; рассмотреть ограниченный отсчет или повторное воспроизведение Не удалось То же самое. Проверяйте зависимости, разрешения, входы, состояние поставщика и отсутствие ясного покрытия Неизвестно И то , и другое . Собирать или определять ожидаемый результат до диагностики дрейфа Три правила работы, чтобы быть честным: 1. Освободите точку сравнения. Выберите проверенный успешный запуск для одного и того же класса задач, а не только последнего зеленого статуса. 2. Сохранение редактированной карты полевого уровня. Весьма манифестный хэш говорит different. Отдельные компоненты указывают, где проверить, не раскрывая содержание. 3. Верьте результат после вмешательства. Успешное командование с обратным движением это активность. Восстановление означает, что ожидаемое поставляемое появляется, испытание проходит или проходит другой детерминистический контроль приемлемости. Не возвращайте автоматически каждый измененный отпечаток пальцев. Выпуск может быть преднамеренным, а неисправность может быть вызвана вводом, а не выпуском. Используйте изменение в качестве доказательства для пересмотра, сохраняйте человеческое одобрение последствий действий и записывайте, что произошло после действия. Если это подходит для мониторинга здоровья агента Отпечатки пальцев соединяют три вопроса о здоровье, которые не могут быть решены только следами: изменилась ли политика принятия решений, изменился ли контракт на инструмент и снизилось ли качество результатов в соответствии с той же системой записи? Он также улучшает передачу инцидентов, потому что другой оператор может сравнить точную идентификацию выпуска без получения запросов, секретов или полезных грузов инструментов. Предназначенная модель здоровья Sidewisp включает в себя выполнение, память и контекст, инструменты, результаты, доступность и стоимость. Будущий адаптер на стороне хозяина может использовать отредактированный манифест в качестве доказательства этих диагнозов, но это запланированная территория, а не заявление о поставленном мониторинге. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Общественная система сайта и статьи в режиме прямого действия; коллекция продуктов агентов, адаптеры для запуска и автоматическое восстановление, как правило, не доступны. Если эта модель доказательств совпадает с неисправностью, которую вы используете сегодня, следующим сдержанным шагом является присоединение к списку ожиданий для частного предварительного просмотра и описание проверки времени и результатов, которые вам нужноне предполагать, что Sidewisp уже собирает его.