Наблюдаемость агента: ложный успех с заключением договора

Наблюдаемость агента должна ответить на более сложный вопрос, чем совершенствовалась проверка?: : существовал ли ожидаемый результат, принадлежал ли он к этой проверке и прошел проверку его приемлемости? Практически дефолтом является определение этого результата до исполнения, наблюдение за ним за пределами собственного сообщения завершения агента и запись компактного получения результата. Терминальное событие может вызвать проверку; оно не может заменить проверку. Это различие достигает ложного успеха, не требуя повторного прочтения всей транскрипта второй моделью. Это также избегает противоположной ошибки: рассматривать законное одобрение ожидания как неудачу. Приемная запись, описанная ниже, регистрирует непрозрачный идентификатор артефакта, свежесть, переваривание содержания, если это уместно, и результат детерминирующего валидатора. Пропавшие доказательства остаются unverified или конкретным состоянием неисправности вместо того, чтобы быть закругленными до здорового. Терминальное событие является доказательством исполнения, а не доставки Следы правильное место для понимания того, как работа велась. Они не являются автоматическим доказательством того, что запрашиваемое внешнее состояние уже существует. Нынешний Семантические конвенции OpenTelemetry для диапазонов агентов GenAI описывает такие операции, как invoke agent , plan и execute tool , а также атрибуты агента, поставщика, модели, времени и ошибок. В документе четко обозначено Развитие. Эти сигналы могут показать, что операция произошла и сообщала об ошибке. Они не могут знать, что ваш конкретный счет был сохранен, что ваш запрос на вывод содержит запрошенное изменение или что ваш отчет соответствует утвержденной схеме. Это правило принятия относится к заявке. OpenAI Agents SDK отслеживание ссылка делает тот же граничный бетон. Его дефолтный след может включать в себя поколения моделей, вызовы функций, ограждения, передачи и пользовательские интервалы. Это богатые доказательства казни. SDK также предупреждает, что диапазоны генерации и функций могут содержать чувствительные входы и выходы, и позволяет операторам отключить эту запись. Таким образом, получение результатов может быть как более узким, так и более решительным: сохранять доказательства, необходимые для оценки поставляемого, а не вторую копию каждого запроса и полезной нагрузки инструментов. Хорошая операционная модель использует и то, и другое: отслеживание объясняет путь, повторные попытки, инструменты и место неисправности; получение результата подтверждает предполагаемый результат или называет отсутствующее доказательство; сигнал ожидания регистрирует известную зависимость или одобрение, а не делает вид, что задача завершена; сигнал прогресса показывает полезное движение, пока работа еще активна. Сочетание этих сигналов создает плохие сигналы. Деятельность не является полезным прогрессом. Чистое терминальное событие не является проверенным результатом. Заявленное ожидание это не остановка. Напишите исходный контракт перед бегом Результаты договора достаточно малы, чтобы рассмотреть при создании задачи и достаточно строги, чтобы оценить, не спрашивая агента, что это означает. Начните с самого дешевого детерминистического проверки, который соответствует реальной результате. Поле Цель Пример artifact id Название ожидаемого результата без раскрытия тайного или абсолютного пути monthly report run started at Устанавливает границу свежести 2026 07 25T14:00:00Z observed at Показывает, когда были собраны доказательства 2026 07 25T14:08:12Z modified at Отклоняет артефакт, оставленный ранее 2026 07 25T14:07:55Z expected sha256 Пины точные байты , когда байт имеет значение идентичность 64 символов validator Наименование проверки приема report schema v3 validator exit code Зарегистрируйте детерминистский вердикт 0 evidence source Говорит, откуда пришло наблюдение. local file stat Не требуйте каждого поля для каждой работы. Миграция базы данных может потребовать запроса схемы, а не переработки файлов. Развернутой странице может потребоваться статус HTTP, канонический контент и утверждение браузера. Задача утверждения человеком должна оставаться waiting до наступления события в органах власти. Контракт должен представлять результат, а не вынуждать каждую рабочую нагрузку в файловую модель. По умолчанию порядок классификации имеет значение. Сначала проверьте отсутствие доказательств, затем идентичность, свежесть, переваривание и результат проверки. Это создает действенные состояния: 1. missing нет обнаруженных артефактов; 2. wrong artifact наблюдение относится к другой цели; 3. stale артефакт предшествует запуску; 4. hash mismatch требуются и различаются точные байты; 5. validator failed артефакт существует, но не соответствует критериям принятия; 6. unverified требуемая проверка не была проведена или доказательства ее отсутствуют; 7. verified прошли все необходимые условия. Сохраняйте квитанцию на минимальном уровне. Непрозрачные идентификаторы безопаснее, чем имена клиентов или пути файловой системы. Дигест может доказать идентификацию байтов, но простой хэш не скрывает предсказуемого секрета от перечисления. Используйте клавишу HMAC, когда значение чувствительное и низкая энтропия, или избегайте сохранения значения полностью. Сбор доказательств должен состояться вблизи артефакта, чтобы сырое содержание не должно покидать хозяина. Провести тест на ошибочный успех в шести случаях Я проверил правило на синтетическом шестерке. Каждый запуск имеет одно и то же состояние терминала запуска: completed . Два наблюдения являются свежими и действительными. Четыре представляют собой другой режим ложного успеха: нет артефакта, артефакт старше, чем бег, несоответствие содержимого и неисправность валидатора. Классификатор намеренно скучный. Он оценивает факты в фиксированном порядке: При запуске включенного устройства получается: Фальшифицируемое утверждение является узким: для этого поставленного устройства правило терминального статуса принимает шесть пробегов, в то время как исходный контракт проверяет два и отвергает четыре с конкретными показателями доказательств. Это не измеренный показатель неисправности производства. Это пограничный тест, показывающий, что одно и то же терминальное состояние может скрыть материально разные результаты. Полезная метрика не процент пробегов, которые были завершены. Это verified outcomes / runs expected to deliver an outcome , сообщенный рядом с охватом проверок. Если только половина ваших типов задач имеет детерминистические валидаторы, покажите это ограничение. Не классифицируйте безинструментированную половину как здоровую. Присоединяйте проверку на границе завершения Квитанция работает лучше всего, когда время выполнения раскрывает границу завершения, но сам чек остается независимым. На этой границе собрать доказательства, запустить валидатор, настаивать на получении, и только затем обновить состояние работы. Клодский кодекс дает один конкретный пункт реализации. Его текущий ссылка на крючки говорит, что TaskCompleted работает, когда задача отмечается завершенной. Командовательная крючка может выйти с кодом 2 , чтобы предотвратить завершение и возвращение обратной связи, когда тесты или другой проверка принятия не выполняются. Это делает детерминистические ворота возможными без доверия к прозе. Это механизм, специфический для Клода, а не универсальный стандарт агента, и крючок, который успешно работает, все еще должен проверить правильный артефакт. Для времен выполнения без блокирующей колыбели завершения используйте двухэтапный переходный режим: Не пытайтесь автоматически перепробовать все не проверенные состояния. missing после известной задержки загрузки может потребоваться короткое ограниченое окно наблюдения. validator failed может обосновать одну попытку реверсивного ремонта, если пользователь уже разрешил ее. unverified означает, что канал доказательств не работает; это не доказывает, что доставка плохая. Задача, ожидающая необратимого решения, относится к waiting или needs human , а не к цикле восстановления. Также отделять командный успех от исходного успеха. Процесс валидатора, который выходит из 0 , доказывает только то, что этот валидатор фактически проверяет. Версия названия валидатора, запись его источника доказательств и времени наблюдения, а также пересмотр контракта при изменении поставляемого. Старое правило принятия может привести к совершенно задокументированному ложному положительному результату. Эскалация неопределенности; не создавайте успеха Контракт вывод завершен только в той мере, в какой он соответствует заявленным ожиданиям. Он может пропустить неидентифицированный артефакт, принять слабое подтверждение или прочитать из устаревшего источника доказательств. Это причины для раскрытия охвата и доверия, а не причины для добавления модели судьи по умолчанию. Используйте оценку LLM только для критериев, которые не могут быть проверены детерминистически, держите ее рубрику и версию видимыми и избегайте того, чтобы один и тот же агент производил и окончательно оценивал свою собственную работу. В случае конфликта доказательств предпочтительно использовать uncertain и обратиться за полномочиями перед изменением внешнего состояния. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Общественный сайт и библиотека статей находятся в режиме реального времени; коллекция продуктовых агентов здравоохранителей, адаптеры запускного времени и восстановление обычно не доставляются. Sidewisp предназначен как слой здоровья наряду с существующими сроками запуска, а не как замена запуска или автономный фиксатор. Правило работы простое: пусть эпизод терминала запускает проверку, пусть внешние доказательства решают результат, и пусть отсутствующие доказательства остаются неизвестными. Если эта модель здоровья соответствует тому, как вы управляете агентами, регистрация в частном премьере является подходящим следующим шагом.