Мониторинг агентов AI: политика тихого оповещения о реальных неудачах

Наблюдение за агентом AI должно прерывать человека только тогда, когда он может назвать продолжающийся сбой, показать доказательства и указать на ограниченное следующее действие. При помощи инструмента, знака или длинного следа можно объяснить проблему; ни одно из них не доказывает, что агент перестал выполнять полезную работу. Для практической первой политики следите за тремя вещами отдельно: 1. Runtime Freshness: начал запланированный бег, и его сердцебиение все еще работает? 2. Usuous progress: изменились ли конкретные данные по задачам в течение ожидаемого периода? 3. O: : существует ли обещанная поставка и проходит ли проверка на ее приемку? Затем направляйте результат. Страница за постоянной, пользовательской ошибкой. Создать билет или уведомление владельца для законного ожидания или медленного расследования. Удалить один плохой образец и здоровую работу. Эта статья превращает это правило в небольшой договор о событиях и исполняемый в восьми случаях. На странице должно быть названо нарушенное обещание . Агент может быть в интернете, пока его работа не так. Он также может быть тихим, потому что он правильно ждет одобрения. Вот почему процесс работы слишком слаба для мониторинга агентов и недавний звонок инструмента слишком шумный для просмотра страниц. В главе Мониторинг распределенных систем Google создает полезную линию между признаками белого ящика и симптомами черного ящика. Внутренняя телеметрия необходима для диагностики, но страница должна представлять собой явную неисправность, влияющую на услугу. В главе также отмечается, что успешный протокольный ответ все равно может быть ошибкой, когда возвращенный контент неверен. Для агента соответствующей неудачей является выполнение, которое говорит completed , в то время как требуемый артефакт отсутствует или недействителен. Начните с написания одного контракта на мониторинг за рабочим процессом: Контрактное поле Пример для агента хранилища Почему она существует Ожидаемый старт В рабочие дни в 09:00 UTC, 5 минут. Выявление пропущенного расписания Сердечный ритм Наблюдение за рабочим временем не старше 10 минут Выявление недоступной или мертвой полосы Доказательства прогресса Новый коммит, измененный результат испытания или записанный блокировщик Отдельное движение от повторяющейся деятельности Законное ожидание Идентификатор одобрения плюс ответственный владелец Продолжайте ждать работы из страницы стойки Требование по завершению Статус запуска completed Запишите, что заявил агент. Результатный предикат Целевая ветвь содержит пропуск к обязательным и требуемым проверкам Проверьте обещанный результат самостоятельно Последний ряд должен быть специально определенным. Ответ, созданный может быть достаточным для задачи чат. Создал файл недостаточно для задачи выпуска, если файл недействителен, не опубликован или прикреплен к неправильному месту назначения. Монитор не может вывести этот контракт из промежутка времени; владелец рабочего потока должен определить его. Прибор пробега без обращения с затяжённостью как завершение В настоящее время генеративные семантические конвенции AI определяют операции агента и потока работы, такие как invoke agent , invoke workflow , plan и execute tool . Нынешний Документ агент пространство также предоставляет такие поля, как gen ai.agent.id , gen ai.agent.name , gen ai.agent.version и error.type . Это полезные области корреляции и диагностики. Они не являются схемой исхода. Документ обозначен Development , поэтому закрепление версии имеет значение. В нем также предупреждается, что записанные входные и выходные сообщения, вероятно, содержат конфиденциальную информацию. Вы можете реализовать политику оповещения ниже, не храняя запросы, ответы, секреты или полную нагрузку инструментов. Комплексное событие может выглядеть вот так: Сохраняйте стабильность runId на графике, телеметрию времени запуска и проверку результатов. Сохранить агент с низкой кардинальностью или название рабочего процесса для агрегации. Положите идентификаторы диагностических следов за сигналом, а не внутри его личности. В противном случае, каждая повторная попытка может создать новый инцидент для того же нарушенного обещания. Верхняя трасса на иллюстрации занята, но круглая. Нижняя линия меняет состояние и дает проверяемый результат. Это различие находится в центре политики: деятельность является доказательством дебгагирования; прогресс и результаты определяют здоровье. Испытать политику с восьми неудобных случаев Артефакт, сопровождающий данную статью, использует один запись NDJSON на наблюдаемый поток. Он охватывает проверенное завершение, ложный успех, пропущенный график, недосягаемый срок работы, законное ожидание одобрения, постоянный прогресс, один непродолжительный плохой образец и здоровый активный труд. Попробуйте из каталога артефактов: Ожидаемый объем производства: Оценщик использует фиксированный приоритет. Неудачный результат выигрывает устаревшую телеметрию, потому что нарушенный результат уже известен. Пропущенный график выигрывает, когда бег не начинается. Недостижимое время запуска выигрывает диагноз без прогресса, потому что монитору не хватает свежих доказательств исполнения. Явное ожидание выигрывает над правилами. Только тогда устаревший прогрессный временной штамп становится stuck . Это предотвращает открытие одной записи трех инцидентов. Он также делает каждое решение объясняемым: выход может назвать условие, временный штамп доказательства и порог, который был пересек. Включенные пороги являются примерами, а не универсальными дефолтами: через пять минут после ожидаемого старта; 10 минут без сердцебиения; пятнадцать минут без полезного прогресса; два последовательных плохих образца для условий страницы; три последовательных плохих образца за билет без прогресса. Агент по программированию, работающий на двухминутной версии, и агент по исследованию, читающий статьи в течение часа, не должны делиться этими цифрами. Важная часть это последовательность и требование для настойчивости, а не конкретная продолжительность. Добавить настойчивость до эскалации Правила оповещения Прометей обеспечивают две соответствующие механизмы. Задокументированное положение for сохраняет новое активное состояние в ожидании до тех пор, пока оно не останется активным в течение длительного времени. keep firing for может держать сигнал открытым после последнего соответствующего образца, чтобы уменьшить затыкание или ложное разрешение, вызванное отсутствием данных. Те же идеи применяются даже если вы не используете Prometheus: требуют повторных наблюдений перед обращением на молчание; записывать время первого нарушения отдельно от последней выборки; групповые оповещения по рабочему процессу и нарушенному обещанию, а не по повторной попытке или отслеживанию; держать инцидент открытым до тех пор, пока свежие доказательства не подтвердят восстановление; переоформление страницы только при изменении степени тяжести или последствий. Не откладывайте все условия за одну и ту же задержку. Заявление о завершении, требуемый артефакт которого не проходит детерминистическую проверку, является более убедительным доказательством, чем один пропущенный сердечный ритм. С другой стороны, рейтинг качества LLM вблизи порога является более слабым доказательством и может входить в очередь отзывов, а не в поисковую систему. Тихая таблица маршрутизации более полезна, чем длинный метрический инвентарь: Наблюдаемое состояние По умолчанию маршрут Ясное состояние Завершение требуется; требуемый результат проверки не удается после его проверки благодать Страница, когда она имеет отношение к пользователю, в противном случае билет Исправляется исходный предикат или претензия Ожидаемый бег не начался после двух проверок . Страница , когда запуск имеет текущее обязательство Начало запусков или ожидания планировщика явно изменены Сердечный ритм в течение двух проверок устарел. Страница , когда активная работа затронута Свежий сердечный ритм плюс новый образец здоровья Названное одобрение, секретное или необратимое решение остается неизменным Уведомить ответственного владельца или создать билет Зависимость предоставляется или работа отменяется Деятельность продолжается, но доказательства задачи не изменились за три проверки Билет на расследование Зарегистрировано изменение прогресса или законное ожидание Один устаревший или отсутствующий образец Никаких человеческих уведомлений Переоценка на следующей выборке Работать по краевым корпусам перед выбором инструмента Ошибки в политике предупреждения обычно появляются на границах, а не на счастливом пути. Verification lag: издатель может сообщить о завершении за несколько секунд до обновления CDN или индекса поиска. Дайте результату предсказания документированный срок, затем проверьте снова. Не рассматривайте произвольный сон как доказательство; вторая проверка должна осмотреть истинное место назначения. Human waits: хранит как зависимость, так и ее владельца. waitingOn: "approval" без ответственного лица просто скрывает стенд. Ожидание может оставаться здоровым для агента, создавая при этом задержанную человеческую задачу. Long silent work: исследовательский или компиляционный шаг может быть здоровым без частых событий с инструментами. Выберите доказательства прогресса, которые могут безопасно выделяться в течение времени выполнения: завершенный фрагмент, измененный хэш контента, новый этап тестирования или четко установленный срок. Retries: повторные попытки могут замаскировать неисправности поставщиков при увеличении активности и затрат. Группируйте их в одну и ту же процедуру и записывайте попытку диагностики в качестве контекста. Повторная попытка не должна восстанавливать время первого нарушения, если она не приведет к полезному прогрессу. Неизвестные сигналы: отсутствующая телеметрия не зелена. Сообщите, что он недоступен, и избегайте автоматического восстановления, когда монитор не может отличить застрявший от отключенного. Неопределенный диагноз должен требовать проверки, а не разрушительного исправления. Recovery: закрывает инцидент, потому что команда перезагрузки возвращает нуль повторяет проблему ложного успеха. Используйте тот же результат или прогресс предсказания, что открыл инцидент. Восстановление завершается только тогда, когда свежие доказательства показывают, что работа идет вперед или есть обещанный результат. Что этот эксперимент доказывает и что он не доказывает Этот механизм позволяет фальсифицировать одну узкую тезис: с документированным преимуществом и порогами, восемь поставленных дел дают точно три страницы, два билета и три подавленные уведомления. Вы можете редактировать один отпечаток времени или пересчет нарушений и увидеть изменение маршрута. Это не доказывает, что пороги соответствуют вашей рабочей нагрузке. Случаи являются синтетическими, и оценщик читает уже нормализованные записи. Реальные интеграции должны справляться с колебаниями часов, дублированной доставкой, поздними образцами, политикой планировщика, часовыми поясами и выключениями коллекторов. Они также нуждаются в ограничении конфиденциальности для чего либо, полученного из запросов или инструментальных звонков. Политика не заменяет следы, оценки или журналы времени запуска. Эти сигналы объясняют, почему результат провалился. Также не гарантируется, что конкретный предикат задачи охватывает каждую проблему качества. Некоторые результаты являются детерминистическими, такие как хэш файла или результат тестирования; другие требуют отбора образцов, обзора или процесса оценки с явной степенью неопределенности. Самое главное, что политика не должна разрешать самостоятельное восстановление. Монитор может рекомендовать повторную попытку или подготовить шаг по ремонту, но необратимые действия, секретный доступ и неопределенные диагнозы все еще требуют человеческого авторитета. Превратить устройство в тест на приемлемость Прежде чем подключить реальное место назначения оповещения, заменить синтетические случаи недавними примерами из одного рабочего процесса: 1. Определите ожидаемый старт и приемлемое задержка. 2. Выберите один сердцебиение, произведенное вне модели реакции. 3. Назовите наименьшие доказательства полезного прогресса. 4. Запишите законные причины ожидания и владельцев. 5. Реализуйте прогноз результатов на фактическом пункте назначения. 6. Повторяйте известные здоровые, ожидающие, застрявшие, пропущенные, недоступные и ложно успешные случаи. 7. Проверяйте политику достаточно долго, чтобы просмотреть ложные страницы и пропущенные инциденты. Лишь после этого пересмотра должен быть активирован маршрут страницы. Сохраняйте сырые доказательства, решение, версию порога и проверку разрешения проверяемыми, чтобы оператор мог понять, почему монитор заговорил. Sidewisp разработан вокруг этой границы здоровья: обнаружить, объяснить, попросить власть, когда это необходимо, и проверить результат. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Адаптеры мониторинга производства и двигатель восстановления обычно не поставляются сегодня. Если этот подход совпадает с тем, как вы управляете агентами, вы можете описать Присоединяйтесь к частному просмотру и описать случаи провала и провала, которые вам нужно охватить.