Мониторинг агентов после исправления: доказать восстановление в пяти шагах

Агент AI не восстанавливается просто потому, что перезапуск, повторная попытка или толчок успешно вернулись. Практическим дефолтом для мониторинга agent является проверка восстановления в пяти этапах: запись разрешенного вмешательства, подтверждение доступности и готовности, наблюдение за конкретным заданием, самостоятельное проверка обещанного результата и наблюдение за одним окном стабильности для рецидива. До прохождения наиболее строгой проверки, состояние как recovering , uncertain или needs human не является здоровым. Это отличие имеет значение, потому что команда по ремонту и работа пользователя живут на разных уровнях. Процесс может быть возобновлен, пока срок действия его аккредитации остается истекшим. Сердечный ритм может возобновиться, пока агент повторяет один и тот же звонок инструмента. Агент может объявить завершение, пока файл, билет, сообщение или развертывание все еще отсутствуют. Восстановление это доказательство, а не событие. Очистить инцидент с помощью проверки лестницы Используйте лестницу вместо одного зеленого статуса. Каждый шаг отвечает на другой вопрос и должен сохранять свою собственную дату, источник и доверие. Шаг Вопрос Минимальные доказательства Указать, если оно не удастся Вмешательство Было ли точное ограничение санкционировано и выполнено? ссылка на одобрение, тип действия, идентификатор попытки, результат выхода или API needs human или intervention failed Доступность Можно ли связаться с рабочим временем и готов ли он к выполнению своей задачи? свежие сердцебиения плюс проверка готовности к выполнению задачи unreachable или alive only Прогресс Изменилась ли полезная работа после вмешательства? монотонный артефакт, завершенная единица, курсор, тестовая дельта или изменение назначения alive only или recovering Результат Существует ли обещанный результат и удовлетворяет ли его детерминистическую проверку? поиск, перепись, тестирование, пересмотр или получение на места назначения false recovery , recovering или uncertain Стабильность Продержался ли диагностированный провал достаточно долго, чтобы повториться? одно окно наблюдения, специфическое для рабочей нагрузки, без повторяющихся симптомов relapsed или recovered Разумный дефолт является консервативным: агент, который доступен, но не переместил полезную работу, является alive only ; агент, который возобновил измеряемую работу, но не достиг своего результата, является recovering ; только свежие доказательства результатов, которые выживают в окне стабильности, зарабатывают recovered . Кубернетис использует соответствующее разделение для контейнеров. Его Документация сонда дает стартап, жизнеспособность и готовность различные задачи: жизнеспособность может вызвать перезапуск, в то время как готовность контролирует, должен ли контейнер получать трафик. Он также предупреждает, что неправильные зонды жизнеспособности могут вызвать каскадные сбои. Аналогия имеет границу задача агента не Pod, но передает уроки работы: процесс должен быть перезапущен и работа готова не должен быть одним и тем же тестом. Окно стабильности это не произвольный пятиминутный сон. Выберите самый короткий промежуток времени, в течение которого первоначальный провал имел справедливый шанс вернуться. Для циркуляции, которая повторяется каждые два звонка инструмента, обратите внимание, по крайней мере, на две возможности чистых звонков инструмента. Для назначенного издателя, подождите до следующего срока выхода. Для неудачи удостоверения, воспользуйтесь соответствующим разрешением один раз с неразрушительной проверкой. Окно должно быть достаточно длинным, чтобы фальсифицировать ремонт, но не настолько, чтобы инцидент оставался двусмысленным после наличия решительных доказательств. Запишите одну попытку восстановления, а не пустую последовательность команд. Свяжите диагноз, авторитет, вмешательство и проверку с одним неизменным идентификатором попытки. В противном случае монитор может присоединить сердцебиение от более поздней ручной перезагрузки к более раннему автоматическому толчком и сообщить о восстановлении, которое никто не может объяснить. Событие с ограниченной конфиденциальностью может выглядеть так: Этому событию не нужны запросы, ответы, секреты, грузы инструментов или абсолютные пути. Ему нужны границы действия и границы доказательств. Сохраняйте action completed как квитанцию, а не как вердикт о восстановлении. Это правило особенно важно для асинхронных API. Раздел 15.3.3 РФК 9110 говорит, что ответ HTTP 202 Accepted означает, что обработка не завершена и может никогда не произойти; ответ должен описывать текущий статус и указывать на монитор состояния. Если адаптер восстановления агента получает 202 , следуйте за этим монитором или задайте запрос на место назначения. Не переводить принято на fixed. Следы имеют одинаковый диапазон. OpenTelemetry определяет длины как единица работы и ее статус как статус операции, которую он отслеживает. Чистый протяженность restart agent доказывает, что операция не сообщила об ошибке. В нем не определяется, был ли составлен отчет, поступил ли билет или была ли развернута передача, предназначенная для пересмотра. Связывайте интервенционный период с последующим прогрессом и доказательствами результатов; не перегружайте его состояние. Власть тоже входит в список. Если для перезагрузки, обновления аккредитации, отправки сообщений или обратного спуска требуется одобрение и не существует никакого действительного одобрения, монитор должен выделять needs human . Она не должна пытаться совершить действие и затем просить разрешения. Восстановление также требует повторной попытки и временного бюджета. Второе вмешательство после первого неудачи это новое решение, а не невидимое продление первоначального командования. Воспроизводить сердцебиение ложно положительно Сопровождающая фиксация содержит восемь синтетических случаев после вмешательства: отсутствие полномочий, ошибка действий, деятельность только при сердцебиении, возобновление прогресса, проверенное стабильное выздоровление, рецидив, устаревшие доказательства проверки и завершение, объявленное агентом с отсутствием результата назначения. Запустить классификатор из каталога артефактов: Решающий результат: Наивное правило действие завершено и сердцебиение присутствует сообщает о шести выздоровлениях. В лестнице есть один. Это не потому, что лестница пессимистична. Один из них это действительно recovering : полезный прогресс возобновился, и результат все еще ожидается. У другого есть свежие доказательства результатов, но затем он повторяет диагностированный провал, так что это relapsed . Третий имеет проверенный результат, который выглядит десятиминутным по контракту на двухминутную свежесть, так что это uncertain , не провальный или здоровый. Предел свежести прибора 120 секунд является иллюстративным, а не производственным дефолтом. Свежесть доказательств принадлежит проверяющему. Немедленно может иметь решающее значение перепись файлов на местном хранилище. В конечном итоге последовательному индексу поиска может потребоваться документированная задержка. Если само проверяющее устройство недоступно, сохранить uncertain и выявить отсутствующий сигнал. Не перезагружайте агента снова, чтобы сделать панель зеленой. В главе Мониторинг распределенных систем Google разграничивает симптомы от причин, а черный ящик от белого ящика. Он также рассматривает успешный протокольный ответ с неправильным содержанием как ошибку, которая может потребовать исследования от конца к концу. В данной лестнице восстановления квитанция вмешательства и телеметрия в режиме выполнения являются доказательством белой коробки причины; проверка исхода по месту назначения тест симптомов черной коробки. Оба полезны, но только последний решает то, что пользователь фактически потерял. Превратить проверку восстановления в операционный контракт Для каждого наблюдаемого класса задач определять лестницу до инцидента: заявления об отказе, которые разрешают ограниченное вмешательство; лицо или политика, которым разрешено одобрять каждое действие; реверсивное действие и его усилия, ограничения времени и затрат; проверка готовности к запуску после действия; одно поле полезного прогресса с ожидаемым направлением; проверщик детерминистических результатов, его срок и его предел свежести; возможность повторения, которая закрывает окно стабильности; путь обратной или эскалационной борьбы, когда попытка не удается. Сохраняйте небольшой словарный запас вердикта. Needs human означает отсутствие полномочий, секрета или необратимого решения. Intervention failed означает, что одобренное действие не завершилось. Alive only означает, что время выполнения готово, но полезного прогресса отсутствует. Recovering означает, что прогресс возобновился, пока проверка результатов или стабильности остается открытой. Uncertain означает отсутствие или устаревшее доказательство. False recovery означает истекший срок результатов без обещанного результата. Relapsed означает, что исходный симптом вернулся. Recovered означает, что конкретный результат задачи проверен, и окно повторения остается чистым. Есть честные границы. Некоторые результаты не могут быть проверены детерминистически. Клиент, принявший анализ, может потребовать человеческого решения; содержание резюме хорошее может потребовать рубрики, чья надежность сама измеряется. Также место назначения может совершить побочный эффект до истечения срока ответа. Совершенствовать с ключом от отступничества или независимым поиском до повторной попытки. Когда доказательства не могут решить состояние, оставайтесь видимыми неопределенности. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Его адаптеры мониторинга производства, анализ стоимости токенов и выполнение восстановления, как правило, не отправляются. Предназначенное направление это слой здоровья наряду с существующими сроками работы, который делает диагностику, авторитет, свежесть доказательств, полезный прогресс и проверку результатов ясными. Он не должен становиться обязательным модельным шлюзом или автономным фиксатором. Если эта операционная модель подходит вашим агентам, Присоединяйтесь к частному просмотру. Источники Кубернеты: оживленность, готовность и стартовые зонды Google SRE Book: Мониторинг распределенных систем RFC 9110: HTTP Semantics, 202 Принято Открытая телеметрия: следы