План управления агента AI: шесть сигналов , которые показывают рабочее состояние

На панель управления агентов AI следует ответить на один оперативный вопрос, прежде чем он будет нарисовать диаграмму токенов: Необходимо ли сейчас обратить внимание на этот ход? Самая маленькая полезная строка сочетает в себе шесть сигналовсбор свежести, своевременность расписания, активность сердечных ударов, полезный прогресс, явную зависимость от ожидания и проверку результатов. Применяйте их в фиксированном порядке, чтобы спокойное ожидание одобрения не было ошибочным для задержки, а оживленная перепробовая петля не была ошибочной для здоровой работы. Сохраняйте задержку, модели звонков, инструментальные звонки, токены, стоимость и следы. Они являются ценными диагностическими доказательствами. Они сами по себе не доказывают, что запланированная работа началась, что отчет изменился, что ожидается одобрение или что обещанная продукция существует. Начните с строки штатов, а не с стены графиков. Разумным дефолтом приборной панели приложений LLM является телеметрия сервиса. Например, официальная панель AI Agents Sentry включает в себя работы агентов, звонки LLM, длительность, использование модели, токены, звонки инструмента, ошибки и детали отслеживания. Эти панели помогают ответить на вопрос: что произошло внутри этой эксцессии? и какая зависимость стала медленной или дорогостоящей? Оператор, которому предстоит пройти двадцать автономных или плановых рейсов, принимает предварительное решение: какой я должен открыть? На этот вопрос может ответить компактный ряд состояния: Поле Пример Решение, которое он поддерживает Агент и рабочий процесс researcher / weekly brief Какая работа затронута? Государство waiting:human approval Нужно ли вмешательство, маршрут или терпение? Возраст доказательств collector 14s ago Вердикт основан на свежих данных? Последний полезный прогресс 3 sources added, 4m ago Действует ли результат, а не просто процесс? Следующее ожидаемое событие approval by owner Что должно произойти дальше? Проверка результатов brief.md schema: pending Что должно быть правдой, прежде чем "полное" станет достоверным? Государство это вердикт, основанный на доказательствах, а не копия последней строки статуса. Положите решительные доказательства рядом. Stuck без прогрессного окна это мнение; не изменение источника в течение 13 минут, пока сердцебиение остается свежим проверяется. Это разделение имеет полезный прецедент внешних систем агентов. Kubernetes не разрушает запуск, жизненность и готовность в один зонд, потому что правильный ответ отличается: ждите запуск, перезагрузите после реальной неисправности жизненности или прекратите маршрутизацию трафика, когда рабочая нагрузка не готова. В его документации также предупреждается, что плохо спроектированный зонд жизнеспособности может вызвать каскадные неудачи. У панели управления агентов есть такая же проблема управления: этикетка безопасна только тогда, когда она подразумевает правильное следующее действие. Собирайте шесть сигналов с явной свежестью Шесть нижеперечисленных сигналов составляют компактный медицинский контракт. Они могут быть сохранены в виде полей в записи запуска или рассчитаны на основе событий запуска. Каждому нужно время, источник и недоступное состояние. 1. Свежесть коллектора Зарегистрируйте, когда панель в последний раз достигла времени выполнения или получила доверенное событие. Если коллектор устарел, до интерпретации старых сердцебиений и прогресса классифицируйте ход как unreachable или uncertain . В противном случае отключенный хозяин может выглядеть спокойно бездействующим. Используйте порог, связанный с последовательностью сбора. 120 секундный предел свежести разумен для одногоминутного опроса в примере; это нелепо для работы, которая синхронизируется каждый час. Укажите как наблюдаемый возраст, так и конфигурированный лимит. 2. График срочности Сохраняйте ожидаемый старт, фактический старт, часовую зону, окно графика и политику расписания. Без этих полей никакого смысла нет. Планирующий механизм может быть приостановлен, политика перекрытия может намеренно пропустить старт или откладывать пропущенную работу. Документация Temporal's Schedule делает эти различия конкретными: расписания могут быть приостановлены; политика перекрытия может пропустить, буфер, отменить, прекратить или разрешить одновременные выполнения; окна отключения решают, какие пропущенные действия выполняются после отключения. Другие время выполнения используют разные названия, но панель все равно должна сохранить политику, которая объясняет разрыв. 3. Активность сердечных ударов Сердечный ритм свидетельствует о недавнем контакте или деятельности исполнения. Он полезен для разделения недосягаемого времени выполнения от живого процесса. Он не должен продвигать время. Сделайте событие узким: heartbeat at , source , и, возможно, монотонно увеличивающаяся последовательность. Не называйте бег здоровым только потому, что эта последовательность постоянно меняется. 4. Полезный прогресс Определите одну задачу специфическую дельту. Кодирующий агент может изменить переваривание пластыря или увеличить количество прошедших тестов. Исследовательский агент может добавить доступный первичный источник или перенести краткое из схемы недействительной в схему недействительной. Агент поддержки может создать обещанный билет. Документ прогресса требует last progress at , небольшого описания дельта и версии проверки. Избегайте неясных счетчиков, таких как шаги, выполненные, если каждый шаг не указывает на результат. 5. Зависимость от ожидания Определить законное ожидание в явном выражении: human approval , credential , rate limit , external job или другая названа зависимость. Добавьте владельца, запрошенное действие и срок, когда это известно. Это поле изменяет действие. Бег, ожидающий одобрения, требует направления к уполномоченному лицу, а не перезагрузки. Ожидание с ограниченной ставкой может потребовать терпения. Не хватает человеческого удостоверения, который может его предоставить, не раскрывая секрет на приборной панели. 6. Проверка результатов Напиши предсказание завершения перед началом бега. Примеры включают: report exists, parses, and contains two reachable primary sources ; pull request exists and named checks pass ; ticket ID was returned and can be fetched ; scheduled export contains the expected date partition . Сохранить declared complete отдельно от outcome verified . Второй должен быть true , false или unavailable , с верификатором и временем проверки. Успешное командование это активность. Целевой артефакт результат. Применить один порядок приоритета На приборной панели не следует размещать все возможные предупреждения в одном ряду. Сначала оценивайте наиболее безопасное, объяснительное состояние: 1. устаревший коллектор → unreachable ; 2. ожидаемый старт за пределами своего грациозного окна → missed schedule ; 3. название зависимости → waiting:<dependency ; 4. объявлено полным без подтвержденного результата → false success ; 5. свежие сердечные сокращения плюс устаревшие, нулевой прогресс → stuck ; 6. проверенный результат → complete ; 7. положительный прогресс дельта → working ; 8. недостаточные или противоречивые доказательства → uncertain . Этот заказ это решение о продукте, а не закон природы. Это все равно лучше, чем позволить трем независимым сигналам утверждать, что один и тот же отключенный пробег одновременно застрял, опоздал и не получил результата. Сохранить сигналы для расследования, но дать оператору одно первичное состояние и одно следующее действие. Сопровождающая фиксация тестирует шесть случаев с конкретными примерными ограничениями: свежесть коллектора 120 секунд, графика графика 300 секунд, свежесть сердцебиения 60 секунд и прогрессный интервал 600 секунд. Используйте Node.js 20 или более: Точный результат: Самой важной парой является approval wait против retry loop . У обоих есть свежие сердцебиения, никакого дельта прогресса, и старый прогресс. Названная зависимость делает первую законную ожидание; отсутствие зависимости делает вторую застрявшим кандидатом после его отсрочки. В деле false success имеется недавний прогресс и претензия на завершение, но проверка результатов ложна, поэтому претензия на завершение не заслуживает доверия. Поставьте диагностику за вердикт После того, как строка "государство" определит место, которое стоит открыть, детальный вид может объяснить, почему. Организуйте его вокруг перехода, который провалился, а не вокруг источника телеметрии, который легче всего отобразить. Для missed schedule укажите выражение расписания, часовую зону, состояние включения, ожидаемые и фактические старты, политика перекрытия и недавнюю историю запусков. Для waiting укажите зависимость, владелец, запрашиваемый орган, возраст и ограниченное напоминание. Для stuck показать кардиобиение, а также доказательства прогресса и повторяющиеся подписи инструмента. Для false success укажите заявление о завершении рядом с провальным предсказанием. Затем добавьте панели отслеживания, задержки, токенов, стоимости, модели и инструментов. Токенный пик, прикрепленный к застрявшей серии, может быть использован; тот же пик, прикрепленный к проверенному результату, может быть статьей обзора затрат, а не инцидентом. Повторение инструментального вызова может объяснить задержку, но идентичные вызовы не являются доказательством циркуляции, пока доказательство прогресса задачи также не прекратит меняться. Используйте временную линию для причинно следственной связи: Такое мнение делает понятными периоды тишины. Он также дает каждому предупреждению возраст доказательств. Если адаптер перестает отчитываться после 12:03, панель управления должна перейти на unreachable или uncertain вместо того, чтобы вечно поддерживать зеленый состояние. Снижение порогов и сбор данных как границы продукции Устройство представляет собой набор противопримера, а не производственный эталон. Десять минут без изменения файла могут быть нормальными для глубокого анализа и катастрофическими для одного минутной очереди работника. Калибрируйте окна по рабочему процессу, а затем записывайте конфигурацию рядом с вердикт. Прогресс самый трудный сигнал. Предпочитают детерминистические доказательства, такие как переваривание, количество строк, код статуса, результат теста или проверка схемы. Если результат качественный, перечисленный оценщик может внести доказательства, но его результат имеет неопределенность. Сохраняйте unavailable в реальном состоянии; не превращайте отсутствующие доказательства в здоровые. Собирать минимум, необходимый для установления здоровья. Государственный ряд обычно не нуждается в запросах, ответах, секретах, полезных нагрузках на сырые инструменты или абсолютных местных путях. Непрозрачный идентификатор запуска, часовые марки, небольшие счетчики, результаты проверки и отредактированные классы зависимости могут привести к первому решению. Более богатые следы могут иметь отдельные правила хранения и доступа. Наконец, не подключайте первичное состояние непосредственно к необратимой автоматизации. Предупреждение Kubernetes о жизненном состоянии имеет значение здесь: чрезмерно уверенный тест на здоровье может ухудшить выздоровление. Дашборд может рекомендовать ограниченную повторную попытку, паузу или напоминание, но действие должно уважать авторитет, повторную попытку, время и пределы затрати вопрос должен быть устранен только после полезного прогресса или ожидаемого результата. Где Sidewisp подходит Направление продукта Sidewisp представляет собой взгляд на здоровье вокруг агентов, которые люди уже используют: доступность, полезный прогресс, доступ к памяти и инструментам, доказательства результатов, сигналы затрат и контролируемое восстановление с ясными ограничениями одобрения. Он не предназначен для замены режима запуска, расписателя, модели шлюза или сырой системы отслеживания. Это описание является направлением продукта, а не утверждением общедоступного мониторинга. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Общественный сайт, интерактивная демонстрация и система статей являются живыми; коллекция продукционного агента здравоохранения, адаптеры запуска, автоматическое восстановление, управление cron и анализ стоимости токенов, как правило, не отправляются. Присоединяйтесь к частному просмотру, если этот контракт с шестисигнальной панелью совпадает с операционной проблемой, которую вы должны решить. Первичные источники Охранитель AI Агентские панели управления официальные поля для запуска, LLM вызовов, продолжительности, моделей, токенов, инструментов, ошибок и следов. Животность, готовность и запуск зонды Кубернета Официальное разделение медицинских проверок, реакций, порогов и предупреждений о неисправности. Временные расписания Официальный график, пауза, перекрытие, догонка и семантика политики неудачи.