Испытание агента AI: создание шлюза для выпуска с провалом инъекции

Испытания агента AI должны ответить на один вопрос: когда инструмент, разрешение, граница памяти, одобрение или срок плохо себя ведут, сохранит ли агент безопасность и все еще производит проверяемую работу? Разумным дефолтом является небольшой комплект с провальной инъекцией. Дайте каждому испытанию одну контролируемую ошибку, записывайте транскрипт агента, а затем отдельно оценивайте окружающую среду: доступ к инструменту, внешние эффекты, непрерывность, ожидаемость, состояние сроков, и обещанное доведение. Безусловно, окончательное сообщение является полезным диагностическим доказательством, но это не оракул. Эта статья создает эту ворота в качестве восьмиклассной Node.js фиксации. Один случай закончился безопасно. Один входит в законное одобрение ожидания. Шесть должно блокировать высвобождение. Суита преднамеренно достаточно маленькая, чтобы запустить запрос и достаточно ясна, чтобы показать, какой контракт не сработал. Ответ может пройти, пока агент не провалится. Традиционные тесты приложения часто называют функцию и утверждают ее обратную стоимость. Ведущий, использующий инструмент, изменяет форму теста. Это может занять много очередей, выбрать инструменты, изменить внешнюю систему, сделать паузу для человека, попробовать снова после неоднозначных транспортных сбоев и сообщить о завершении, не оставляя ожидаемого результата позади. Инженерный справочник Anthropic к оценки агентов разделяет задачу, каждое испытание, его оценки, транскрипт и конечный результат. Его отличие практическое: транскрипт может сказать, что рейс был забронирован, в то время как база данных о бронировании окружающей среды говорит иначе. При эксплуатационном испытании окружающая среда выигрывает. Это дает нам три объекта для осмотра: Свидетельство транскрипта: Что сказал агент, какие инструменты он запросил, и что каждый звонок вернул. EEffect evidence: Что фактически изменилось в системе вдоль потока, включая количество эффектов и идентификацию несостоятельности. Oвыходные доказательства: , существует ли видимый пользователем продукт и удовлетворяет ли он определенному договору. Не разлагайте их на один счет. Призыв к инструменту может дать перерыв после возникновения эффекта. Транскрипт может содержать подробное резюме, пока файла отсутствует. Конечный артефакт может существовать дважды, потому что повторная попытка использовала новый ключ от безвыгодности. Каждый случай нуждается в другом ремонте. Безопасная среда тестирования тоже имеет значение. OWASPs Чрезмерное руководство Агентства рекомендует минимальную функциональность инструмента, минимальные разрешения вдоль потока, разрешения вдоль потока и одобрение человека для действий с высоким воздействием. Ваш испытательный ремень должен следовать той же границе. Используйте устройства, одноразовые именные пространства, поддельные платежные или адаптерные устройства для отправки сообщений и учетные записи, которые не могут достичь реальных клиентов. Неудачный тест никогда не должен стать инцидентом, который он должен был предотвратить. Вводить одну операционную ошибку на испытание Начните с одного счастливого пути, а затем добавьте ошибки, которые пересекают операционные границы агента. Минимальная полезная матрица не 10 сложных запросов. Это совокупность измененных условий с проверяемыми последствиями. Судебный процесс Состояние инъекции Детерминистический оракул Ожидаемое состояние Здоровая доставка Никакой вины. один эффект и проверенная доходность PASS Законное одобрение инструмент требует человеческого авторитета владелец, срок и продолжение токены существуют EXPECTED WAIT Отсутствующие поставщики ответ на завершение, отсутствие результата исходный договор не выполняется FAIL OUTCOME Двойной эффект повторная попытка создает действие дважды количество эффектов превышает 1 FAIL DUPLICATE EFFECT Потеря разрешения инструментальные удостоверения не имеют требуемого объема Результат доступа отклонен FAIL TOOL ACCESS Потеря контекста перезагрузка сбрасывает требуемое решение не совпадает с получением непрерывности FAIL MEMORY Без владельца ждать запрошенное, но не направленное одобрение Wait не имеет владельца, крайнего срока, или продолжение токен FAIL UNROUTED WAIT Срок истечения срока временный бюджет заканчивается до проверки абсолютный срок истек FAIL DEADLINE Законное ожидание это положительный контроль, а не уступка. Агент, который останавливается перед действием с большим воздействием, может быть здоровее, чем агент, который импровизирует вокруг отсутствия власти. Ожидание проходит только тогда, когда оно проходит: имя владельца может принять решение, срок предотвращает молчание, а токен резюме соединяет решение с приостановленной работой. При каждом испытании вводить только одну основную ошибку. Если вы отмените учетную запись, испортите память, и сроки истекнут сразу, пакет может правильно блокировать выпуск, но научит вас очень мало. Однократные испытания сохраняют приписание. Добавьте соединенные неисправности позже, после того, как каждый отдельный контракт будет работать. Используйте адаптеры, а не инструкции для введения ошибок. Призыв, в котором говорится, что представьте, что база данных отказана в доступе, тестирует ролевую игру. Адаптер базы данных, который возвращает ту же форму отрицания, что и в производстве, тестирует путь управления. Аналогично, после записи фальшивого внешнего эффекта введите перевозку, чтобы воспроизвести опасную неоднозначность: запрос может быть успешным, даже если звонку не ответили. Оракул должен быть конкретным для задачи. Для кодирующего агента выполните испытания и проверьте дифференциацию хранилища. Для агента отчёта требуется файл, схема, цитируемые источники и пара местонахождения. Для агента по поддержке проверьте запись дела, вместо того чтобы искать окончательный ответ на вопрос исключен. Предпочтительно проверки, основанные на коде, где состояние непосредственно наблюдаемо. Добавьте калиброванный оценщик модели или человеческий обзор для субъективного качества после прохождения детерминистических проверок безопасности и завершения. Запустите восемь пространственный шлюз . Сопутствующий артефакт содержит failure injection fixture.json , audit failure injection.mjs и ожидаемый отчет. Классификатор преднамеренно прост: Используйте Node.js: Точное наблюдаемое резюме было: responseOnlyFalsePassCount это раскрывающий номер. Испытание с отсутствием доставки говорит, что оно завершено, и испытание с дублированным эффектом также говорит, что оно завершено. Выпускник, который согласился на наличие завершения, прошел бы оба. Врата окружающей среды блокируют их по разным причинам. Заказ чеков является частью контракта. Отрицание инструмента является первой неудачной границей в одном испытании, в то время как двойные эффекты имеют преимущество над проверенным окончательным результатом: производство правильного объекта дважды не является здоровым завершением. Перед результатом оценивается расширенное ожидание, поскольку работа еще не должна быть завершена. Ваше заявление может потребовать другого порядка приоритета, но запишите его и явно проверьте двусмысленные случаи. Устройство также делает полезное различие между попытками и эффектами. effectAttempts: 2 может быть в порядке, когда стабильный ключ безотказности покидает effectCount: 1 . В поставленной небезопасной перепробеге есть effectCount: 2 . Без поддельной магистрали вдоль потока, арнесс мог считать звонки, но не мог доказать, сколько внешних изменений произошло. Для стохастических агентов одной чистой казнью недостаточно. Сохраняйте детерминистический оракул состояния, затем выполните несколько испытаний на задачу и сообщите о распределении. Регрессионный пакет должен иметь высокую ожидаемую скорость прохождения; сложный пакет возможностей может начинаться ниже. Никогда не скрывайте варианты внутри одного среднего, что позволяет отменить серьезный эффект или неудачу разрешения сильными прозами в других местах. Превратить классификацию в решение о выпуске Правило компактного освобождения легче защитить, чем взвешенный балл готовности: Любой результат FAIL следует рассматривать как запрос на ремонт, а не как разрешение на автоматическое восстановление рельса. FAIL TOOL ACCESS : устанавливайте сертификат испытания или путь отказа агенту в доступе; не расширяйте разрешения на производство только для того, чтобы сделать испытание зеленым. FAIL DUPLICATE EFFECT : сохранить одну логическую операционную идентичность на протяжении всех повторных попыток и проверить эффект до другой попытки. FAIL MEMORY : определить минимальный прием решения, который должен выжить после перезагрузки, а затем проверить фактический предел стойкости. FAIL UNROUTED WAIT : добавьте владельца, срок действия, расписку решения и идентификацию работы, которая может быть переоформлена. FAIL DEADLINE : распространять один абсолютный срок и резервировать время для отмены, очистки и проверки результатов. FAIL OUTCOME : восстановить путь доставки или его оракул; редактирование формулировки завершения не решает неисправность. Держите границу чистой. Этот пакет из восьми случаев не доказывает общей надежности. Он охватывает только ошибки, которые вы ввели, и утверждения, которые вы кодировали. Он не обнаружит поведения неизвестного поставщика, не будет судить о том, является ли отчет исследования проницательным или доказывает, что графики производства и учетные данные остаются здоровыми на следующей неделе. Субъективные задачи все еще нуждаются в калиброванном обзоре, а производственные системы все еще нуждаются в мониторинге реальной доступности, прогресса, ожидания, доступа к инструментам, результатам и затратам. Полезная привычка состоит в том, чтобы превратить каждый производственный инцидент в дезинфицированное регрессивное испытание. Сохранить форму ввода, ввести наименьшее причинно следственное состояние, удалить секреты и данные о клиентах, и добавить наиболее сильный доступный исходный оракул. Со временем, набор выпуска становится записью провалов, которые агент больше не может повторять. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Живой опыт это сайт с ранним доступом и интерактивная демонстрация; коллекция производственного агента здравоохранения, адаптеры запуска и автоматическое восстановление, как правило, не доставляются. Тестная схема выше это то, что команды могут реализовать в своем собственном арсенале сегодня. Он также показывает, какие границы ясных доказательств должен соблюдать будущий слой здоровья: деятельность не является прогрессом, сообщение не является результатом, а командование не является восстановлением, пока не будет проверена намеченный результат.