LLM Наблюдаемость для повторных штормов: затраты на проверенный результат

Наблюдаемость LLM должна считать токены, задержку, ошибки и модели звонков. Для агента, который может попробовать снова работать, это только числитель. Операционный знаменатель это количество намеченных результатов, проведенных в пункте назначения. Таким образом, полезным сигналом стоимости является: Сохраняйте стоимость повторной попытки, владельца повторной попытки и состояние результатов под одним стабильным run id . Не делите расходы на успешные ответы API или на собственное сообщение агента complete. Оба вида могут выглядеть здоровыми, пока рабочий процесс повторяется, отсутствует результативный результат или два слоя спокойно пытаются повторить одну и ту же ошибку. Это руководство применяет это правило к фиксированному эксперименту в восьми ранах. Устойчивая кохорта стоит 0,012 долларов за проверенный результат. Коорта повторного испытания, по видимому, стоит $0,041 за заявленное завершение, но проверка назначения доказывает только один результат, поэтому фактическая цифра составляет $0,12310,3 раза стабильной коорты. Долларные суммы синтетические, а бухгалтерская ошибка реальная и воспроизводимая. Сохранить нормальный слой наблюдения LLM Разумным дефолтом остается телеметрия модели звонков. Запись продолжительности запроса, входящих и выходящих токенов, класса ошибок, поставщика, модели, операции и корреляции следа. Эти сигналы указывают, замедлился ли провайдер, расширился ли контекст, изменилась ли модель или не удалось позвонить. Нынешний OpenTelemetry ГЕНАИ метрические конвенции делает этот базовый бетон. На фиксированном 24 июля 2026 года коммите они определяют gen ai.client.token.usage и gen ai.client.operation.duration . Они также определяют количество выводов и инструментов на уровне агентов. В документе отмечаются конвенции Development , поэтому нажмите версию, которую вы реализуете, и ожидайте, что поля будут перемещаться. Использование токенов не является автоматической стоимостью. Поставщик может возвращать расплачиваемые токены, шлюз может рассчитывать оценку, а впоследствии счета может согласовать сумму. Сохраняйте происхождение рядом с стоимостью: Используйте непрозрачный идентификатор запуска. Уведомления, ответы, учетные данные, аргументы инструмента, контент клиентов и абсолютные пути не относятся к измерению затрат. Защищенные следы могут оставаться доступными для разрешения на расследование; совокупности требуется только достаточно информации, чтобы найти попытку и объяснить ее учет. Графики по вызову остаются ценными. Они просто отвечают на другой вопрос. Падение затрат на ответ на модель может сосуществовать с увеличением попыток на рабочий процесс. Успешная повторная попытка может исправить ошибку переходного поставщика, при этом скрывая, что та же задача была также повторной попытками очереди, а затем агентом. Модель телеметрии описывает звонки. Бухгалтерский учет описывает обещание. Сделайте проверенный результат знаменателем Определите результат до казни. Возвращенный текст модели является результатом вызова. Запрос вытягивания имеет ожидаемое обязательство, отчет существует под согласованным ключом, или карта сайта содержит опубликованный URL является результатом. Минимальный рекорд пробега требует четырех состояний: Государство Значение Расчет затрат Медицинское лечение verified Предоставленный предшественник по месту назначения Включить стоимость и увеличить знаменатель Полное missing Агент объявил завершение , но предложение не удалось . Включить стоимость; не увеличить знаменатель Ложный успех waiting Названная зависимость или человеческое решение выдающееся Включите стоимость; не называйте ее успехом или неудачей Маршрут к владельцу зависимости unavailable Проверщик не работал или его доказательства устарели Включить известную стоимость; оставить соотношение неизвестным, если не существует действительного знаменателя Расследование покрытия доказательств Это отличие предотвращает удобный, но разрушительный короткий путь. Если человек не одобрил изменение, агент ждет; повторяющееся использование модели не создает власти. Если проверяющий устройство не работает, его отсутствие может вызвать двойные побочные эффекты. Если агент говорит done, но место назначения пусто, считая заявление успешным, вознаграждается ложным завершением. Присоединяйтесь к записи результатов попыток, а не копируйте результаты в хранилище наблюдения: По возможности проверяющий должен быть детерминистским. Проверьте хэш файла, строку базы данных, поле API, результат теста или статус назначения. Качественный оценщик может предоставить доказательства, когда результат не может быть выражен как предикат, но его версия, калибровка и неопределенность принадлежат к результату. Воспроизвести разрыв в стоимости повторных испытаний В сопровождающем эксперименте используются восемь синтетических путей: четыре постоянные и четыре в повторной попытке. Каждое выполнение содержит токены уровня попытки и поля затрат плюс один конечный результат состояния. В этот шторм входит один проверенный результат, два ложных заявления о успехе и одно законное одобрение. Сохранить один объект NDJSON на запуск. Эта сокращенная пара показывает форму: Совокупьте каждую попытку в ее кохорте, а затем вычислите: Полное устройство и аудит, сохраненные в данной публикации, производят: Три замечания изменяют решение о эксплуатации. Во первых, стоимость шторма за заявленное завершение недооценивает стоимость за проверенный результат на 3x. Декларация агента плохой знаменатель счета. Во вторых, усиление попытки увеличивается с 1,25 до 3,00. На приборной панели модели звонков могут отображаться двенадцать индивидуальных обычных звонков, не показывая, что они принадлежат только к четырем обещаниям. В третьих, 62,6% затрат на шторм происходит после первых попыток, и два разных слоя владеют этими повторными попытками. Это не просто дорогая модель. Это бесконечный путь контроля. Этот эксперимент не оценивает уровень неисправности производства. Его цены и корпусы построены для проверки бухгалтерского правила. Используйте те же расчеты по собственным расчетам или расходам, полученным от поставщика, сохраняйте исходную и ценовую версию и сравнивайте с течением времени похожие рабочие процессы. Дайте один слой бюджет повторной попытки Возвратные попытки часто правильны. Запрос с задержкой или ошибка в сети может быть успешным после задержки. Неудача начинается, когда каждый слой самостоятельно решает, что он владеет восстановлением. Руководящие принципы по ставкам OpenAI рекомендует случайный экспоненциальный обратный отсчет и предупреждает, что неудачные запросы все еще способствуют пределу в минуту. Поэтому непрерывное перенаправление потребляет потенциал, необходимый для восстановления. Нынешний Справка на повторное испытание SDK AWS документирует те же принципы контроля в более широком настройке API: ограниченные максимальные попытки, экспоненциальное отступление с jitter и токенный ведер для повторной попытки, который прекращает повторные попытки, когда исчерпается его бюджет. Эти источники не предписывают единую универсальную политику агентов. Они поддерживают более безопасный контракт: 1. Выберите одного владельца повторной попытки для операцииобычно самый низкий слой, который может классифицировать переходную ошибку и сохранить бездействие. 2. Считайте первоначальный запрос и каждую повторную попытку по сравнению с одной попытками на уровне прохождения и бюджетом затрат. 3. Попытка распространения метаданных вверх, чтобы рабочий поток не ошибался последней ошибкой SDK с первой неудачей. 4. Обязательно укажите, что неотступные состояния: отказ в разрешении, недействительный вход, отсутствие полномочий и неудачное проверка результатов требуют маршрутизации или расследования, а не слепого повторения. 5. Прекратите, когда время, попытка или бюджет исчерпаются. Возвращайтесь в видимое состояние с последними доказательствами. 6. Проверьте место назначения после повторной попытки. Командование, которое успешно возвращается, не является обещанным результатом. Время отключения требует особого внимания. Отсрочка клиента не доказывает, что удаленная сторона ничего не сделала. Перед повторным использованием инструмента побочных эффектов используйте ключ "идемпотенция" или запросите место назначения. В противном случае система наблюдения может правильно сообщить о второй попытке, в то время как бизнес система получает два счета, сообщения или публикации. Уведомление о регрессии, затем проверьте результат Не пытайся перепробовать. Начните с базовых линий, специфических для рабочего процесса, и требуйте настойчивости. Пригодимое первое предупреждение может сочетать в себе три условия: Подстраивайте эти значения к рабочему процессу. Процесс партии с дешевым, бессильным вентилятором может терпеть больше попыток. Рабочий процесс оплаты, публикации или сообщений клиентов может позволить меньше. Отдельный провайдер, задерживающийся от неисправности инструмента и от отсутствия результата назначения. У них разные владельцы и разные меры безопасности. В уведомлении должно быть указано затрагиваемое обещание, общие попытки, владельцы повторных попыток, происхождение затрат, результат проверки и свежесть, а также следующее ограниченое действие. В полезном сообщении говорится: Опубликация отчета использовала 12 попыток в SDK и рабочем процессе; расходы на повторную пробку составляют 63%; один из четырех результатов проверяется; проверяют собственность повторной пробки и проверяющий карту сайта. Не следует говорить только высокие затраты на токены. Есть два важных ограничения. Данные о затратах могут быть задержаны, оценены или неполны, поэтому показывайте охват и не выдумывайте нулей. Проверка результатов также может провалиться самостоятельно, поэтому unavailable должен оставаться отдельным от missing . Законная версия waiting остается вне проверенного знаменателя, не помещая на нее застрявшей до тех пор, пока не изменится ее зависимость или крайний срок. Направление продукта Sidewisp включает стоимость как один сигнал здоровья наряду с доступностью, исполнением, памятью, инструментами и результатами. Он предназначен для работы наряду с существующими сроками работы, а не для того, чтобы стать обязательным модельным шлюзом или автономным фиксатором. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Общественная библиотека сайта и статей в режиме реального времени; адаптеры мониторинга производства, анализ стоимости токенов и выполнение восстановления обычно не отправляются. Присоединяйтесь к частному просмотру, если вы хотите помочь сформировать, как доказательства, затраты и проверенные результаты должны соответствовать, пока люди сохраняют власть.