Использование токенов MCP: измерение четырех бакетов за результат

Использование токенов MCP следует измерять на проверенный результат , а не на сервер, инструмент или чат. Полезный общий объем это вход, потребляемый в каждой модели звонка, необходимой для получения запрашиваемого результата, разделенный на четыре ведра: базовые инструкции, схемы инструментов, историю обнаружения и полезные нагрузки результатов инструмента. Сравните кандидатов на оптимизацию только после того, как каждый из них получит один и тот же результат. Это правило предотвращает две распространенные ошибки. Общая сумма сеансов провайдера не может сказать, вызвали ли схемы или результаты рост. Маленький бросок токенов может выглядеть эффективным даже тогда, когда агент выбрал неправильный инструмент или пропустил доставку. Сначала подсчитать, сохранить результат контракта, а затем изменить одну поверхность за раз. Создать четырех бутылок бухгалтерского учета перед оптимизацией Спецификация инструментов MCP определяет tools/list для обнаружения и дает каждому инструменту имя, описание и схему ввода. Клиент может преобразовать этот ответ, прежде чем представить инструменты модели, поэтому сам MCP не заряжает токены. Важно, что запрос модели, созданный клиентом. Для одной задачи запишите: Кубок Что в ней должно быть . Почему он растет Исходная линия инструкции по системе, задача пользователя, упаковка запроса повторяется на каждом звонке на выбор образцов Схемы названия инструментов, описания, схемы ввода, анонсы, которые раскрывает клиент больше инструментов, словесные описания, повторное воздействие Открытие поисковые совпадения, описания выбранных инструментов, предварительные повороты обнаружения Постепенное раскрытие добавляет поездки туда и обратно Результаты выводы инструмента, сохраненные в истории сообщений резкие полезные нагрузки и повторное прикрепление Подсчитать каждую ветку по всему пути до одного результата: Сохраняйте чтение кеша провайдера, запись кеша, токены выхода, задержку и цену в соседних колонках. Не смешивайте их тихо в четыре входной ведра. Они отвечают на разные вопросы. Кашевая схема может стоить одного поставщика меньше, пока все еще занимает контекст и все еще нуждается в проверке свежести. Определите получение результата до измерения. Для следующего эксперимента задача состояла в следующем: вернуть текущий уровень ошибок API оплаты, время наблюдения и источник доказательств. Бег прошел только тогда, когда все три поля существовали: Это преднамеренно более строго, чем успешно возвращенный инструмент. Успех на транспортном уровне без времени наблюдения может быть устаревшим. Процент без источника доказательств не может быть расследовано. Компактный выход полезен только тогда, когда он сохраняет поле, необходимое для следующего решения. Считайте точный запрос, а не предполагаемое соотношение текста Используйте счетчик целевого поставщика с той же моделью, системой, сообщениями и инструментами, которые вы собираетесь отправить. Anthropics документация по учету токенов утверждает, что конечная точка принимает те же структурированные входы, что и запрос сообщения, включая инструменты. Также он обозначает результат оценкой и советует считать с предполагаемой моделью. Запрос перед полетом может выглядеть так: Никогда не вставляйте ключ в устройство JSON или в отчет. Сохранить возвращенный учет ввода с идентификатором модели, счет время, хэширование запроса, учет инструмента, номер звонка и идентификатор исхода. Запустить счетчик один раз для запроса базовой линии, а затем снова после каждого поворота модели/инструмента, потому что история обнаружения и результата меняет следующий вход. Если у вашего провайдера нет счетчика, используйте зафиксированный локальный токенер в качестве прокси сравнения, а не в качестве факта счета. Сохраняйте версию сериализатора и токенника фиксированной. Устройство для данной статьи использует js tiktoken 1.0.21 с cl100k base ; это воспроизводимо в трех сценариях, но это не токенер Клод. Нижеприведенные проценты являются доказательством относительной формы устройства, а не универсальной экономии МПК. Что на самом деле измеряло 40 разовое устройство Инспектируемый артефакт создает 40 синтетических рабочих инструментов. Одно из инструментов возвращает запрошенные доказательства ошибочной ставки платежа; остальные 39 имеют реалистичные названия, описания и схемы JSON, но не имеют отношения к этой задаче. Он сравнивает три пути: 1. разоблачить все 40 схем и сохранить словесный результат; 2. выявлять только известный инструмент и сохранить компактный результат; 3. выявить search tools , describe tools и execute tool , затем обнаружить одну схему и сохранить компактный результат. Каждый путь прошел через один и тот же трехполевой квитанцию. Измеренные прокси входы были: Сценарий Звонок Исходная линия Схемы Открытие Результаты Общая сумма Сбережение : : : : : : : Статические 40 инструментов, словесный результат 2 110 8,768 0 625 9,503 исходная линия Выбранный инструмент, компактный результат 2 110 188 0 55 353 96.3% Динамическое открытие, компактный результат 4 220 572 309 55 1,156 87.8% Доминирующим наблюдением является атрибуция, а не процент заголовков: повторные схемы способствовали 8,768 из 9,503 прокси токенов на статическом пути. Только уменьшение результатов не позволит восстановить эту нагрузку. И наоборот, когда правильный инструмент уже был известен, одноинструментный путь превзошел динамическое открытие, потому что открытие удвоило количество модельных звонков и добавил 309 токенов истории. Устройство и счетчик достаточно малы, чтобы проверить: Воспроизведите структуру с реальными определениями инструмента, но заменить прокси счетчиком поставщика, прежде чем установить порог стоимости или контекстового окна. Также заменить синтетический квитанция успеха с детерминистической проверкой фактического доставляемого или внешнего эффекта. Эти результаты согласуются с направлением более крупного Сравнительный показатель динамического инструмента Speakeasy: прогрессивное воздействие инструмента может значительно уменьшить вход статической схемы, но требует больше звонков инструмента и может увеличить задержку. Их проценты исходили из их наборов инструментов, задач и моделей. Они не обещание для тебя. Выберите контроллер из самого большого ведра Используйте книгу для выбора одного вмешательства: Если схемы доминируют и требуемый инструмент известен из контекста маршрутизации, выставьте разрешенный подмножество. Если схемы доминируют, но инструмент неизвестен, проверьте динамический поиск и описание по случаям неиспользования. Если результаты доминируют, проецируйте только те области, которые имеют отношение к решению, и сохраняйте свежесть, освещение, ошибки и ссылки на доказательства. Если базовая линия доминирует, сократить повторяющиеся инструкции или отделять стабильную политику от конкретного контекста задачи. Если обнаружение доминирует, улучшить маршрутизацию, повторно использовать безопасно подделанный выбор или принять более крупный статический подмножество. Не начинайте с установки токенного оптимизатора. Начните с ведра и задачи. Поверхность CRM из сорока инструментов может оправдать постепенное открытие. Планируемая проверка здоровья, которая всегда называет один известный только для чтения метрический инструмент, вероятно, не будет. Для динамического обнаружения, провал испытаний так же агрессивно, как и сбережения. Включите двусмысленные термины пользователя, почти дублирующие названия инструментов, недоступные инструменты, потеря разрешений, устаревшие списки инструментов и запрос, который не должен выбирать инструмент. Измерить точность отбора и время P95 до проверенного результата. Дополнительный шаг поиска полезен только тогда, когда снижение схемы превышает его стоимость извлечения и задержки. Результатное сжатие нуждается в собственных границах. Сохраняйте идентификаторы, единицы, время наблюдения, охват, состояние ошибок и справку с доказательствами, когда они влияют на следующее действие. Избегайте полных записей, дублированной прозы, неиспользованных метаданных и сырых журналов. Если компактный результат устраняет причину, по которой оператор может доверять или воспроизводить вердикт, это потеря данных. Используйте простую дверь продвижения: Постарайтесь определить цели из своей рабочей нагрузки, а не копировать устройство. Отменить, если качество результатов, выбор инструментов, свежесть или проверка снижаются. Многие токены не является сигналом восстановления, а завершенный MCP звон не является доказательством того, что намеченная работа произошла. Сохраняйте четкие границы с здоровьем Рост токенов может указывать на повторяющиеся схемы, результаты чрезмерных инструментов, повторные попытки или накопление контекста. Это также может быть законным: новый инструмент становится необходимым, расследование нуждается в доказательствах, или агент ждет, а не лопается. Интерпретировать книгу в дополнение к полезному прогрессу и ожидаемому результату. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Его направление продукта включает в себя эффективность времени и бюджета в качестве одного сигнала агента здрава, но планируется сбор и оптимизация использования живых токенов; эта способность не поставляется сегодня. Практический шаг теперь заключается в том, чтобы сохранить свой собственный бухгалтерский учет, сохранить доказательства и проверить одну изменение экспозиции MCP за раз. Решение тогда конкретно: использовать выбранную экспозицию для стабильного пути известного инструмента, динамическое обнаружение для большой неопределенной поверхности, которая проходит тесты извлечения, и прогнозирование результатов, когда история полезной нагрузки является реальными затратами. Публикуйте изменение только после того, как истечет получение того же результата.