MCPトークンの使用: 結果ごとに4つのバケットを測定する

MCPトークンの使用は 確認された結果 において測定されるべきであり,サーバー,ツールコール,チャットにではなく. 有用な合計は,求められた結果を生成するために必要なすべてのモデルコールで消費される入力であり,ベースライン指示,露出されたツールスケーマ,発見履歴,ツール結果の有用な負荷である4つのバケットに分かれます. 最適化候補者はそれぞれが同じ結果を受け取った後にのみ比較します. その規則は 2つの一般的な間違いを防ぐ. サービス提供者のセッション総数は,スケームや結果が成長を引き起こしたのかを伝えることはできません. 代理人が間違ったツールを選んだときや 配達品を省略したときでさえ 小さなトークンカウントが効率的に見えます まず計算して 結果の契約を保存して 表面を1回ずつ変更します 最適化する前に4バケットのレジャーを作成する MCPツール仕様は発見のための tools/list を定義し,すべてのツールに名前,説明,入力スキーマを与えます. クライアントは,ツールをモデルに提示する前にその応答を変換することができるので,MCP自体は 代金を請求しない. クライアントが作成したモデル要求が重要だ. 1つのタスクで記録する バケット その内にあるもの 成長する理由 ベースライン システム説明書,ユーザータスク,要求包装 採取の各回繰り返される 計画 ツール名,説明,入力スケジュール,クライアントが暴露する注釈 道具が増える,語彙の説明,繰り返し暴露 発見 検索マッチ,選択したツール説明,以前の発見ターン 徐々に公開すると 往復旅行が追加されます 結果 メッセージ履歴に保存されたツール出力 冗長な用荷物と繰り返し再添付 完全な経路を介してすべてのバケットを合計して,一つの結果: プロバイダーのキャッシュ読み込み,キャッシュ書き込み,輸出トークン,遅延,価格を隣接する列に保存します. 4つの入力バケツに静かに混ぜてはいけません. 彼らは様々な質問に答えています. キャッシュされたスキーマは,依然としてコンテキストを占めながら,まだフレッシュ性チェックを必要とする一方,プロバイダーにコストが少なくなります. 測定前に結果領収書を定義する. 下の実験では,現在の支払 API エラー率,観測時間,証拠源を返します. ランは3つのフィールドが存在する時のみ通過します これは故意的に ツールが成功して返還されるよりも厳しくなります. 証拠源がない割合は調査できない. コンパクト出力は,次の決定に必要なフィールドを保持する場合にのみ有用である. 正確な要求を計算する,推測されたテキスト比ではない 同じモデル,システムプロンプト,メッセージ,送信する予定のツールでターゲットプロバイダのカウンタを使用します. Antropics トークンカウントのドキュメントは,端点がツールを含むメッセージリクエストと同じ構造化された入力を受け入れると述べている. また,結果を推定と標識し,意図されたモデルを計算することを推奨します. 飛行前の要求はこんな感じです 鍵を JSON 装置やレポートに入れないでください. 返済した入力番号をモデル識別子,カウンター時間,要求ハッシュ,暴露されたツール番号,コール番号,および結果IDで保存します. ベースラインリクエストのためにカウンタを一度実行し,モデル/ツール回転ごとに再び実行します. 発見と結果履歴が次の入力を変更するため. 比較代理として 固定されたローカルトークネイザーを使ってください. 請求の事実として使ってはいけません. シリアライザーとトークナイザーバージョンを固定してください. この記事の固定装置は, js tiktoken 1.0.21 と cl100k base を使用します.その3つのシナリオで再現できますが,クロードトークナイザーではありません. 下記の割合は,固定装置の相対的な形状の証拠であり,普遍的なMCP貯蓄ではない. 40ツールの装置が実際に測ったもの 検査可能なアーティファクトは 40個の合成作業ツールを作り出します 1つのツールでは,請求された支払いエラー率の証拠が返されます.他の39台には,現実的な名前,記述,およびJSON計画が存在しますが,この任務には関係ありません. 3つの道を比較します 1. すべての40のスキームを暴露し,単語の結果を保持する. 2. 既知の道具のみを暴露し,コンパクトな結果を維持する. 3. search tools , describe tools ,および execute tool を暴露し,その後に1つのスキーマを発見し,コンパクトな結果を保持します. 各道は同じ3つのフィールドの領収書を通過した. 測定された代理入力は: シナリオ 呼び出し ベースライン 計画 発見 結果 総額 貯蓄 : : : : : : : ステティック40ツール,単語の結果 2 110 8,768 0 625 9,503 ベースライン 選択したツール,コンパクトな結果 2 110 188 0 55 353 96.3% ダイナミックな発見,コンパクトな結果 4 220 572 309 55 1,156 87.8% 主要な観測は,頭文字の割合ではなく,属性です. 繰り返し作られたスケームは静的経路に 9,503 のプロキシトークンのうち 8,768 contributed. 成果を絞るだけでは 作業の重荷を補うことはできません その逆には,正しいツールが既に知られていたとき, 一ツールのパスはダイナミック・ディスカバリーに勝った. なぜなら,ディスカバリーはモデル通話の数を倍にして 309 つの歴史トークンを追加したからです. 装置とカウンターは検査するのに十分小さい. 構造を実際のツール定義で再現しますが,コストまたは文脈ウィンドウの限界を設定する前にプロキシをプロバイダのカウンターで置き換えます. また 合成成功領収書を 実際の成果物や外部効果の決定的なチェックで置き換える. これらの結果は,より大きなSpeakeasy ダイナミックツールセット 基準値の方向に一致します:進歩的なツール曝露は静态スケーマ入力を大幅に削減できますが,より多くのツール呼び出しを必要とし,遅延を増加させることができます. 彼らの割合はツールセットやタスク,モデルから生まれました 彼らはあなたの約束ではない. 最大のバケツからコントロールを選択する 1 つの介入を選択するには,本簿を使用します. スケマが支配し,必要なツールがルーティング文脈から知られている場合,許容されたサブセットを暴露します. スケマが支配的なものの,ツールがわからない場合,ダイナミック検索と記述を復元ミスケースとテストします. 結果が優勢であれば,決定関連分野のみをプロジェクして,新鮮さ,報道,エラー,証拠参照を保持します. ベースラインが支配的な場合,繰り返し指示を短縮するか,安定した政策をタスク特定の文脈から分離する. 発見が支配する場合は,ルーティングを改善し,安全な範囲の選択を再利用するか,より大きな静的サブセットを受け入れます. トークン最適化器を インストールするから始めないで. バケットとタスクから始めましょう. 40ツールのCRM表面は,進行的な発見を正当化することができる. 定期的な健康検査で 必ず知られる 読み込みのみの メトリックツールに 呼びかける場合 ダイナミックな発見のために 貯蓄と同じくらい攻撃的なテスト失敗. 曖昧なユーザー用語,ほぼ複製されたツール名,利用できないツール,許可の喪失,時代遅れのツールリスト,ツールを選択しないクエリを含む. 選択の精度とP95を検証結果まで測定する. 追加的な検索ステップは,スキーマ削減がリクエストと遅延コストを上回る場合にのみ有効です. 結果の収縮には 限界が必要です 識別子,単位,観測時間,覆盖,エラー状態,次の行動に影響を与えるたびに証拠参照を保持する. 完全な記録,複製された散文,未使用されたメタデータ,原始ログを避ける. コンパクトな結果が操作者が判断を信頼したり再現したりできる理由を削除した場合,それはデータ損失です. シンプルなプロモーションゲートを使用します 固定装置をコピーするのではなく 作業量から目標を設定してください. 結果の質,ツール選択,新鮮さ,または検証が下がった場合,逆戻りします. Tokenが少ないは復元信号ではなく,完成したMCP呼び出しは,意図された作業が起こった証拠ではない. 健康の境界線を明確にする トークンの成長は,重複したスケーマー,超大型のツール結果,再試行,または文脈蓄積を示す可能性があります. 合法的なこともあります 新しいツールが必要になり 捜査には証拠が必要か 代理人は ループするのではなく 待っています 役に立つ進歩と期待される結果とともに本簿を解釈する. Sidewisp は現在プライベートプレビュー段階です。 その製品方向には時間と予算効率が1つのエージェント・ヘルスケアシグナルとして含まれていますが,ライブトークン利用収集と最適化が計画されています. その機能は今日出荷されていません. 実践的なステップは 成果を記録する本簿を 保存し 証拠を保存し 一度に MCP 曝露の変化を テストすることです 決定は,具体的なものです. 安定した知られたツール経路のために選択された曝光を使用し, 検出試験に合格する大きな不確実な表面のためのダイナミック発見, 役に立たない負荷履歴が実際のコストであるときに結果予測. 変更は,同じ結果領収書がまだ通過した後のみ公表する.