ラングチェイントークンカウンター:監査推定と使用カバー

重要な答えは,LangChainトークンカウンタを1つ選べない. 2つの異なる決定のために 2つの異なるカウンタを使用します. count tokens approximately() をモデルコール前に実行する. プロバイダーが報告した AIMessage.usage metadata を,入力,出力,キャッシュ,または推論使用を観察する必要があるとき,呼び出し後に読み取ります. その後,使用記録を予想されるモデル呼び出しマニストと比較します. 最後の保険チェックなしでは 一回の通話が カウントされていないため 総額は 低くなってしまいます その違いが重要なのです メッセージの歴史の推定は,文脈を切り替えるかどうかを決定するのに役立ちます. 提供者が処理したもの,請求したもの,再試された使用が送信されたもの,または巣のモデルコールがリコールバックから逃れたかを証明することはできません. したがって,運用問題は次のとおりである. どのカウント鉄道が この決定を支持する? 予想されたすべての電話が 届いたのか? 接近と提供者の利用を別々の証拠として扱う ラングチェーンの現在の Python 参照は count tokens approximately() を単純な近似として記述しています. デフォルトでは文字を4つに分け メッセージごとに3トークンを追加し 保守的にラウンドします この関数はメッセージの内容と役割を数えます. また,AIツールコール,ツールメッセージコールID,オプションの名前,固定画像許容量,および tools 引数を通じて提供されたツールスケーマについても説明します. 文書では,正確な計算のためにモデル特有のトークナイザーが必要だと明示しています. 呼び出し前に機能が有用になります. tools=bound tools の詳細は 美容品ではありません. 実施は,提供された各スケーマをシリアライズし,その文字を近似に追加する. モデルがツールに縛られているが,カウンタが messages のみを受け取っている場合,推定は大きな繰り返し入力表面を省略する可能性があります. その逆,道具を渡すことで 結果が正確になるわけではありません. 概要比と固定給与に基づいて推定される. 呼び出し後,返済された AIMessage のメタデータを使用します. ラングチェインは UsageMetadata を input tokens , output tokens ,および total tokens の周りに標準化し,オプションの入力および出力詳細マップを使用しています. その例にはキャッシュ作成,キャッシュ読み込み,オーディオ,推論が含まれます. オプションは重要な言葉です cache read フィールドが欠けているのは,値がゼロであることを証明する証拠ではなく,利用できない証拠です. 0 で欠席した詳細を記入する代わりに,その区別を保管する. 複数の呼び出しの場合, UsageMetadataCallbackHandler は,モデルの間で AIMessage.usage metadata を集約します. 集積は便利ですが 集積は 処理者が見たものではなく 作業流が呼ぶべきものではなく 集積は 処理者の目で見たものにも答えます. 各モデル試みに安定した call id , attempt id ,解決されたプロバイダー/モデル名,タイムスタンプを指定する. 再試は2度目の試みであり 最初のカウンターへの修正ではありません モデル通話マニストの周りにカバーテストを作成する 予想される作業から始めましょう 実行する行からではなく 4段階の走行では,マニフェストには plan:1 , retrieve:1 , draft:2 ,および verify:1 が必要です. 補足は 試行番号です 検証者は,次の3つの証拠形態に期待される試みを結合します. メッセージと必要なツール・スケームを含む飛行前近似; 返信されたメッセージまたはリコールバックからプロバイダーが報告した使用; ステージが期待された効果をもたらしたという 任務レベル領収書です 結合は1つの合計よりも多くの有用な状態を生成します: 州 存在するもの 安全な解釈 provider reported 呼び出しのアイデンティティを持つプロバイダの利用 その試みで観測された利用 approximate only 飛行前推定,提供者の利用なし 文脈推定; 請求利用不可 missing call 明らかに行,観測なし 楽器のギャップまたはステージは実行されなかった detail unavailable 提供者の総額,予想されるキャッシュ/理由の詳細が欠けている 合計は利用可能で,部品分析はブロックされている. duplicate attempt 1 試行 ID の 2 つの使用行 集積リスク; 合計前にアイデンティティを固定する 付属する装置は意図的に妥当に見えますが まだ不完全です 4回の通話がある 2つは提供者使用, 1つは近似のみ, 1つは観測がありません. 2つのプロバイダー行が合計で 1,451トークン. その数字は算法的に正確であり,操作的に不完全である. 監査を実施する 結果は: 証拠の両形態を持つ2つの呼び出しは,推定がその標識を維持すべき理由も示しています. 接近は1回の呼び出しでプロバイダ総額より5.0%低で,別の呼び出しでは16.5%低でした. この固定値は,これらの割合を一般化すると主張しない. 監査は,観測されたプロバイダー総額から推定を保持しており,いずれかの例を普遍的な校准因子として扱わずに意見の不一致を暴露することが可能であることを証明します. 現在 実施 の ある 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい 細かい LangChainのオプションの use usage metadata scaling=True は,最も最近のAIメッセージを使用して,一貫したプロバイダを必要とし,上向きの近似をスケールします. ソースは 1.0 と 1.25 の間の要素を締めます. これは有用な保守的な歴史推定である. 請求書,混合プロバイダー,または欠けている通話のための和解アルゴリズムではありません. 各カウンターに運転許可を決める 保存されたすべての番号に決定の境界線を添付する. 接近式を用い: 歴史が柔らかい文脈の限界に近づく前に警告する. 送信する前に,プロンプトまたはツールスケープの2つのバリエーションを比較する. 代替可能な文脈を要約するか,取り戻すか,または削除するか決める. 別のメッセージまたはツールスキーマを組み込むことの相対的な効果を推定する. 提供者が報告した利用を: 完成したモデル試みに観測された入力と出力属性 提供者が返却する際に,キャッシュ,オーディオ,または推論の構成要素を別々に配置する. 試行中のプロバイダー/モデルの合計を調整する. 価格源の日付と,利用できない詳細について,明示的な処理によってのみコストを計算する. 計数だけでは使わないで証明する 予想されるモデル通話が全て配備されたこと ツール呼び出しが目的地に届いたこと 期待される納入可能なものが存在していること 再び試行が安全か有用か ロートークンランが望んだ結果を達成した. これらの主張には 呼び出しの覆いと 結果の証拠が必要です コンパクトな実施により,次の4つの推進規則が適用される. 1. 予想される attempt id には1つの観察があります 2. 観測されたすべての呼び出しは approximate または provider reported とラベルが付けられている. ラベルは決して黙って合併されません. 3. ツール搭載の飛行前推定では 計画セットがカウンターに渡されたことを証明しています 4. null /不可用であり,それを要求する決定のみをブロックする. 限界値は普遍的に100%である必要はありません. 生産以外の予見は,ほぼしかカバーを許可できない. 預算警告や顧客の請求返済はすべきではない. 消費者の隣のポリシーをエンコードする: context warning は推定値を受け入れ, cost reconciliation は完全なプロバイダー使用とユニークな試行IDを必要とします. 最適化する前に境界をチェック 合理的な欠陥は単純です: 実行境界線での監査対象を前もって推定し,後を追跡する. 3つの作業後にのみ最適化します. 文脈推定値が高い場合は,切り替え前に入力値をチェックしてください. ツールセットは全部含まれていたのか? 次の決定のために ツールの結果はまだ必要ですか? 長いメッセージは 持久的な決定票か 代わる物語か? 誤った文脈を削除すると 走行が安くなり 信頼性が低下します サービス提供者の利用が 予想外に低い場合は 祝う前に 欠 telefon を チェックしてください. 確認ストリーミングのブロックが最終メッセージに組み込まれ,コールバックは子供実行可能なものに拡散し,リトリーテストは異なる試行IDを受信し,予想された検証段階が実際に実行されました. 費用グラフが欠けている範囲は最適化結果ではありません. キャッシュ貯蓄が重要であれば,プロバイダーに特定された詳細マップを要求し,利用可能性を記録する. ラングチェインは共通の包みを提供しますが 提供者は必ずしも全ての構成要素を埋めるわけではありません 欠落した鍵からキャッシュミスを推測しないでください. 同様のプロバイダー,モデル,プロンプト/ツール表面,キャッシュ状態,結果要件を比較する. 最後に,タスクの領収書に 符号の証拠を添付してください. ドキュメントレビューエージェントの場合,領収書にはソース修正,チェックされた必要セクション,失敗した主張,および出力ハッシュが含まれます. 最終的なアーテファクトが欠けている場合,成功する通話ごとにトークンは依然として弱い指数です. この2列の設計は,一般的な観測可能なスタックよりも意図的に狭い. 具体的な決定に答えます. ラングチェイントークン番号は文脈推定,観測されたプロバイダー測定,またはコストまたは最適化請求を促さない不完全なビューであるかどうか. Sidewisp は現在プライベートプレビュー段階です。 トークン利用と推定コスト分析は計画され 発送されない. 製品方向は,コスト信号を有用な進歩と検証された結果に結びつけながら,証拠と不確実性を目に見えるようにすることです. もしその作戦境界線が 捜査官を操る方法と一致するなら プライベートプレビューに参加する できます ソース ラングチェイン Python参照: count tokens approximately ラングチェインソースインスタントショット LangChainメッセージガイド: AIMessage でトークン使用 ラングチェイン参照: UsageMetadata ラングチェイン参照: UsageMetadataCallbackHandler