LLM リトリスト・ストームの観測能力:検証された結果に対するコスト

LLMの観測能力はトークン,遅延,エラー,モデルの呼び出しを数えなければならない. 再び作業を試みることができるエージェントにとっては それはただ数値です 運行指数は,目的地で確認された意図された結果の数である. したがって,有用なコストシグナルは: 復試コスト,復試所有者,および結果状態を安定した run id に保持します. 費用を API の 成功した 応答や 代理人の 完全 メッセージによって分割しないでください. 作業が繰り返される時 両方とも健康に見えます 成果が欠けている時 あるいは2層が静かに同じ失敗を繰り返す時 このガイドは 固定された8走りの実験に そのルールを適用します 安定したコホートは 検証された結果につき 0,012ドルです リトリ・ストームコホートは 宣言された完成ごとに 0.041 ドルを費やしているようですが 目的地チェックは 1 件だけの結果を証明しているため,実際の数字は 0.123 10.3 倍の安定したコホートです. ドル金額は合成であり,会計の誤りは実物であり 再現可能である. 普通のLLM観測性層を保持する 合理的なデフォルトは モデル通話テレメトリです 要求期間,入力および出力トークン,エラークラス,プロバイダー,モデル,操作,追跡関連を記録する. サービス提供者が遅くなったか 状況が拡大されたか モデルが変更されたか 呼び出しが失敗したか 現在のOpenTelemetry GenAI メトリックコンベンションは 基線コンクリートを作ります 2026年7月24日 決まりました gen ai.client.token.usage と gen ai.client.operation.duration を定義します また,代理レベルでの推論・コールとツール・コールの数を定義する. 文書は Development のコンベンションをマークします. トークンの使用は自動的にコストではありません. 提供者は請求可能なトークンカウントを返還し,ゲートウェイが推定を計算し,請求書が後に金額を調整することができる. 源は値の隣に保存する: 不透明な実行識別子を使用する. 提示,応答,認証,ツール・アルグメント,顧客コンテンツ,絶対的な経路はコスト次元に属していない. 保護された痕跡は許可された調査のために利用可能であり,その調査を特定し,その会計を説明するために十分な情報しか要らない. 呼び出し毎のグラフは 価値あるままです 彼らは単に別の質問に答えます モデルの対応ごとにコストが低下すると,ワークフローごとに試みは増加する. 順調な再試は,同じタスクが並列で再試されたことを隠しながら,一時的なプロバイダーエラーを修復することができます. モデルテレメトリは電話を記述します 実行会計は約束を記述します 確認された結果を指数にする 処刑前に結果を定義する 返信したテキストのモデルは 呼び出し結果です. pull リクエストには期待されるコミットメントがあり, 報告書は合意されたキーの下で存在している, または サイトマップには公開された URL が含まれている. 最低のラン記録には4つの状態が必要です 州 意味 費用処理 健康治療 verified 目的地ネイティブ・プレディケートが通過 費用と指名を加算する 完成 missing エージェントは完成を宣言したが,予告は失敗した. 費用を含め,指数を増やさない 偽りの成功 waiting 名前による依存や人間の決定が 顕著です 費用を含め 失敗を成功と呼んではいけません 依存関係者への経路 unavailable 検証者は実行しなかったか,証拠は時代遅れである 既知のコストを含め,有効な指数がない場合,比率は未知に留め 証拠を調査する この区別は 便利で破壊的なショートカットを防ぐのです モデルを繰り返し実行することは権威を創造するものではありません. 検証器がオフラインである場合,その欠席を故障とみなす場合,複製的な副作用を引き起こす可能性があります. 代理人が"完成"と言ったが,目的地は空いている場合,その宣言を成功と評価すると,誤った完成が報われる. 結果記録を試行に追加する代わりに,可視性ストアに配信物をコピーする代わりに: 検証者は可能な限り決定的である. ファイルハッシュ,データベース行,APIフィールド,テスト結果,目的地状態を確認する. 質的評価者は,結果がプレディケートとして表現できない場合,証拠を提供することができるが,そのバージョン,校准,不確実性はスコアに加えて属している. 再試費用差を再現する 実験には8つの合成コースが用いられ 4つは安定し 4つは再試の嵐です 各ランには試行レベルトークンとコストフィールドと最終的な結果状態があります. 暴風雨には 一つの確認された結果,2つの偽りの成功宣言と 一つの正当な承認が待っています 実行ごとにNDJSONオブジェクトを保存する. この短縮されたペアは,形状を示します: 各試みをそのコホートにまとめて計算します この出版物によって保持された完全な固定と監査は: 3つの観測により,運用決定が変更されます. まず 暴風雨のコストは 3×で 確認された結果に対するコストを低減します 代理人の申告は 請求表記が悪い 2つ目は 1.25 から 3.00 に増加します モデル通話ダッシュボードは,単一の12回の正常通話が4つの約束に属していることを示さずに表示できます. 3つ目は 嵐の支出の 62.6%が 最初の試みの後で 2つの層が 再び試みているということです この問題は 単に高価なモデルだけではない. 制限のない制御経路です この実験では生産失敗率を推定していません 価格とケースは会計規則をテストするために構築されています. 同じ計算を自社の請求書やプロバイダーによるコストで実行し,ソースと価格バージョンを保持し,時間とともに類似のワークフローを比較します. 再試予算を1層で 復試はよく正しい. 遅延後,制限された要求または一時的なネットワークエラーが成功する可能性があります. 失敗は,各層が独立して 回復を決定するときに始まります. OpenAIの利率制限ガイドラインはランダムな指数式バックオフを推奨し,失敗したリクエストが1分間の制限にまだ貢献することを警告します. したがって,継続的な再発は,回収に必要な能力を消費します. 現在のAWS SDK 再試参照は,より広範なAPI設定で同じ制御原理を文書化しています. 制限された最大試行, jitter と関数的なバックオフ,予算が尽きると再試行するトークンバケットです. これらの情報源は,普遍的な代理政策を規定していない. より安全な契約を支持します 1. 操作に再試しをする1人のオーナーを選びます 通常は,一時的なエラーを分類し,無効性を保てる最低層です. 2. 初期要求と再試算を 実行レベルでの1回の試算とコスト予算に比べると計算します 3. SDKの最終エラーを最初の失敗と勘違いしないように,メタデータを上へ広げようとします. 4. 復元できない状態を明示する:許可拒否,無効入力,権限欠落,結果検証失敗は,盲目の繰り返しではなく,ルーティングまたは調査が必要です. 5. 時間,試みは,予算が尽きると止めてください. 最後の証拠で目に見える状態に戻す 6. 再試後 目的地を確認する 順調に返された命令は 約束された結果ではありません タイムアウトは特別な注意が必要です クライアントのタイムアウトは リモート側が何もしなかったことを証明しません 副効果のツールを再試す前に, idempotency キーを使用するか,目的地を查询してください. そうでない場合,観察可能なシステムは,ビジネスシステムが2つの請求書,メッセージ,または出版物を受信する間に,第2回の試みを正しく報告することができる. 逆転を警告し,結果を確認する もう一度やってみないで ワークフローに特化したベースラインから始め,持続が必要です. 有用な最初の警告は 3つの条件を組み合わせることができる. これらの値をワークフローに調節します 低価格で無力なファンアウトを搭載したパッチプロセスは,より多くの試みを許容する可能性があります. 支払い,出版,または顧客メッセージのワークフローは,より少ないことを許すかもしれません. ツール故障や目的地が欠席した結果から分離されたプロバイダの窒息. 異なる所有者や安全行動があります 警告には,影響を受ける約束,総試行,再試行所有者,コスト源,検証結果と新鮮性,次の制限された行動が記載されるべきです. 有用なメッセージは: 報告書出版はSDKとワークフローランナー全体で12回の試みを使用した. 再試費は63%; 4つの結果のうちの1つは検証される. 再試所有権とサイトマップ検証器を検査する. 単にトークンのコストが高いとは言わぬ. 2つの重要な限界があります コストデータは遅延,推定,または不完全であるため,カバーを表示し,ゼロを捏造しないでください. 結果のチェックも独立して失敗するので, unavailable は missing と区別されなければなりません. 合法的な waiting ランは,依存性または締め切りが変わるまで,固定された標識を付けずに検証された表記号から外れている. Sidewispの製品指針には,利用可能性,実行,メモリ,ツール,および結果とともにコストが健康信号として含まれます. これは既存の実行時間に加えて動作することを意図し,強制的なモデルゲートウェイや自動固定装置ではなくなります. Sidewisp は現在プライベートプレビュー段階です。 公開サイトと記事ライブラリはライブです. 生産モニタリングアダプター,トークンコスト分析,復元実行は一般的に送付されません. 人々が権威を維持する間に 証拠,コスト,検証された結果がどのように満たされるべきかを 形作る手助けをしたいなら プライベートプレビューに参加してください.