LLM 迅速な漏れのない観察性:安全な電信契約

LLMの観測能力は, の実行,失敗,どれくらい時間がかかったか,再試されたかどうか,意図された結果が存在するかどうかを説明すべきです . これらの質問に対する答えを出すには,すべてのプロンプト,ツール аргумент,またはツール結果をテレメトリバックエンドにコピーする必要はありません. 安全な生産デフォルトは,コンテンツを最小限に抑えるパッケージである. 関連ID,操作およびツール名,低カードナリティエラークラス,タイミング,試行番号,入力 キー名 ,結果形,そして独立した結果判定. メッセージまたはツールコンテンツを特定調査のみで,明示的な権限,短い保存ウィンドウ,およびデータに一致するストレージコントロールでキャプチャする. このガイドは デフォルトを構築し 3つの意図的に敏感なエージェント事件に対してテストします 任務を追跡する 民間用荷ではなく LLM観測性の広範な定義には,痕跡,メトリック,ログ,評価,モデル行動,アプリケーション結果が含まれています. 代理操作員にとって有用な質問は狭い. 証拠は遅いモデルコール,拒否されたツールコール,正当な待機,再試ループ,そして出品品が現れなかったのに成功したツールを区別できますか? 現在のOpenTelemetry GenAIの語義慣習は,有用な発足語彙を提供します. 実行ツール範囲は gen ai.operation.name と gen ai.tool.name を使用し,またツールコールID,ツールタイプ,および error.type を記述します. 同じ文書は,ツールコールの議論と結果をオプトインとしてマークし,どちらも敏感な情報を含んでいる可能性があると警告します. これらのコンベンションは Development にあります. その分断は 操作的に健全だ 次のフィールドは,通常,コンテンツを再現せずに最初のインシデント応答質問に答えます. フィールド その答えとは コレクション規則 trace id , run id , step id この事件はどの執行や段階に属しているのでしょうか? 透明性の低い識別子を保持する. operation , tool name , tool type どんな作業を試みたのか? 限定された,文書化された名前を使用します. status , error type 失敗したのでしょうか? どの安定階級によって? フリーフォームプロバイダーメッセージよりも timeout または permission denied を好みます. duration ms , attempt ゆっくりか 繰り返しているのか? 記録的な数字だ 物語じゃない input keys どんな形で要求しようと試みたのか? キー名を保存し,デフォルトで値を削除する. result shape 道具は何も返さなかったのか? 配列か物体か? タイプ,カウント,またはトップレベルのキーを保持し,値を捨てます. outcome check , outcome status ユーザが期待した結果が着陸したのでしょうか? ツール完成から別々に確認する. content captured コンテンツは他の場所でも存在するのか? 境界線を可視化して問い合わせられるようにします run id と上記の結果フィールドは,OpenTelemetry標準属性ではなく,アプリケーション契約です. 意図的なことです 単語を追跡し 特定の作業の健康上の証拠を出すことで 関連する問題が解決されますが 異なる問題です 許可リストは,無限の編集リストを倒す 編集コードは, 削除することを覚えてきた危険値は何ですか? 許可リストは, 処理を退ける権利を得たフィールドは, どれですか? ルーティン生産テレメトリの場合,第二の質問は,より小さな故障表面を持っています. OWASP 伐採 詐欺シートは アクセストークン,パスワード,データベース接続文字列,暗号化キー,および敏感な個人データを直接記録すべきでないと述べている. また,ファイル経路や内部ネットワークの詳細は特別な処理を必要とするデータとして呼び出されます. エージェントの道具は そのリストの全ての物事を 定期的に処理する フリーフォームのエラーメッセージは一般的なバックドアです これは危険だ 操作的に有用なバージョンは,より小さい. 統合,アラートルーティング,再試分析,そして保護されたローカルレコードとの関連性をサポートしています. 観測可能のストアを秘密のエラーのコピーに変えることはありません. キー名も判断を要する calendar id はその値よりも少ないが, customer alice hiv status のような鍵には既に内容が含まれています. ツール名とキー名のための承認されたスケーマを保持する. 予期せぬ名字を other に拒否またはマップする. カーディナリティはコストの問題だけではありません データの限界の問題です 消毒剤を3つの敵意のある装置に再現する 付随する装置には 3つの偽りの現実的な出来事が含まれています 1. 偽のメールと持ち主トークンによるカレンダー検索が成功する. 2. 偽のAPIキーとプライベートパスを持つ予見版を拒否する. 3. 偽の接続文字列とメールで タイムアウトされたデータベースを書き込みます 消毒剤は 秘密のパターンを 追いつくわけではありません アロウリストから新しいオブジェクトを構成します 文書の証拠パネルから確認された文物を実行します. 複製された出力は診断を保持します また,具体的な結論も支持しています. カレンダーツールが完了し,結果チェックが合格しました. プレビューコールには 許可の注意が必要です 盲目の再試ではなく 待ちリストの書き込みは2度目の試みで終了し,耐久性記録のチェックが失敗したため,返されたコマンドは成功条件ではありません. バイト対バイトの差が過ぎました 植えられたすべてのカナリー キャリアトークン,API キー,接続文字列,電子メール 値,プライベート パスチを別々に検索すると 消毒されたファイルに一致する情報は見つかりませんでした. これは CIで維持するための有用なテストです 繊細な装置に独特の偽のカナリーを加えても 輸出国国境を越えると失敗します コンテンツキャプチャはエスカレーションモードです コンテンツフリーテレメトリには本当の限界がある. 提示がなぜ意味的に誤解されたのか,モデル応答が微妙な事実上の誤りを含んでいるのかを説明することはできません. 境界線は,コンテンツが決して役に立たないという絶対的な主張ではなく,制御されたエスカレーションであるべきです. OpenTelemetryのコンテンツキャプチャのガイドラインは,指示,ユーザーメッセージ,モデル出力が敏感で,しばしば大きくなっており,デフォルトでキャプチャされるべきではないと述べています. 繊細なコンテンツを保持する必要がある場合,分離された外部ストレージと異なるアクセス制御を生産オプションとして記述します. このモードを有効にする前に,次のすべてを決定してください. 対象範囲の正確なラン,ツール,またはレンタ; 収集を承認し,それを読める人 輸出前にフィルタリングされるフィールド 最大の期間と保存期間 収納地域とアクセス制御 削除が確認される方法 モードが content captured: false に自動的に戻る方法 サンプリングは編集ではありません. 1 パーセントのサンプルでは 証明書を含む 提示を捕まえることができます 暗号化は最小化でもありません 保存されたバイトを保護しますが,収集を正当化したり,許可された過剰暴露を防ぐこともできません. 許可リストから始め,操作上の質問に別途答えられない場合にのみ,別々に管理された法医学経路を追加します. テレメトリを結びつけ 結果を決定する 観測可能なイベントは,操作を記述する. 代理人の健康には もう一つ事実が必要です 意図された仕事は実現したのでしょうか? データベース・ドライバーは,後のトランザクションが後退する間に成功を返せる. ファイル書き込みツールが誤った経路を書きながらゼロから抜け出すことができます. メッセージ API は,目的地がアシンクロン的に拒否している間に,要求を受け入れることができます. したがって,テレメトリエの封筒には,結果の内容をコピーせずに決定的な結果チェックの名称と状態が記載されるべきです. この決定順序を使用します 1. O 終了終了: 臨時再試行が発生した場合でも操作を終了;コストおよび信頼性分析のために再試行信号を保持する. 2. Tool が失敗し,結果も失敗: ルーティングは安定エラークラスによる. 操作が逆転可能で承認された制限内にのみ再試します. 3. ツールが成功し,結果は失敗: は誤った成功を分類し,ツールと検証者との契約を調査します. 4. Ooutcome not run: 作業を完了していない. チェックを予定するか実行する. 5. E 証拠が欠けているか矛盾している: は,不確実な状態をマークし,積極的な介入前に尋ねる. これは,有用な進歩から活動と命令の完了とユーザーの結果を分離します. また,回復をより安全にするため,オペレーターは1つの制限されたアクションを準備し,結果チェックが通過した後のみ問題を解消することができます. 生産デフォルト LLMとエージェントワークロードのほとんどは,小さな,文書化されたテレメトリ許可リストから始めます. 関連性,動作,安定したエラー,タイミング,試行,形状,結果フィールドを保持します. コンテンツをデフォルトでオフにします 植えられたカナリーで輸出者をテストする. 暫定コンテンツキャプチャを別途許可された事件手続きとして扱う. そのデフォルトは 全ての法医の質問に答えません 常識的な健康問題への答えを 静かに 提示情報,認証情報,顧客記録,ツール結果の 影のようなデータベースを作成することなく Sidewispの製品指針は,利用可能性,実行,メモリ,ツール,結果,コストの証拠を明確な健康観に変換し,人間の権威を維持し,必要なものだけを収集することです. Sidewisp は現在プライベートプレビュー段階です。 公開サイトと記事はライブです. 生産モニタリングアダプターと自動復旧は一般的には出荷されていません. この証拠の境界線が 代理人を操作したいと一致するなら プライベート・プレビューの待機リストに加わることができます