デタドッグ LLM ベッドロックのための観察能力:内部の痕跡を証明する

デタドッグ LLM ベドロックの観測能力は 捕捉されたモデル電話や 代理人の呼び出しを 説明できるが 目に見える痕跡は まだ健康判断ではない 現存するAmazon Bedrock Agentには,5つの領収書が必要です:意図された構成が準備され,正しいアライアスまたはバージョンが実行され,内部追跡イベントが到着し,任意のアクション転送が定義された状態に達し,約束された結果は目的地に存在します. その区別が 今重要だ AWSによると,Amazon Bedrock Agents は現在 Amazon Bedrock Agents Classic と呼ばれ,2026年7月30日から新規顧客に開設されなくなります. このガイドは,既存のBedrock Agents Classic部署の監査である. これはグリーンフィールドの勧告ではないし,AgentCore統合が同じテレメトリを持っていると仮定しない. ベッドロック契約を 追いつく 最初の罠は Bedrockの追跡を1つの特徴として扱うことです Datadogは,Bedrock Runtime方法 InvokeModel() および InvokeModelWithResponseStream() の自動追跡を文書化します. 遅延,エラー,メッセージ,モデル通話のトークン使用を 持ち込むことができる. ベッドロック・エージェントは InvokeAgent という 異なる実行時間の操作を使用します Datadogの現在の自動機器の参照では Python Bedrock Agentsの統合が InvokeAgent の通話をデフォルトで追跡していると言います. 代理内のステップを暴露するには,要求は enableTrace=True を使用しなければならない. AWSは同じスイッチに運用的な意味を与えます. 追跡有効化はエージェントの推論プロセス,行動,結果を追跡します. InvokeAgent 応答は,出力ブロック,追跡イベント,エラー,引用,およびリターン制御の役に立たないイベントストリームです. だから 外部の呼び出しだけを見るのは オーケストラや知識基盤 警備レーン 行動グループ証拠を見るよりも少ないのです 証拠層 証明していること 証明できないこと ベッドロックモデルスペン 捕獲されたモデル呼び出し,期間,エラー,利用可能な使用フィールド 呼び出しを求めたエージェントのバージョンか 任務が完了したか InvokeAgent ルーツスペン 申請はBedrockエージェントの実行時間を呼び出した 巣のオーケストラが捕らえられた 巣の痕跡事件 選択された呼び出しは内部の推理と行動ステップを明らかにした 計画された草案が作成されたか,外部効果があるか 完成した応答部分 ベッドロックが インタラクションの最終的な反応を返しました 約束された納品が受け入れられた 目的地領収書 ファイル,記録,メッセージ,または他の期待される効果が存在し,有効である なぜ以前のエージェントが 行動したのでしょう? InvokeAgent の周りに小さな内容のない健康領収書を追加する. ステータスを確立するために 提示,認証,ツール аргумент,または完全な応答をアップロードしないでください. 識別子,タイムスタンプ,ブーリアン,カウント,ハッシュを十分な場所に保存する. 重要な請求ごとに 5つの領収書を集めます 監査は 管理可能になるのは 各境界線が 1 つの領収書を持っているときです 1. 準備された設定領収書 AWSは,作業草案を準備されたバージョンと偽名から区別する. 作業草案を変更した後,テストまたは展開前に準備する必要があります. また,AWSはエージェントの preparedAt 値をチェックすることを推奨する. 記録: 決定論の法則は単純です 実行が失敗した場合, CONFIG NOT PREPARED と分類する. 詳細な痕跡を意図された構成を表すようにデバッグしないでください. 2. 呼び出し身分証明書 同じBedrock sessionId を同じ会話で繰り返すだけです 選択されたアライアスまたはバージョンをセッション識別子の一向ハッシュの隣に保存します. これは,データドッグのルーツスペン,ベドロックイベントストリーム,およびユーザコンテンツを保持せずに,オペレーターの期待範囲を結合します. 誤った名前で 最近の痕跡は 誤った証拠だ 健康な証拠じゃない 3. 内部追踪保険領収書 操作問題が内部ステップに依存するときに,要求に追跡有効性を設定する. 生産診断に値を印刷することはありません. 領収書には: ルーツスペンが存在するが,痕跡が無効になったり,巣のイベントが起こらない場合, TRACE INCOMPLETE を返します. 報道判決だ 捜査官は失敗したとは限りません 同様に,欠落した Datadog ルーツスペンは TRACE MISSING であって, AGENT FAILED ではない. サンプリング,輸出者の構成,輸送,サポートされていないライブラリバージョン,または機器の注文はすべて証拠を取り除くことができます. Datadogは追跡サンプル率設定を暴露しているため,欠席は不確実性を保ちなければならない. 4. 行動状態の領収書 代理人は Lambda サポートするアクショングループを呼び出し,知識ベースを查询したり,呼び出しアプリケーションに制御を返したりすることができます. リターン・コントロール経路では,アプリケーションは予測されたアクションを受け取り,継続のために結果を提出する必要があります. 記録する 行動エラーが発生した. リターン制御用荷物が到着した. 応募は対応する行動結果を提出した. 反応はまだ待っています 返還制御が存在し,結果が提出されていない場合,正しい状態は WAITING FOR ACTION RESULT です. オーナーと次のアクションがある 閉じ込められたとすると 騒音が上がる 完全なとすると 仕事を失います 5. 結果の領収書 データドッグは,追跡の横にカスタム評価を置くことができ,これらの評価は主観的な品質または政策チェックに有用です. 約束が検査可能である場合,デターミニズム検証を好む. ファイルの配信:予想されたパス,MIME,サイズ,チェックサム,およびスキーマ データベースの書き込み:記録キー,バージョン,および必要なフィールド 出発メッセージ:プロバイダの領収と宛先ハッシュ 部署:目標修正と独立した健康検査 知識回答: 必要な引用文とドメイン受け入れ規則. 結果の領収書には,判決を再現するために必要な最低限の証拠が含まれなければならない. doneという答えは,そのフィールドの1つではありません. 8つの州による決定規則を実行する 付随する文物には,定番順に領収書が適用されます. 過去の境界線は 後に示す証拠が 偽りの緑を作り出すのを妨げます 内容のない8件を 調べました 8人とも予想通りでした 固定装置は故意に outcomeVerified: true をスタイルの準備ケースに与えます. CONFIG NOT PREPARED を返します. 間違った準備された設定の結果は,意図されたリリースを証明することはできません. 偽りの事件に対するBedrockの完全な応答も与えます 目的地領収書なしでは 最終判決は赤色のままです 判決を1つの制限された行動へと導きます 分類器は,その状態が操作者の次の動きを変える場合にのみ有用である. 判決 最初の行動 しない CONFIG NOT PREPARED 計画された草案を準備し, preparedAt を確認し,それから1つのカナリーを再起動する 新しいリリースとして古い痕跡を診断する TRACE MISSING サポートされているSDKとトレーサーバージョン,初期化順序,輸出業者配達,サンプリングをチェック 欠席が失敗したかのように 代理人を再試す TRACE INCOMPLETE enableTrace=True と 巣の出来事が Datadogの痕跡に到達することを確認する 外部スペンを 完全エージェントカバーに電話する WORKING 呼び出しの期限内に待機する 経過した時間のみに関する警告 WAITING FOR ACTION RESULT 返還管制要求を期限で所有者に送る エージェントを再起動するか,それを固定するマーク ACTION FAILED 失敗した最初のアクションとエラー境界をチェックする.効果が安全である場合にのみ再試する. 不確実な副作用を盲目的に再現する FALSE COMPLETE 目的地検証を実行し,欠落した結果を修復する 最終応答テキストを配信として受け入れる HEALTHY コンパクトの領収書を保持し,走行を閉じる 敏感な役に立たない負荷を保存する この命令は 事件の所有権も明示しています データドッグのカバー問題は 機器や輸送に属しています. リターンコントロールの待機は,外部の決定を所有するアプリケーションまたは人間に属します. 失敗したアクションはツール界限に属します 欠落した配達項目は,結果確認者に属します. 1つの一般的な 代理エラー警告は,これらの区別を持っていない. Datadog と Sidewisp の境界線を正直に保つ データドッグ エージェント 観測は,捕獲された痕跡,スペン構造,モデルおよびツール遅延,利用可能なトークン使用,エラー,評価を検査する適切な場所です. Bedrock 統合ドキュメントは,トレーサーの状態を確認し,送信問題をデバッグするを含む具体的な設定および検証手順を提供します. 上記の監査は,リリースと結果の境界線を追加し,痕跡の証拠を減少させない. その証拠は 単独で答えようと意図していなかった質問に答えることを妨げます 3つの制限が残っています 1. この装置は, AWS, Datadog,または目的地のデータの真実ではなく,決定優先性を検証します. 2. サンプリングは意図的に痕跡を取り除くことができます 覆盖 SLO は制御されたカナリーまたは他の指数が必要です.生産痕跡の欠乏だけで曖昧です. 3. LLMの判事は主観的な回答品質に役立つかもしれないが,検査可能な効果を決定的な目的地チェックに置き換えることはできない. したがって,既存のBedrock Agents Classic部署では,実用的な終点線は:現在の準備されたバージョン,正しい呼び出し範囲,必要に応じて完全な内部追跡,解決したアクション状態,検証された結果です. それ以外のものは 働かず 待たず 不確実 失敗すべきです 緑ではないのです Sidewisp は現在プライベートプレビュー段階です。 既存の実行時間周辺にエージェント・ヘルス層を追加することを意図しているが,生産のベドロックとダタドッグアダプターが出荷されていない. 医療に関するこのワークフローが 代理人を操作する方法と一致している場合 プライベートプレビューに参加してください 現在のドキュメントが支持しているように Datadog と AWS を継続してください. ソース Datadog アマゾン ベッドロック統合 データドッグ自動機器で,エージェントの観察能力 アマゾン・ベドロックで構築された監視エージェント AWS InvokeAgent API参照 AWS: エージェントの動作のテストとトラブルシューティング