グラファナ LLM 観測可能: 結果層を証明する

Grafana LLM の観測能力は,モデルコール,エージェント世代,トラス,ツール活動,遅延,トークン,コスト,評価の強力な説明を提供します. 代理人が期待されたときに到達できる,適切な人に待っていた,外的な効果を正確に一度適用したり,要求された成果を出すことを証明することはできません. したがって,実用的なデフォルトは2つの部分です. グラファナを使って,その文書を記録し,その後,テレメトリが回答していない質問に対して,小さな運用証拠契約を追加します. 部品を別々にテストする グラファナでの会話は 標識や指標が届いた証拠ではなく 清潔な標識は 目的地が変わった証拠ではありません このガイドは,Grafanaの現在のドキュメントと @grafana/agento11y JavaScriptパッケージに対してその境界線を実装しています. また,7つのケースの監査も含まれていますが,受付規則はダッシュボードのアドバイスとして残されるのではなく実行可能になります. 文書化された経路から始め 片切りで試す グラファナは現在 2つの関連ルートを明らかにしている. 一般的なAI 観測性設定は,デフォルトでは,Grafana Cloud OTLPゲートウェイを通じてOpenTelemetryのトラス,メトリック,ログを送信します.より大きなボリュームでルーティング,変換,またはより良い制御が必要な場合,OpenTelemetry コレクターまたはGrafana Alloyがドキュメント化された代替品です. 新しい エージェントの観察性 表面は,エージェント向け世代,会話,ツールコール,ワークフローステップ,トークンおよびコストデータ,評価,フレームワーク統合を追加します. JavaScriptでは,現在のパッケージは @grafana/agento11y です. npm latest タグは2026年7月27日にチェックされたときにバージョン 0.9.0 を返しました. 永久バージョンの推奨ではなく 実施の瞬間写真として扱ってください. 最も短い記録の始まりは こんな感じです その後,ソースにアクセストークンを置く代わりに環境変数からSDKを設定します. 関連する環境変数の名称は, AGENTO11Y ENDPOINT , AGENTO11Y PROTOCOL , AGENTO11Y AUTH MODE , AGENTO11Y AUTH TENANT ID ,および AGENTO11Y AUTH TOKEN として文書化されています. 記号にその値を印刷したり,痕跡に貼ったりしないでください. グラファナのJavaScript インストラクメントガイドには,簡単に見逃す限界があります. 世代輸出とOpenTelemetry輸出は同じ道ではありません. SDKは生成データを送信できますが,送信する範囲とメトリックを輸出するには,アプリケーションで設定された TracerProvider と MeterProvider が必要です. ガイドによると 提供者がいないと 痕跡や指標は 静かに失われているそうです そのせいで 視覚的な会話が 弱くテストになります 代わりに3つの独立探査機を使用します 1. Conversations でユニークなテストIDを持つ世代を作成します. 2. 追跡データソースで同じ関連IDを搭載したスペンを見つけます. 3. テストウィンドウでSDKが発行するメトリックを1つ問い合わせ,そのリソース属性を確認して,期待されるサービスと環境を特定します. 探査機が欠けている場合は 設定を失敗します generation=yes, trace=no, metric=no は部分的なテレメトリであり,健康的な装置ではありません. グラファナの完全な痕跡は 活動証拠です グラファナでは有用な報道が記録されています Agent Observabilityは世代,ツールコール,ワークフローステップ,遅延,エラー,トークン,コスト,品質スコア,バージョン比較を記録することができます. これらの信号は以下のような質問に答えることができます LLMの通話が失敗したか 遅れたか? どちらのモデルとエージェントのバージョンが 逃走を担当した? どんな 道具 が 使われ まし た か どれだけのトークンと どれだけの費用が 実行に費やされましたか? 設定された評価や警備がスコアを出しましたか? OpenTelemetry GenAI代理会議は その活動に 携帯的な語彙を与える. 研究時に,エージェント条約は,開発状態を明示的に表示し,エージェントまたはワークフローを呼び出すための操作,ツールを計画し実行する操作を含んでいた. 開発状態が重要である: 機器のバージョンを固定し,属性やスペン形が進化することを期待する. ビジネス成果を決めるものはありません execute tool 範囲は,プロバイダが要求を非同期的に適用したり,検証後に拒否したり,または間違ったオブジェクトに書き込む間に, HTTP 応答が成功すると報告することができます. 完成したワークフロー期間が欠落したファイルと共存できる. 品質評価は,生成されたテキストをスコアすることができますが,スケジュールされた実行は始まっていません. 証拠とその境界線の両方を示す証拠地図を使用します: 証拠機 確認できる 定めていない. 放出探査機 生産輸出 記録されたモデルの生成はエージェントの観測能力に達しました 痕跡と指標が輸出されました 独創的な会話 ID を 見つけること 痕跡 機器による操作とその因果経路 外部目的地は,現在,意図された状態です. 関連距離を問いかける メトリックス 合計料金,期間,エラー,トークン,コスト信号 実行または配達可能な1つの実行が成功しました 正確なテストウィンドウを問い合わせる 評価 名前のスコアランナーが 提供された材料に ぶつかった 決定的な目的地主張が通過 スコアリングバージョンと入力範囲を保持する 実行時の領収書 実行時間は期待された時間に到達可能で新鮮でした 完成した任務 心拍子年齢とSLAを比較する 領収書を待って 休憩には理由,所有者,期限,リニューアル処理があります オーナーは時間内に決定する ルーティングとエスカレーションを検証する 効果領収書 外部の操作は調和できる ユーザの完全な結果が表示されています 安定操作 IDで読み返します 結果の領収書 目的地特定の主張が承認された 将来の安定性 安定性ウィンドウで再確認 これはもっとコンテンツをアップロードする理由ではありません. ID,タイムスタンプ,バージョン,低カードナリティ状態,ハッシュ,カウント,および目的地主張を原始提示,完了,ツール用荷,秘密,またはファイル経路よりも好みます. リッチテレメトリとデータ最小化が互換性があるのは,契約が機器化前に設計された場合である. 7例の覆盖監査を実施する 地図を小さな決定的な装置に変換しました 各ケースでは,生成,追跡,およびメトリック輸出が成功したか,テレメトリとランタイム心臓拍数が新鮮か,ランには正当な待機があるか,外部効果が調和されたか,そして予想された結果が権威のある受信があるか,記録されています. 分類者は数学的よりも優先順位を適用する. 7つの装置は: 世代が来なかった. 世代が到着したが,範囲とメトリックは到着しなかった. すべてのテレメトリは存在しているが,時代遅れである. 代理人は,所有者,期限,および再開トークンと共に合法的に待っています. 道具の試みは一致効果の受信がない. テレメトリと道具の証拠は緑色だが,配達可能は欠けている. 同じ完成したケースには,証明書が付与可能である. 地元のリプレイは7つの予期された分類をすべて通過しました 最も有用な比較は 最後の2つのケースです 両方とも生成,追跡,およびメトリック輸出を持っています. どちらも新鮮です 両方とも実行完了とツール効果の確認を報告する. 最初のものは目的地証明がないので false success に分類される. 第二のものは object:report 17 を含有ハッシュを加えて verified になる. その変化は 意図的に狭いものです ダッシュボード パネル,トークン数,モデルスコア,トラスステータス変更はありません. ユーザの要求により要求される証拠のみが変更されます. 監査には厳しい限界があります 提供された事実を信じます 悪意のある収集者が嘘をつくこともあり 誤った目的地からの領収書は 証拠ではありません 生産では,権威のある境界で結果領収書を生成します ストレージの読み書き後,データベースの制限クエリ,デプロイメントの健康調査,送信メッセージプロバイダー検索,または元のワークIDに結びついている他の決定的主張. 生産受付ゲートにカバーを変換する 新しいエージェントバージョン,フレームワーク統合,コレクター経路,またはサンプリング変更を有効にする前に,一つのインスチューム式カナリーを実行します. カナリアに 独特の仕事 ID と 害のない期待の結果を与えます 適用可能なすべての主張を要求します Generation: 世代はカナリーIDの下で存在します. Trace: ルーツスペンと必要な子供操作は查詢可能です. メトリック: カナリーウィンドウは予想されるシリーズに貢献します. フレッシュさ: コレクター遅延は宣言された限界を下回る. Runtime: 心拍数またはスケジュール作成者領収書が予想されたときに実行時間が達成可能であることを証明します. 待ち時間: 休憩は理由,許可された所有者,決定期限,エスカレーション経路,再開操作を指定します EEFECT: 副作用操作は,安定した無効性またはプロバイダー操作IDに対して一致する. Ooutcome: 目的地確認により,要求された文物または状態が存在していることが証明されます. プライバシー: テストクエリは,禁止されたプロンプト,レスポンス,シークレット,パスフィールドが存在しないことを確認します. 判決は不都合なままにして telemetry partial は,機器の展開をブロックする. health unknown は,証拠が時代遅れである場合,緑の状態を防ぐべきである. waiting は,正当な作業を再開することなく,所有者に通知すべきである. uncertain effect は 盲目の再試を止めなければならない. false success は,追跡が通常終了した場合でも,任務または事件を再開する必要があります. サンプル採取は別々の決定が必要です 重い痕跡は,体積が要求するときにサンプルを採取できますが,必要な走行を分類するために必要なコンパクトな健康証明書は,それらとともに消えないべきです. サンプルを採取した痕跡と未採取された実行,待機,効果,結果領収書を関連付ける十分な識別子を保持する. そうでなければ,より安価なテレメトリ政策は静かに,より弱い正確性の政策になります. 運営費用もかかります 目的地のリドバックは遅延とプロバイダー通話を加え ランタイムハートビートにはストレージとフレッシュさチェックを加え 待機領収書にはルーティング所有権が必要です 決定を解決する最小の決定的なチェックを適用します. ファイルの存在とハッシュチェックは ファイルが存在しているかどうか別のモデルに尋ねるより良い. LLM判事は,結果がセマンティックである場合,有用でありながら,決定学的チェックに加えて,そのバージョン, Rubric,入力範囲,不確実性を記録する. Sidewispが収まる場所 グラファナはテレメトリを検査し 関連付けることができる場所です ここで説明されている欠落層は,アクセシビリティ,進歩,待機,効果,および結果に関する運用判断です. Sidewispは,既存のエージェントの実行時間周辺の健康層となり,明示的な証拠,新鮮さ,不確実性,承認の境界線,および検証を伴うものである. 代替実行時間や必須モデルゲートウェイではありません. 生産監視アダプターと回収は今日出荷されていません Sidewisp は現在プライベートプレビュー段階です。 この証拠の境界線が 代理人を操作する方法と一致する場合は, 適切な次のステップは プライベート・プレビューの待機リストに加わり, 必要な実行時間と結果チェックを記述することです. それまでは,グラファナのテレメトリ判断を正確にして 目的地に完成した証拠を 添付してください.