ハニーコム LLM 観察可能:エージェントのタイムライン契約の監査

ハイコムブが 捜査官のタイムラインを 磨き上げても 契約を破った状態から 働ける 複数のエージェントのインシデントを診断するためにこのビューを使用する前に,送信された範囲内の6つのことを確認してください: 1 つの会話アイデンティティ, 異なるエージェント名, 呼び出し側呼び出し属性, 認識された操作名, 安定したツール呼び出しID, 拡散エラー. 実践的なテストは 遠隔計測が到着したのか? ではなく, これらのフィールドは,適切な会話,エージェントレーン,操作,失敗状態に作業を投影できるのか? 下の監査は,コンテンツのない8つの固定装置で,より狭い質問に答えます. Xnot は,要求された外部結果をクリーンタイムラインが証明していると主張する. ハイコムエージェント・タイムラインが実際に何を計画しているのか ハニーコムブは Agent Timelineを 複数の痕跡を覆う 完全な会話の視野として記録しています 会話の鍵は gen ai.conversation.id です 会話の中で,GenAIの範囲は gen ai.agent.name によってグループ化され, LLM操作,および gen ai.operation.name に従ってツールコールとして提示されます. 診断の境界線の一部としてアプリケーションで提供されたいくつかのフィールドを構成する: gen ai.conversation.id は,どの範囲が一緒に属するかを決定します. gen ai.agent.name は どのエージェントが レーンの所有者かを決める. gen ai.operation.name は,スペンがチャット,エージェントの呼び出し,またはツール実行として扱われるかどうかを決定します. gen ai.tool.call.id は,操作者がツール要求をその結果と関連付けることを可能にします. エラーステータスと例外フィールドは,影響を受けた範囲とその親領域で障害が目に見えるかどうかを決定します. ハイコムブの機器ガイドは,そのエージェントビューのために必要な会話 ID,エージェント名,および操作名をマークします. また,欠落した代理人の名前が Unknown と表示され,複製された名称は捜査中に代理人を区別することを妨げる. 同じガイドは,簡単に逃れる属性規則を明示しています. calling エージェントは invoke agent スペンを発射します. 呼び出されたエージェントは,独自の chat , execute tool ,および他のスペンを独自の名前で発射する. コレクタートランスフォーメーションが呼び出しを呼び出し者に割り当てると,タイムラインには誤った因果物語を伝えるすべての期間が含まれます. これはダッシュボードの問題になる前に シーマコンプライアンス問題です 2人の労働者が共有する代理人の名前を 修正したりしないのです 事件前に投影契約を監査する 同伴装置には8つの小さなスペンセットが含まれています. 提示や応答 ツール・アルグメント 顧客識別子 秘密を含まない 唯一の値は合成会話ID,エージェントインスタンス,エージェント名,オペレーション名,親リンク,ツールコールID,ステータスフィールドです. 記事のアーテファクトディレクトリから監査を実行します: 分類者は,因果順にチェックを適用する. 1. 提案された会話のすべての範囲は 1 つの空き会話ID を共有する必要があります. 2. 各スペンには無効なエージェントの名前があるはずだ 3. 1 つの表示されたエージェント名は複数のエージェントインスタンスの属性を持つことができません. 4. invoke agent のスペンは,電話する人に属している必要があります. 5. 操作は,投影で使用される文書化された GenAI操作セットに属しなければならない. 6. execute tool 範囲は,ツール・コール識別子を保持しなければならない. 7. 子供の間違いは,まだ成功を報告している親に劣らない. 秩序は大事だ conv 201 と conv 202 の間で既に1つの会話が分割されている場合,いずれかのfragment内のエージェントの列を数えることで間違った質問に正確な答えが得られます. 同様に,両プロセスはどちらも worker と呼ばれている場合,ツール コール関連は欠けているエージェントのアイデンティティを回復することはできません. 規則は意図的に ハニーコムが何かを表現するよりも厳しくなる. 表現された視点は観察である. 適合性範囲の包装は,観測が宣言された契約に従ってグループ化され,割り当てられた証拠である. 8つの灯具が 7つの異なる偽緑色を暴露します 純正な比較規則は 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号が 交際番号 2つの異なる無用IDが論理的な会話を分割するケースを含む8つの固定式をすべて受け入れます. 合致監査は1つを正確に受け入れます 固定装置 素朴なIDチェック 適合判決 必要な修理 有効な会話 パス CONFORMANT どれか 断片式会話 パス FRAGMENTED CONVERSATION 1 つの会話 ID を痕跡の境界を越えて伝播する 未知の代理人 パス UNKNOWN AGENT 安定した,空っぽでない代理名の発射 代理人名 衝突 パス AGENT NAME COLLISION 各エージェントインスタンスを別々の運用名を与えます 誤った主張の配分 パス INVOKE ATTRIBUTION INVALID invoke agent を呼び出し者から送信する 承認されていない操作 パス OPERATION UNRECOGNIZED 文書化されたGenAI作戦への再編 欠けているツール・コール・ID パス TOOL CALL UNCORRELATED 呼び出し ID を 要求と結果にわたって保存する 子供の誤り隠された パス ERROR PROPAGATION BROKEN 障害の状態を親に伝達する 各裁定は 異なるオペレーターの決定を守ります 断片的な会話は 仕事を隠す. 不明な名前や衝突した名前で所有権が損なわれる. 誤った呼び出し属性は誰を誰に委ねるのかを逆転させる. 認識されていない操作は 出来事を間違った視覚カテゴリーに 落とします 失踪した電話 IDは タイムアウトを 調理する危険性がある 隠れた子供の誤りは 失敗したツールパスを 成功した親に変えてしまいます 最後の事件は特別な注意に値する. ハイコムブは誤差を一貫して記録し,ツールコール故障を親のスペンに拡散することを推奨します. この伝播は外部の副作用が発生したかどうかを証明するものではなく,子供が失敗したと知られる間に,親が静かに緑のままに留まるのを妨げます. 効果のあるツールについては,このテレメトリ検査後に別々の目的地領収書を追加してください. タイムアウト+応答なしは 不確実な効果であり 再試される許可ではありません エージェントのタイムラインは曖昧な呼び出しを特定するのに役立ちます. 有権的な目的地は効果が存在するか否かを決定する必要があります. 監査を部署カナリーに変える 装置を先に本地で実行して 楽器の通路に 有害なカナリー会話を調整します カナリアの内容を 保持し,そのトポロジーを明らかにしてください. ルーターのエージェントが1人の作業員を呼び出す. 労働者は,無害な道具の呼び出しを1回行う. 各スペンは同じ合成会話IDを受け取る. ルーターとワーカーは別々の名前を持っている. 呼び出しはルーターに属している. ツール呼び出しには合成呼び出しIDが1つ保持されます. 試験変数の一つは,意図的にツールに失敗し,親がもはや成功していないことを確認します. 輸出前およびすべてのOpenTelemetry Collector変換後に発行された封筒を比較する. これは共通の境界障害を捉えます:ソース・インストラクタは正しいが,トランスフォーメーションのリネームは各プロセスに属性を与え,または1つの静止代理名を割り当てます. 変形を押す この記事で検査されたOpenTelemetry GenAI代理セマンティックコンベンションは Development とマークされているため,SDKまたはコレクターアップグレードは日常的な視覚的な変更ではありません. カナリーを再起動すべきスケーマ変更です 各リリースに対して小さな受け入れ記録を使用します. この記録に提示,応答,ツール議論,またはツール結果を入れないでください. Honeycombはメッセージのコンテンツには PIIが含まれると指摘し,収集者がフィルタリングできるスペンイベントにそのようなコンテンツを配置することを推奨します. コンフォメーション・カナリアは アイデンティティとステータスを必要としています 会話内容ではありません このテストが止まる場所 監査を通過すると,供給されたスペンエンベルは ハニーコムエージェントタイムラインに一貫して投影できます. それは,次のことを証明していない. ハニーコムに届いたすべてのスパン サンプル採取は,重大な故障を保持した. 代理人が有用な進歩を遂げている. 合法的な人間の待機は,所有者と期限がある. 道具の副作用は,一度に発生する. 約束されたファイル,チケット,配備,またはレポートが存在します. 答えは事実上または意味的に正しい. これらは健康問題です 診断の入場券として タイムラインの遵守を 評価するのではなく 最終的な健康判断として ワークフローのリスクに応じて フレッシュさ,待機状態,効果,結果の領収書を追加します この境界線は この記事の実験が ハニーコンブを他のベンダーと比較しない理由でもあります 読者の決定はより早く,より具体的です: 私は今調べようとしている会話とエージェントの属性を信頼できますか? Sidewisp は現在プライベートプレビュー段階です。 既存のエージェントの実行時間周辺に健康層を追加することを意図していますが,生産エージェントの健康収集,ハニーコムアダプター,自動復旧は現在のウェブサイトリポジトリに送信されません. もし今 代理人の証拠の限界を 定義しているなら プライベート・プレビューの待機リストは その統合の必要性を共有する適切な方法です ソース ハチミツ: AIエージェントを配備する ハニーコム: 代理タイムライン OpenTelemetry GenAIエージェントのセマンティックコンベンション