エージェントメモリベンチマーク: 1つのスコアの後ろのギャップを監査する

agent メモリーベンチマーク は,そのテストが検出に必要な故障に一致する場合にのみ有用である. 保存された資料が検出可能であることを示すことができる. 記憶が再起動に生き残ったか 最新バージョンが紛争に勝ったか 代理人が記憶を使って意図された外部結果を 生み出すか 示すことはできません 基準値を選び,その方法があなたの最もリスクの高い決定を行使する基準値を選び,その解明された質問を目に見えるままにして,その隣に小さな生産カナリーを動かしてください. 私はAMB,MemoryArena,State Benchの3つの現在のアプローチを7つの質問に対して監査した. 作戦を記録する資料はない 3つの基準,3つの異なる証拠単位 AMBは4段階のパイプラインを文書化します ドキュメントを摂取し,文脈を回収し,答えを生成し,その答えを金銭的な答えと比較して判断するために2番目のモデルを使用します. 追いつく時間と摂取時間だけでなく 精度,速度,トークンコストを追跡します メモリプロバイダーにおけるリクエスト品質と経済性を決定する際には AMBが有用になります データのセットの名前における agenticが十分でない理由もその方法によって説明されます. 記録された終結事件は 答えが生成され 判事の結果です これは意味のある結果証拠ですが 代理人が目的地システムを正しく変えると 同じではありません メモリーアリーナは証拠単位をメモリ・エージェント・環境ループに移動します 766人の作業は セッションごとに相互依存するサブタスクを持っています 後の行動は,ウェブナビゲーション,制限された計画,進歩的な検索,連続的な推論を通じて,以前に得た情報とフィードバックに依存します. 論文では,平均して57のアクションステップをタスクごとに報告しています. この設計は 記憶のみの評価における本当の弱点を解決します 代理人は事実を取り出すことができますが 環境が変化するときにそれを適用しません メモリーアレーナは 記憶を後の行動に 影響するものです しかし,複数のセッションの作業は自動的にプロセス再起動テストではありません. ハネスは故意にメモリコンポーネントを分解し 起動後 耐久性状態を証明しない限り 持続性は別問題です STATE Benchは旅行,顧客サポート,ショッピングなどで 450の企業課題をテストしています 代理学習の軌跡は 再利用可能な記憶を 回収ハックで提供できます タイトルメトリックは,タスク完了pass@1,pass^5を5回の実行で,LLMで評価されたユーザー体験スコア,タスクごとにコストです. ポイントの境界線は重要だ Microsoftのリリース説明は,状態変異タスクは最終環境状態に対して決定的な主張を使用すると,手続きおよび情報タスクはLLM判定を使用すると述べている. STATE Benchのチェック結果は正確である; STATE Benchの全ての結果は決定的ではない. 1つのスコアを作る代わりにカバー状態を維持する 文書化された方法を 7つの質問にまとめました Covered とは,その方法が直接質問を行使することを意味します. Partial は,関連する証拠を提供しているが,完全な運用主張をしていないことを意味します. Not documented はまさにそうという意味で,プロジェクトがそのようなテストを実行できないという非難ではありません. 証拠問題 AMB メモリーアリーナ STATE Bench 回収品質 対象 部分 部分 記憶は後者の行動に導きます 部分 対象 対象 決定的な最終結果 部分 部分 部分 意図的に再起動する持続性 文書化されていない 部分 文書化されていない 新鮮さと起源 文書化されていない 文書化されていない 文書化されていない 繰り返し運用の信頼性 文書化されていない 文書化されていない 対象 費用または効率性 対象 文書化されていない 対象 この表は7のうち2に減り,または7のうち5に減りません. ステティックなコープスで 復元の精度と5つの安定したタスクランスは 危ない衝突が未然のままに 緑色になる可能性があります 監査資料は,複合スコアを計算せずに,マトリックスを検証し,未開示されたすべての運用質問をリストする. 源のサポートされたマトリックスに対してその規則を実行する: この結果は偽造可能だ. 基準値は,その方法を変更し,明示的な再起動設定を追加し,バージョンの起源を要求し,判事を決定的な目的地主張で置き換えることができます. 公開方法が変更されたときにマトリックスを更新します. 古い 文書化されていない レーベルを民事伝記として保存しないでください. 失敗によって選択する,ランキングボードではなく 実行後 具体的な決定から始めましょう 回収プロバイダーを選択する場合,AMBの摂取/回収/生成/判断分離とタイミングデータは直接有用です. 各プロバイダーに対して同じデータセット,ドメイン,生成モデル,判定プロンプト,モードを実行します. その READMEは,小さなプロンプトまたはモデル変更が2桁の精度を移動させると警告しているため,これらのバージョンピンなしで比較は再現できない. 記憶された情報が利用可能になるが,後の行動が変化しない場合,行動結合テストを使用します. MemoryArenaの相互依存的なサブタスクにより,後のセッションでは早期情報が必要になります. 作業マニフェストと環境バージョンを保存し,最終的な作業スコアだけでなく,異なる最初のアクションをチェックします. ステートフルワークフローを一貫して改善するかどうかを決定する場合は, STATE Benchはより強いデフォルトを提供します. 記憶力のないベースラインを同じエージェント+メモリと比較し,pass@1,pass^5,cost,およびスコアタイプを別々に保持する. 平均完成の増加とパス5の減少は 純粋な昇進ではありません. また,LLMによって判断された手続きパスは,決定的なデータベースの主張に相当するものではありません. これらの選択肢は組み合わせることができます. 小規模なチームがAMBを実行して,過度に不正確または高価なリクエスト実装を排除し,集中的なアクション結合のスイートを実行し,繰り返しワークフロー結果のために STATE Benchサブセットを使用する可能性があります. 順序は防御可能で それぞれのステージは 名前のある質問に答えます 候補者が合格した理由を 混同したランキング番号で隠すことができます この監査は文書化された方法を比較し,すべての基準を再現したり,文書化されていないプライベートテストは存在しないと主張したりしない. 合成タスク,シミュレーションされたユーザ,評価モデル,ドメインカバー,リポジトリの修正は,結果があなたの作業量にどれだけ移転するかを制限します. 運用チェックを追加する 基準を公開する オフラインの証拠は 昇進の境界線で終わります そこにコンパクトな生きたカナリアが始まる リアルメモリがプライベート・マテリアルを含んでいる場合,コンテンツフリー識別子を使用します. 例えば ランダムなカナリーID,バージョン,予想された決定のハッシュ,期限を書きなさい. 医療イベントから 直接情報,会話,秘密,顧客データを 遠ざけてください. このチェーンを実行します. 1. A書き込みを認識する. メモリ名空,カナリーID,期待されたバージョン,アダプターバージョン,書き込み領収書を記録する. HTTP 応答の成功は,必要なインデックスまたは耐久性ストアがレコードを承認した証拠ではありません. 2. 本物のリスタート境界を横切る. 実際に依存するメモリサービス,エージェントランタイム,またはホストアダプタをリスタートする. 同じプロセスで新しいチャットを始めると 境界線が違います 3. 新鮮さと起源で読む. 期待されたバージョンと検査可能なソース参照が必要です. 意味的に妥当な古い値は 失敗ではなく 失敗です 4. 紛争を入力する. 新しい値を書き出し,古い識別子を保持し,解決者が意図された勝者を返却する確認します. ポリシーが最後の書き込み,明示されたバージョン,ソース優先順位,または人間の承認かどうか記入します. 5. 効果的アクションを要求する. 正当なツール引数がカナリーに依存する課題をエージェントに与えます. モデルの説明ではなく,議論や状態移行を検証する. 6. 目的地を確認する. 完成を表す外部システムまたはアーテファクトを読み取る. 司令部からの出場 ツール・コールの成功 そしてエージェントが報告した成功は 活動証拠です 7. 限界内に繰り返す. モデル,プロンプト,ツール,環境バージョンを修正しながら不一致性を明らかにする十分な等価なケースを実行します. 確認された結果に加えて,追跡コスト. 最小の領収書は こんな感じで 必要なフィールドが利用できない場合,メモリ経路を健康にマークしないでください. uncertain を返して 最後の証拠を保存し 欠落した信号を誰かに送る 完全な証拠に対する安全な反応は,外部効果を繰り返すような自動的な再試ではない. 昇進のルールは説明できる 3つの記述がすべて真実である場合にのみメモリ変更を促進する 選択されたベンチマークは,変更を動機とした行動を直接実行する. 繰り返された結果は,合意されたコスト境界を侵害せずに品質を向上させたり維持したりする. ライブカナリアは,持続性,正しいバージョン/起源,結果的な使用,そして予想される目的地結果を再起動することを証明します. 意見が裏付けされない場合は,その変更を評価に保存してください. この規則は故意に基準値が上昇したよりも厳格だが,普遍的な評価プラットフォームを構築するよりも狭い. 小さなチームに 継続するか停止する 検証可能な理由を与えます Sidewispの製品指針は,メモリが読書または書き失っている,再起動中の持続不全,時代遅れの同期化,リセット,文脈成長,失われた決定を健康信号として扱います. 生産モニタリングエンジンと実行時間アダプターは,現在のウェブサイトリポジトリに出荷されていません. Sidewisp は現在プライベートプレビュー段階です。 その証拠モデルがあなたが代理人を操作する方法と一致する場合は,実行時間を置き換えることなく,またはオフラインベンチマークをライブ健康証明書として扱うことなく,プライベートプレビュー待ちリストに加わることができます.