推薦前 自転進化記憶を監査する

ReasoningBank: Scaling Agent Self Evolving with Reasoning Memory の 有用な答えは,エージェントが毎回実行後に記憶を再書き留めるようにしない. 失敗した 軌道について その戦略の一つがライブワークに影響を与える場合を決定するために,オペレーターはまだ別々の規則が必要である. デフォルトとして 隔離を使用します 新しいメモリアイテムを 元の場所から追いつくまで 保存し,正しく保存されたことを証明し, 可能な限り ソース結果を独立で確認し, 固定された影のスイートと実行し, 行動が後退した場合, 前のバンクに戻るまで 保持します. 昇進は明示的な決定であって 抽出の副作用ではない この境界線は論文の中心的な考え方を保存し,別の質問に取り組んでいます: 推論記憶が基準値のパフォーマンスを改善できるかどうかではなく,特定のメモリ更新が次の実際の作業に影響を与えるほど健康的なかどうかです. ReasoningBankが貢献していることとテストしていること 理性銀行紙は,原始軌道再利用をコンパクトな戦略メモリで置き換えます. 各項目はタイトル,単語の記述,論理的ステップ,決定の合理化,または操作的な教訓を含む内容があります. ループには3つの部分があります 1. 新しい任務のために関連する項目を回収する. 2. 完成した軌道を判断し,成功や失敗から教訓を汲み取る. 3. その項目を銀行に再収納する. 失敗の道は重要だ ブラウザの失敗経路は,ページ識別子をチェックする前,ページ化アクションを繰り返すような予防的なレッスンをもたらす可能性があります. クリックの長い連続を保存するより 繰り返し利用できます Google Researchの説明は同じ検索,抽出,統合ループを記述し,WebArenaおよびSWE Bench Verifiedでメモリフリーおよび以前のメモリベースラインの改善を報告します. これらの結果は,評価された設定内の方法に対する証拠であり,生産保証ではない. 論文は LLM as a judge を使用して 基礎的な真実の反響なしに軌道を標識する. 新鮮に採取された物物は,切除せずに直接添付されます. 復元は類似性を埋め込みに基づいています 作者は意図的に シンプルな文章を書き込み 推論的な内容の価値を 切り離すことができるのです プロジェクトの参考資料庫は境界線を強化し,WebArenaとSWE Benchコードをリリースし,READMEではプロジェクトがデモ目的であり,生産目的ではないと述べています. それは役に立たない警告であり 欠陥ではありません 研究の実施と運用制御は様々な問題を解決します プロモーション当局からのメモリコンテンツを別々に ReasoningBanks {title, description, content} のスキーマは人間に読み取れ,プロンプトに注入することは簡単です. ソース軌跡ID,抽出ハッシュ,検証器タイプ,バージョン,有効期限,衝突セット,影の結果,承認またはロールバックポインタを必要としません. これは実験に適しています 生産に影響を与える変化の背後にある唯一の記録として十分ではない. 採取された各項目を操作者包装に包む. この封筒は記憶を真実にしない 決定を検証できるのです また,簡単に崩壊する5つの出来事を1つに分けます:抽出が完了し,書き込みが成功し,物事が再読みに生き残り,影のケースに関するアドバイスが助けられ,権限のある人がそれを積極的に回収できるようにしました. 活動が進歩ではないので 区別は重要です メモリーバンクは全ての作業の後で 成長し 復元品質が低下します 論文の自己アブラレーションでは,関連する1つの経験を用いてより大きなセットを用いて打ち負かされた.その評価された設定で2,3および4つの経験が回収されたため,成功は低下した. 結果は普遍的な top k を定義していないが,より記憶された素材が自動的により健康的なものではないという誘惑的な操作仮定を否定している. 昇進前に5つの証明が必要です 下記の5つの証拠は故意に独立している. ある列のパスが,他の列の失敗を補償するものではありません. 1. 起源 ソース軌跡,観察された結果,抽出プロンプトまたはバージョン,および誘導されたアイテムのハッシュを記録する. 起源のない記憶は そのアドバイスが 理にかなっているとしても 隔離されるべきです そうでなければ,オペレーターは,現在の抽出を,古い輸入,複製項目,または手動編集から区別することができません. 2. 耐久性 成功した書き込み電話を記憶力保存と並べないでください. 実行時間は使用する同じ境界線を通って保存されたアイテムを再読み,そのハッシュを比較し,関連する再起動またはインデックスリフレ後にチェックを繰り返します. 欠落または変更された項目は持続性障害であり,利用できない読み込み経路は unknown であり,健康ではありません. 3. 独立した結果証拠 紙はノイズ判断の強さを報告しているが,LLM as a judgeへの依存も制限として挙げている. 運用プロモーションでは,デターミニスト検証器を好む:期待されるファイルハッシュ,合格テスト,API状態,行数,または他のタスク特定領収書. 機械的に結果を確認できない場合,人間によるレビューを使用します. LLMの判決は レビューを優先させるが 将来の行動を変える記憶の唯一の権威ではない. 4. 影回転と漂移の覆い 候補者をバージョン付きのスイートに 対処させ 直接的な作業に影響を及ぼさないようにします 戦略が役立つ場合,それが無関係である場合,そして過剰な適用が有害である場合,少なくとも1つの境界ケースを含む. 結果を比較する 流暢さではなく バンクバージョン,モデル,ツール,フィッチャーバージョンを追跡するので,後の変更はメモリ漂移として偽装されない. 限界値は,任務のリスクに属します. 配列には4つのケースと80%の合格率のみが用いられ,決定規則を再現可能にするため,これらの数字は一般的推奨ではありません. 破壊的な道具には 重要な事件がすべて 通過する必要があります リバーシブルな書き込み助手が 異なる境界線を許すことができます 5. 明らかに承認とロールバック準備 テクニカルチェックを合格すると 承認準備が整っている 自動化されていない 自動化されない 自動化されない 前の銀行を不変にして,アクティブバージョンを記録し,リロールバックを誘発するシグナルを定義する. 昇進後,小さなカナリーセットを再起動して 確認された作業結果を見てください. 批判的な回帰が出現した場合,先のバージョンを最初に復元し,次に調べてください. 6件の不都合の例の決定規則を再現する Node.jsの小さな分類器として ゲートを暗号化して 6人の候補者に対して実行しました 規則は起源,書き込みと再読みの持続性領収書,決定的または人間の結果証拠,影覆い,アクティブメモリ衝突,およびロールバックポインタをチェックします. その後,この優先順位が適用されます. 注文は意図的だ 積極的な退却は,元の昇進が承認されたとしても,逆転が必要である. 欠落した証拠は承認によって修復できない. 2つの戦略が異なる範囲を持つ可能性があるため,紛争は自動的に失敗ではありませんが,活性化前に,それは人またはより強い決定的規則を必要とします. 装置を: 固定出力は: 候補者 証拠条件 決定 mem 001 発祥は無い 裁判官のみの裁定 quarantine mem 002 出身は存在し,裁判官は唯一の結果証拠として残る. quarantine mem 003 すべての証明が合格; 活性項目の衝突 review conflict mem 004 技術証明書合格; 運行者の承認なし ready for approval mem 005 すべての証明が合格し,承認が記録されます. promote mem 006 アクティブアイテムは,影の境界線に失敗します. rollback この装置は,論文が提供しようとしない情報を追加します. 単一の誘導記憶の周りに具体的な権威境界線です. Xnot は紙のベンチマークを再現し,抽出されたすべての戦略を検証するか,80%のシェードスコアが一般化することを証明する. 配分シフトは まだスイートを倒せる 紛争は微妙なものです 人間の承認はまだ間違えるかもしれません ループが解決したふりをせずに操作する したがって,実用的なReasoningBankの展開には,不差別化されたプールではなく,2つの銀行が含まれるべきです. 新しい採取物品を受け入れ,その証拠を保存する隔離銀行 オンラインリトリーリングで使用されるバージョンの承認された項目のみを含むアクティブ銀行. その間の移行を測定する 有用な信号には,候補者の年齢,欠落した起源,持続読書の失敗,検証器の覆い,影回帰,未解決の紛争,アクティブバンクバージョン,ロールバック準備性,およびプロモーション後の結果漂移が含まれます. メモリーアイテム数をヘッドラインの健康指標として使用しないでください. 待機とステンド状態を違う方法で扱います 審査員を待っている候補者は 審査員と締め切りがある場合 破棄されません 失踪した証拠を得ずに 何度も抽出された候補者は 閉じ込められています 検証器が利用できない活性項目は不確実である. 検証された批判的な回帰を持つアクティブ項目は,後回転する必要があります. 最後に 商品の主張を 正直にしてください Sidewisp は現在プライベートプレビュー段階です。 公開サイトと記事システムはライブですが,生産代理の健康収集,ランタイムアダプター,自動化またはガイドされた復旧は一般的には出荷されません. この記事のゲートは Sidewispの健康領域に適合するオペレーターパターンであり, Sidewispは現在ReasoningBankを監視したり,記憶を促進したり,ロールバックを行うという主張ではありません. 合理的な次の動きは小さい: 制限されたタスクファミリーを選び ベースライン銀行を凍結し 候補者のメモリーに出身地と影の領収書を追加し 明確な承認を通じて 商品を1つだけ宣伝する. 結果が安定している場合は 権限を拡大する前に スイートを拡大してください.