Agente AI Auto-melhoramento: Promover mudanças, não auto-editar ao vivo

Um agente AI que se auto melhora não deve reescrever o seu comportamento ao vivo e chamar o progresso da reescritura. O padrão mais seguro é tratar cada pedido proposto, memória, recuperação, política de ferramentas ou mudança de código como um candidato de lançamento não confiável. Congelar o candidato, compará lo com o seu pai exato em evidências que ele não pode editar, verificar todas as métricas protegidas, provar quem pode aprová lo, e manter um alvo de retrocesso resolvivel. Somente então uma pequena mudança reversível pode entrar num canário limitado. Essa regra ainda permite melhorias. Mudança a unidade de confiança. O feedback pode gerar um candidato automaticamente; a ativação requer evidências. A distinção é importante porque a "auto melhoria" abrange mais do que a formação modelo. O Reflexão armazena feedback verbal na memória episódica para que os ensaios posteriores se comportem de forma diferente sem uma atualização de peso. A Auto refinamento alterna o feedback e o refinamento usando o mesmo modelo. Um envio de roteamento, lição recuperada, lista de ferramentas ou script de escrita podem alterar a próxima corrida tão com certeza quanto um novo ponto de verificação. O teu livro de mudanças tem de cobrir todas essas superfícies. Congelar o candidato antes de medir Comece com duas identidades imutáveis: o pai ativo e o candidato. Registros úteis de manifesto de mudança: A digestão impede uma edição silenciosa entre avaliação e canário. A identidade mãe impede que um candidato gerado contra o agent v41 seja promovido para um agent v42 agora ativo. A lista de superfícies escritas revela o raio real da explosão. Uma proposta descrita como uma lição de memória não é tão pequena se o seu processo também pode editar a política de avaliação ou autoridade. Não deixe que o candidato escreva os seus casos de retenção, código de pontuação, limiares de aceitação, política de aprovação ou histórico de regresso. São a regra, a fechadura e a saída de emergência. Um agente que pode alterá los pode aumentar sua pontuação sem melhorar a tarefa. É também por isso que um arquivo de aprendizagem apenas apêndice merece versão. Uma breve lição pode redirecionar a recuperação, suprimir a escalada ou escolha de ferramentas de preconceito em cada execução posterior. Só a memória alterada descreve o mecanismo de armazenamento, não o risco operacional. Comparar o pai e o candidato exatos em evidências fechadas Uma pontuação absoluta dos candidatos é uma prova fraca. Execute o pai e o candidato contra os mesmos IDs de caso, versão do ambiente, aparelhos de ferramentas, política de aleatoriedade e verificador de resultados. Armazenar os resultados combinados. A questão não é se o candidato obteve uma pontuação de 0,86? O Livro de cozinha de agentes auto evolucionários OpenAI demonstra um ciclo prático com uma linha de base, feedback humano ou modelo, avaliações, um limiar de pontuação, um limite de repetição e uma linha de base atualizada. É uma máquina útil para gerar e medir candidatos. Uma decisão de promoção da produção requer um limite mais rigoroso do que um limiar agregado, porque as médias ocultam qual propriedade pagou o ganho. Suponha que o sucesso da tarefa sobe de 0.80 para 0.89 , enquanto a integridade do efeito ferramenta cai de 0.99 para 0.96 . A média pode subir. A alteração ainda falha se efeitos externos duplicados ou faltantes forem inaceitáveis. Tornar explícitas as métricas alvo e as métricas protegidas: Métrica Direcção Regra da promoção Sucesso da tarefa Maior O candidato deve melhorar pelo menos 0.03 Integridade do efeito ferramenta Maior Não é permitida a regressão Roteamento de aprovação Maior A regressão não pode exceder o 0.02 Custo por resultado verificado Baixo O aumento não pode exceder o 0.05 Usar métricas ligadas a resultados observáveis. Um comando que saiu do zero não é prova de que um deliverable existe. Uma chamada de ferramenta em um rastreamento não é prova de que o destino mudou exatamente uma vez. Um juiz modelo pode ajudar com qualidade subjetiva, mas não deve anular um arquivo determinista, banco de dados, permissão ou verificação de efeitos. O conjunto bloqueado deve incluir falhas conhecidas e espera válida. Caso contrário, o agente pode parecer melhorar tornando se mais agressivo: menos escaladas, menos perguntas, conclusão mais rápida e mais efeitos colaterais errados. Incluir pelo menos uma medida fora da banda que o candidato não otimize diretamente. Autoridade de proposta separada da autoridade de ativação Deixar um agente propor uma mudança não implica autoridade para a ativar. Defina a aprovação por superfície e raio de explosão. Uma pequena alteração de encaminhamento imediato pode entrar num canário de 20 tarefas sob uma política pré aprovada. Uma política de recuperação ou uma alteração da política de ferramentas pode exigir um ser humano nomeado. O código de tempo de execução, a lógica do avaliador, o âmbito das credenciais e as ações irreversíveis devem permanecer fora da promoção automática. A Orientação da OWASP sobre a agência excessiva recomenda permissões mínimas, autorização a jusante e aprovação humana para ações de alto impacto. Aplicar a mesma separação à auto modificação. O processo de melhoria só obtém a capacidade necessária para escrever um artefato candidato. Um componente diferente e menor é responsável pela avaliação e promoção. Um recibo de autoridade útil inclui: Proporcionar o recebimento ao candidato em uma aplicação real. Expirar. Não aceite que o agente possa melhorar como uma permissão executável; não tem uma superfície, limite e limite de tempo. Esperar a aprovação não é um fracasso. Se as provas passarem, mas a superfície de mudança requer uma pessoa, devolver o AWAITING APPROVAL com a digestão candidata, os deltas medidos, a superfície solicitada, o alvo de regresso e o tamanho do canário proposto. A corrida é saudável quando essa espera tem um dono e uma decisão retomável. Execute os portões em ordem fixa A ordem torna o resultado explicável. Rejeitar os problemas estruturais antes de debater os resultados: 1. Identidade: o digesto é válido e o pai do candidato ainda está ativo. 2. Superfície protegida: o candidato não pode escrever testes, dados de retenção, autoridade, histórico de retrocesso ou outra superfície proibida. 3. Piração de evidências: pai e candidato utilizaram o mesmo conjunto de evidências bloqueadas. 4. Budget de regressão: cada métrica protegida permanece dentro do seu próprio limite. 5. Rollback: a versão anterior nomeada ainda resolve. 6. A ganho material: a melhoria alvo limpa o piso pré declarado. 7. A Autoridade: O recibo corresponde ao limite de superfície e canário. Os primeiros cinco portões protegem a segurança e a auditabilidade. O ganho material impede o desgaste: uma alteração que produz ruído, mas que não deve ser realizada nenhuma melhoria útil, não deve ser promovida apenas porque tenha passado por verificações de segurança. A autoridade decide entre revisão humana e canária. O dispositivo de acompanhamento implementa essa prioridade sem um modelo de chamada. Execute o do diretório de artefatos de artigos: Os oito candidatos compartilham deliberadamente uma história de sucesso plausível: a maioria aumenta a pontuação alvo. As suas decisões são diferentes: Candidato Decisão Evidências decisivas Parche de segurança CANARY READY Benefícios associados, não regressão protegida, autorização automática limitada Mudança de recuperação AWAITING APPROVAL A evidência passa; a superfície exige uma pessoa Minúscula lição de memória HOLD NO MATERIAL GAIN Seguro, mas o objetivo de ganho é apenas 0.01 Parente estável BLOCKED IDENTITY Candidato foi gerado a partir da linha de base ativa errada Autor de avaliação BLOCKED PROTECTED SURFACE O candidato pode alterar a regra. Casos privados recentes BLOCKED EVIDENCE O candidato não utilizou o conjunto bloqueado Ganhador agregado BLOCKED REGRESSION A integridade do efeito ferramenta caiu em 0.03 Falta a versão antiga BLOCKED ROLLBACK Artigo de reviravolte denominado não está disponível O resultado útil não é uma pontuação composta de segurança. É um estado e um limite de reparação. Um pai ultrapassado precisa de regeneração. Uma regressão protegida precisa de diagnóstico. Um alvo desaparecido precisa de restauração de artefatos. Averiguar essas falhas esconderia a propriedade. Canário a mudança, não a sua confiança Passar por portões offline torna um candidato elegível para um canário; não prova a saúde da produção. Limite tarefas, tempo, gastos, ferramentas e efeitos colaterais. Mantenha o pai disponível. A rota do canário só funciona cujo resultado pode ser verificado de forma independente. Comparar os seus recibos ao vivo com uma linha de base parental contemporânea ou recente, quando a carga de trabalho o permitir. Defina os gatilhos de retrocesso antes da ativação: violação da métrica protegida, taxa de resultados desconhecida, efeitos duplicados, falta de aprovações, limite de gastos ou falha de frescura de evidência. O rollback significa restaurar o artefato original exato e verificar que o resultado da tarefa pretendida retorne. Um comando de retrocesso que foi concluído é atividade, não recuperação. Preserva três registos após o canário: O candidato imutável e os digestões dos progenitores; Evidências combinadas offline e canárias, incluindo sinais indisponíveis; A decisão de promoção, suspensão, aprovação ou revogação com o recebimento da sua autoridade. Se as provas desaparecerem, devolva o UNCERTAIN e pare a promoção. Não converta uma métrica ausente em um valor saudável. Se a mesma proposta falhar repetidamente, o limite retrata e encaminha o para uma pessoa em vez de deixar o ciclo de melhoria consumir tempo e tokens ilimitados. Sabem o que esta porta não pode provar A auditoria fornecida verifica a forma manifesto, a prioridade, os delta métricos emparelhados, o âmbito da autoridade e a resolução de retrocesso. Não prova que a sua suspensão represente a produção, que uma rubrica humana é correta, ou que uma rara falha aparecerá em 20 tarefas canárias. Os testes podem ficar obsoletos. Os avaliadores podem compartilhar os pontos cegos do modelo. As ferramentas externas podem mudar após o candidato passar. O padrão prático é, portanto, restringido: automatizar livremente a geração de candidatos, automatizar cuidadosamente a avaliação de baixo risco e automatizar a ativação apenas dentro de um envelope de autoridade explícito. Mantenha as superfícies de alto impacto e irreversíveis aprovadas pelo homem. Continuar com o acompanhamento após a promoção, pois um agente que se auto melhora só é saudável quando os seus resultados úteis permanecem saudáveisnão quando a sua linha de atualização está ocupada. A Sidewisp está atualmente em prévia privada. A sua direção é adicionar uma camada de saúde em torno dos tempos de execução dos agentes existentes, com evidências, limites de aprovação e verificação de resultados; adaptadores de monitoramento de produção e sistemas de recuperação geralmente não são enviados. Se esse limite coincidir com a forma como operas agentes, podes fazer Junte se à pré visualização privada.