Agente Lightning: Desligue todas as atualizações RL antes que cheguem a um agente

O artigo Agent Lightning: Train ANY AI Agents with Reinforcement Learning responde a uma importante pergunta de engenharia: como um agente existente pode gerar dados de treinamento sem ser reconstruído em torno de um ciclo RL? Não responde à questão de libertação que se segue: quando é que um recurso recém-formado deve ser autorizado a influenciar um fluxo de trabalho real? O padrão seguro é manter cada novo modelo ou recurso como candidato. Promove-o apenas depois de poder juntar-se à atualização para seu pai exato, snapshot de dados, avaliador, tentativas de implantação, cobertura de vestígios, casos protegidos, resultados limitados de canários, aprovação e rollback testado. Uma recompensa maior é uma prova útil, mas não é um veredicto de saúde. Esse limite se encaixa no quadro, em vez de combatê-lo. O Agente Lightning já separa a execução do Agente do algoritmo de aprendizagem. Preserva essa separação como um portão de libertação. O que o Agente Lightning registra e o que esses registos provam O papel apresenta o Agente Lightning como uma forma de desacoplar a execução do agente do treinamento RL. Modela a execução de agentes como um processo de decisão de Markov, converte as trajetórias de agentes em transições de treinamento através de um módulo de atribuição de crédito e relata experimentos sobre texto para SQL, geração aumentada de recuperação e uso de ferramentas matemáticas. A Documentação do projeto atual dá aos operadores substantivos mais concretos: - um Resource é um ativo que o algoritmo pode atualizar, como um modelo ou um modelo de solicitação; - Uma Rollout é uma unidade de trabalho realizada contra um recurso; - Uma Attempt é uma execução dessa implantação, incluindo retemps; - um Span registra um evento ou rastro da execução; - Um Reward é um julgamento numérico associado a um determinado período de implantação; - O LightningStore conecta o Runner, que executa o agente, ao algoritmo, que consome evidências e atualiza recursos. Esta é uma interface de treinamento forte. Não é um recibo completo de libertação. Considere um lançamento eventualmente bem-sucedido que necessitou de quatro tentativas. A recompensa final pode parecer boa, enquanto as tentativas retomadas revelam não-determinismo, dívidas de custo ou uma dependência que falha intermitentemente. Um segundo lançamento pode ter uma grande recompensa, enquanto 31% dos seus períodos esperados estão faltando. Um terceiro pode melhorar a pontuação média da avaliação ao mesmo tempo em que rompe o único caso protegido que impede uma chamada de ferramenta destrutiva. São diferentes falhas: Registo Pergunta útil que ele responde Pergunta que não responde sozinha --- --- --- Lançamento Que tarefa foi tentada? Existia o resultado externo pretendido? Tentação Quantas execuções ocorreram, e como terminaram? O último sucesso foi estável ou apenas sorte? Espanha Que acontecimentos instrumentais foram observados? Os efeitos importantes não instrumentalizados eram corretos? Recompensa Como um juiz nomeado marcou algum comportamento? O comportamento protegido, a privacidade e o retrocesso permaneceram intactos? Atualização de recursos Que modelo ou prompto se tornou disponível? Esse recurso deve tornar-se o padrão? A distinção importa porque a arquitetura oficial permite que o algoritmo aprenda a partir de intervalos e atualize recursos sem que o Corredor se torne uma autoridade de implantação. Isso é uma característica. Não o apague tratando o recurso mais recente como o recurso aprovado. Coloque um recibo em torno da atualização do treinamento Use um único recibo de actualização imutável, montado em três fases. O recibo pode ficar fora do Agente Lightning enquanto armazenar identificadores estáveis que se juntam aos registos da LightningStore. Antes da formação: congelar a identidade e a autoridade Registrar a identificação do recurso candidato, a identificação exata do recurso-mãe, o snapshot de dados de treinamento, o snapshot de dados mantidos, a versão do avaliador, a configuração do algoritmo, a revisão do código e o alcance previsto. Indicar qual ator pode aprovar um canário e qual ator pode tornar o recurso o padrão. O pai deve resolver para um artefato que ainda pode carregar. Como a última atualização não é um alvo de retrocesso quando a aprendizagem contínua produziu três recursos mais novos desde que a instrução foi escrita. Mantenha o avaliador, os casos protegidos, a política de promoção e o histórico de regresso fora da superfície escrita do aluno. Caso contrário, um optimizador pode melhorar sua pontuação aparente alterando a regra em vez do comportamento. Durante a formação: contabilização das tentativas e cobertura das provas Para cada implantação nas janelas de formação e validação admitidas, manter: As famílias exatas dependem do fluxo de trabalho. A invariante é mais importante do que os nomes: declarar quais evidências devem existir antes de analisar o resultado, em seguida, relatar evidências faltantes como indisponíveis. Não converta a ausência num valor saudável. As tentativas merecem o seu próprio contador. Um lançamento com uma tentativa finalizada e catorze falhas silenciosas não é equivalente a um lançamento que terminou uma vez. Decidir um orçamento de retomada antes da formação, distinguir o retomado esperado das retomadas de infraestrutura e manter a razão de cada tentativa. Após a formação: sucesso de aprendizagem separado da admissão operacional Primeiro, comparem candidato e pai em um lugar de espera fechado. Relatar o resultado agregado, mas também definir orçamentos de tolerância zero ou limitados para as famílias de casos protegidos. Em seguida, executar o candidato em um canário que não pode exceder uma tarefa explícita, tempo, ferramenta, custo, e efeitos colaterais limite. O recibo canário deve verificar o destino, não apenas o comando. Se o agente deveria criar um arquivo, consultar o caminho esperado e validar o seu conteúdo. Se é suposto atualizar um bilhete, leia o bilhete de volta. Se o efeito não puder ser verificado deterministicamente, registar o juiz mais fraco ou evidência humana e sua incerteza. Finalmente, teste de retorno. Carregar o pai exato no mesmo ambiente limitado e provar que o roteamento pode voltar a ele. Só um agente humano autorizado ou sujeito a políticas de liberação deve aprovar o próximo passo. Um experimento com quatro candidatos Encodifiquei o portal como uma fixação determinista do Node.js. Cada candidato melhora a pontuação. Diferem apenas em termos de evidências operacionais: O dispositivo avalia sete verificações: 1. O recurso, o modelo-mãe, a imagem instantânea do conjunto de dados e o avaliador são fixados; 2. Cada implantação concluída tem uma cobertura completa do período de tempo esperado; 3. A dívida inesperada de retomada é zero; 4. O candidato bate o seu pai exato no retalho fechado; 5. Não há regressos em casos protegidos; 6. Todas as tarefas limitadas de canaria têm um resultado verificado e não registados efeitos nocivos; 7. O rollback resolve-se e foi testado, e um ator autorizado aprovou o passo. A sua saída é intencionalmente inconveniente: A maior recompensa ganha perdem. Candidato C melhora 0,10 mas quebra três casos protegidos. Candidato B melhora 0,08 mas tem apenas 83 lançamentos completos de 120 e catorze repetições inesperadas. O candidato D melhora 0,07 mas verifica apenas 18 dos 20 resultados canários e não consegue resolver ou testar o seu pai. O candidato A passa todos os sete cheques, mas o seu veredicto é deliberadamente PROMOTE TO BOUNDED CANARY , não safe ou deploy em todos os lugares. A prova de passagem tem um escopo: este pai, estas instantâneas, este avaliador, estes casos protegidos, este canário e esta janela de observação. O artefacto executável e sua saída legível por máquina tornam a tese falsificável. Mude um campo, reinicie-o e inspecione o cheque falhado. A política é rigorosa por conceito, mas os seus limiares podem ser traduzidos para um fluxo de trabalho real, em vez de ocultos em prosa. A aprendizagem contínua requer uma regra de frescura A documentação do Agente Lightning também descreve um modo de aprendizagem online ou contínua. Os corredores podem relatar lançamentos e intervalos oportunistas; o algoritmo pesquisa novas evidências e pode atualizar os recursos quando chegarem dados suficientes. Esse ciclo faz da frescura parte da correcção. Um painel que diz candidato melhorou sem nomear o corte de dados, versão de avaliador, fonte principal e janela canária está apresentando uma conclusão que não pode ser reconstruída. Usar dois indicadores: - O latest candidate resource pode avançar sempre que o algoritmo criar uma atualização; - O approved default resource avança apenas após o recebimento completo da atualização passar. Nunca os alias. Um consumidor que solicite a autorização de inadimplência não deve receber silenciosamente o mais recente candidato. Também define uma regra de evidências obsoletas. Se o avaliador, o contrato de ferramentas, a distribuição de tarefas ou a parente mudar após o gate ser executado, anule os controlos afetados. Um canário anterior não cobre automaticamente uma nova autorização, destino, modelo de servidor ou política de retest. Para o treinamento de longa duração, as condições de parada pertencem ao lado das condições de recompensa. Faça uma pausa quando a cobertura de expansão cai, tente novamente a dívida cruzar seu limite, o conjunto protegido regressar, o pai se torna indisponível ou o canário não pode verificar um efeito externo. O treinador ainda está ativo descreve a atividade, não o progresso útil. Respeitar os limites estabelecidos pelo projecto O projeto Documentação responsável AI, financiado por compromissos, descreve o Agent Lightning como orientado para a investigação, pede novos testes antes do uso comercial ou no mundo real e aconselha contra contextos de tomada de decisão de alto risco. Também deixa a precisão, a segurança, a justiça, a privacidade, os direitos dos conjuntos de dados e a supervisão humana ao utilizador. Um portal de actualização suporta essa responsabilidade; não a descarta. O dispositivo não pode provar a segurança aberta, detectar todas as mudanças de distribuição, ou fazer um pequeno canário de língua inglesa representativo de outra língua ou domínio regulamentado. A sua promessa útil é mais estreita: as atualizações positivas em relação à recompensa, mas pouco comprovadas, permanecem em quarentena por uma razão verificável. A regra de funcionamento resultante é simples: deixe o Agente Lightning otimizar os candidatos, mas faça a promoção uma decisão reversível separada, apoiada por evidências. Mantenha o limite do algoritmo Runner visível, preserve o pai exato, declare evidências esperadas antes do treinamento, verifique o resultado real do canário e exija autoridade antes de alterar o padrão. A Sidewisp está atualmente em prévia privada. A sua direcção de produto é a saúde do agenteacessível, o progresso útil, o acesso às ferramentas, os resultados, os custos, as evidências e os limites de aprovação segurosmas a monitorização do agente Lightning de produção não é apresentada aqui como uma integração enviada.