AI Agent Observabilità per le guasti degli strumenti: un test a cinque strati

Un agente AI può non utilizzare uno strumento anche quando il suo modello risponde, il suo processo è vivo e la chiamata dello strumento appare in traccia. Il default pratico per l'osservabilità degli agenti AIZ è quindi quello di testare una chiamata di strumento in cinque strati ordinati: trasporto, protocollo, autorizzazione, esecuzione e risultato. Fermati al primo strato fallito. Tale regola trasforma un'allarme ambiguo strumento non disponibile in una riparazione limitata, e impedisce che un involucro di risposta verde venga scambiato per lavoro consegnato. Questa guida applica la regola agli strumenti in stile MCP su HTTP e JSON RPC, ma la forma diagnostica funziona anche per gli strumenti REST personalizzati e gli adattatori di comando locale. L'obiettivo non è quello di raccogliere ogni richiamo o carico utile. Si tratta di conservare la più piccola prova necessaria per rispondere: dove si è fermato l'appello, quale autorità è richiesta e il risultato promesso ha raggiunto la destinazione? Inizia con il primo strato fallito Un singolo contatore tool call failed collassa fallimenti che richiedono risposte incompatibili. Un errore DNS può giustificare un nuovo tentativo di connettività limitata. Un token scaduto può giustificare un aggiornamento. Per mancare la portata, è necessario un individuo o un amministratore; riprovare lo stesso token è spreco. Una valida risposta utente senza file, biglietto, messaggio o modifica del database necessita di indagine sul risultato, non di riparazione del trasporto. Utilizzare questa priorità: Strato Minime prove Esempi di fallimenti Ragionevole successiva mossa Trasporti risultato della connessione, stato HTTP, tempo trascorso Fallimento DNS, connessione rifiutata, HTTP 503 controllo della disponibilità; riprova solo entro un bilancio fisso Protocollo ID della richiesta, metodo, codice di errore JSON RPC Manca il metodo 32601 , parametri non validi 32602 aggiornare la scoperta o fissare il contratto di richiesta Autorizzazione Statuto HTTP, errore di autore sanito, ambito richiesto 401 invalid token , 403 insufficient scope rinfrescare una volta o chiedere all'autorità mancante Esecuzione stato del risultato dello strumento, timeout, verdetto di schema di uscita MCP isError: true , timeout, uscita strutturata malformata ispezionare l'implementazione o l'input dello strumento Risultato verificatore di destinazione e freschezza La risposta dice "creato", ma l'artefatto è assente. verificare la destinazione; non dichiarare il completamento L'ordine conta. Se la risoluzione DNS non è riuscita, l'autorizzazione e il risultato sono unobserved , non fallito. Emettere cinque fallimenti per una pausa precoce gonfia il numero di incidenti e manda i rispondenti verso prove che non esistevano mai. Tenere il protocollo fallimento separato dal tool fallimento L'invocazione degli strumenti MCP utilizza tools/call , mentre la definizione degli strumenti porta un inputSchema e può portare un outputSchema . L'attuale Specificità degli strumenti MCP mostra anche un risultato degli strumenti con isError: false . Si tratta di punti di controllo distinti: il client può raggiungere il server, scambiare una risposta JSON RPC valida e ricevere comunque un errore a livello di strumento. JSON RPC rende esplicita la distinzione esterna. La sua Specifica 2.0 riserva 32601 per Method not found e 32602 per Invalid parametri; una risposta di errore contiene error , mentre una risposta di successo contiene result . Un JSON RPC result dimostra solo che lo scambio di protocollo è stato completato. Non dimostra che lo strumento abbia accettato l'operazione, che la sua output strutturata corrisponda allo schema pubblicato o che l'effetto collaterale esterno esista. Registrare il confine senza memorizzare argomenti sensibili: Questo evento omette deliberatamente il token portatore, gli argomenti degli strumenti, il corpo di risposta, il testo del biglietto e i percorsi assoluti. Identificatori di hash o di mappe quando sono necessarie unioni di esecuzione incrociata. L'identificazione delle tracce è utile solo se la cartella sanitaria può ancora spiegare il primo livello fallito e il verdetto finale quando la traccia grezza non è disponibile. Non riprovare un problema di autorità come se fosse una perdita di pacchetto L'autorizzazione merita un proprio livello perché 401 e 403 implicano azioni diverse. Il Specifica dell'autorizzazione MCP richiede ai clienti di gestire 401 Unauthorized e descrive la scoperta di risorse protette attraverso WWW Authenticate . Essa raccomanda inoltre una guida sull'ambito di applicazione in modo che il cliente possa conoscere l'autorità richiesta per la richiesta corrente. RFC 6750 definisce invalid token per un token portatore scaduto, revocato, malformato o altrimenti invalido e lo associa a HTTP 401. Definisce insufficient scope per un token che manca di privilegi richiesti e lo associa a HTTP 403. Questo dà all'operatore una regola di decisione sicura: 1. Per invalid token , provare una volta il percorso di aggiornamento configurato. Se la credenziale aggiornata fallisce, fermare e far emergere il proprietario della credenziale. 2. Per insufficient scope , non circolare. Indicare la portata richiesta se fornisce il server e richiedere un'autorizzazione esplicita. 3. Non mettere mai il token, il token di aggiornamento, l'intestazione di autorizzazione o la sfida grezza in telemetria a scopo generale. Questa distinzione impedisce anche un modello di automazione dannoso: l'ampliamento delle autorizzazioni ogni volta che una chiamata di strumento fallisce. Un incidente di connettività non deve diventare un'escalation di privilegi, e una negazione di ambito non deve essere fixed passando silenziosamente a una credenziale più potente. Riproduci il divario fra false e false Il dispositivo di accompagnamento contiene otto chiamate sintetiche: due errori di trasporto, un errore del metodo JSON RPC, due errori di autorizzazione, un errore di esecuzione dello strumento, un errore di errore di errore e una consegna verificata. Eseguire il classificatore dalla directory degli artefatti: Il risultato decisivo è: Tre chiamate hanno riportato un risultato, ma solo una ha prodotto un risultato verificato dalla destinazione. Una busta conteneva un errore di esecuzione; un'altra affermava di avere successo mentre il suo promesso artefatto era assente. I risultati del protocollo di conteggio riporterebbero un tasso di successo del 37,5%. Il conteggio dei risultati verificati rappresenta il 12,5%. La differenza non è un punteggio del rilevatore o un giudizio LLM: essa deriva da una modifica del criterio di completamento. Il dispositivo è intenzionalmente deterministico. I sistemi reali aggiungono ambiguità: un ticket API può impegnare un record e un timeout prima di restituire il suo ID; una ricerca di destinazione può essere obsoleta; una chiave di idempotency può consentire una richiesta di riconciliazione sicura. Segna quei casi uncertain . Non riprovare una chiamata a effetto collaterale finché non saprai se il primo tentativo è stato commesso. Trasformare le prove in una regola operativa Strumento un evento sanitario per ogni tentativo di operazione dello strumento, collegato alla corsa di proprietà. Conserva il primo strato fallito, il codice disinfettato, la freschezza delle prove, riprova il proprietario e il verificatore dei risultati. Poi applicare quattro controlli: Avviso su incidenti di gruppo, non su ogni tentativo. Cinque chiamate che non riescono a ricevere la stessa credenziale scaduta sono un incidente di autorità. Riprova di nuovo il capello per strato. I problemi di trasporto possono ricevere un risarcimento limitato; i problemi di protocollo e di portata di solito richiedono un contratto o un cambiamento umano. Distingue l'attesa da quella di bloccarsi. Una chiamata in attesa di un flusso OAuth approvato non sta facendo progressi, ma non è un ciclo di esecuzione. L'incidente viene eliminato solo dopo che lo strato fallito passa and , quando viene osservato il risultato previsto. Un comando di ritorno di successo è attività, non recupero. La riga utile del cruscotto è quindi piccola: agente interessato, primo strato fallito, impatto, tempo di prova, fiducia, numero di ripetizioni, autorità richiesta e risultato del verificatore. Le tracce brute possono rimanere un'operazione di perforazione. Questa è la salute dell'agente operativo, non un requisito per sostituire il tempo di esecuzione o il percorso di ogni richiesta di modello attraverso un nuovo gateway. C'è anche una dura limitazione. Non tutti i risultati hanno un verificatore deterministico. Un file può essere controllato per percorso e digest; un biglietto per ID stabile; una distribuzione per endpoint di salute e revisione. La ricerca è buona può richiedere una rubrica o una revisione umana. Etichettate il metodo e la fiducia accanto al verdetto invece di trasformare le prove mancanti in prove sane. Sidewisp è attualmente in anteprima privata. Gli adattatori di monitoraggio della produzione e l'esecuzione del recupero non vengono generalmente spediti. La direzione pianificata è uno strato di salute accanto ai tempi di esecuzione esistenti che separa la raggiungibilità, il progresso, l'accesso agli strumenti e i risultati verificati mantenendo gli esseri umani nel controllo. Se quel modello di funzionamento corrisponde ai vostri agenti, Partecipa alla visualizzazione privata. Fonti Modello di protocollo di contesto: strumenti, versione specifica 2025 11 25 Modello di protocollo di contesto: autorizzazione, versione specifica 2025 11 25 Specificità JSON RPC 2.0 RFC 6750, OAuth 2.0 Uso del token portatore