LLM Osservabilità senza perdite immediate: un contratto di telemetria sicuro

L'osservabilità di LLM dovrebbe spiegare a quale operazione è stata eseguita, cosa è fallita, quanto tempo è durata, se è stata riprovata e se il risultato previsto esiste . Non è necessario copiare ogni prompt, argomento di strumento o risultato di strumento in un backend telemetrico per rispondere a queste domande. Una produzione sicura predefinita è una busta ridotta al minimo di contenuti: identificatori di correlazione, nomi di operazioni e strumenti, classi di errori a bassa cardinalità, tempistica, numero di tentativo, input key names , forma di risultato e un verdetto di risultato indipendente. Raccogliere il contenuto del messaggio o dello strumento solo per un'indagine specifica, con autorizzazione esplicita, una breve finestra di conservazione e controlli di archiviazione che corrispondono ai dati. Questa guida costruisce quella impostazione predefinita e la testa contro tre eventi deliberatamente sensibili dell'agente. Tracciare l'operazione, non il carico utile privato L'ampia definizione di osservabilità di LLM include tracce, metriche, registri, valutazioni, comportamento del modello e risultati dell'applicazione. Per un operatore di agente, la domanda utile è più ristretta: le prove possono distinguere una chiamata modello lenta, una chiamata strumento negata, un'attesa legittima, un ciclo di ripetizione e uno strumento che è tornato con successo mentre il consegnabile non è mai apparso? L'attuale OpenTelemetry GenAI convenzioni semantiche offre un utile vocabolario iniziale. Lo span degli strumenti di esecuzione utilizza gen ai.operation.name e gen ai.tool.name ; descrive anche un ID di chiamata degli strumenti, il tipo degli strumenti e error.type . Lo stesso documento segna gli argomenti e i risultati dell'appello degli strumenti come opt in e avverte che entrambi possono contenere informazioni sensibili. Queste convenzioni sono in Development , quindi inserisci la versione che implementi e aspetti modifiche. Quella divisione e' operativamente solida. I seguenti campi rispondono solitamente alle prime domande di risposta all'incidente senza riprodurre il contenuto: Campo Cosa risponde Regola di raccolta trace id , run id , step id A quale esecuzione e a quale fase appartiene questo evento? Tenere identificatori opaci; non ricavarli dal contenuto. operation , tool name , tool type Che tipo di lavoro era tentato? Utilizzare nomi limitati e documentati. status , error type Ha fallito, e da quale classe stabile? Preferire timeout o permission denied rispetto a un messaggio del fornitore di forma libera. duration ms , attempt È lento o si ripete? Numeri registrati, non una narrazione. input keys Quale forma di richiesta è stata tentata? Conservare i nomi delle chiavi; scartare i valori per impostazione predefinita. result shape Lo strumento non ha restituito nulla, un array o un oggetto? Conservare le chiavi di tipografia, conteggio o di livello superiore; scartare i valori. outcome check , outcome status Il risultato atteso dell'utente è atterrato? Verificare separatamente dalla completamento dello strumento. content captured Il contenuto è presente altrove? Rendi visibile e consultabile il confine. run id e i campi di risultato di cui sopra sono un contratto di applicazione, non attributi standard OpenTelemetry. Questo è deliberato: tracciare il vocabolario e le prove sanitarie specifiche per le attività risolvono problemi correlati ma diversi. Un listino di permessi supera un elenco di redazione infinito Il codice di redazione chiede: Quali valori pericolosi abbiamo ricordato di rimuovere? Un autorizzatore chiede: Quali campi hanno ottenuto il diritto di lasciare il processo? Per la telemetria di routine della produzione, la seconda domanda ha una superficie di guasto più piccola. La OWASP Legging Cheat Sheet dice che i token di accesso, le password, le stringhe di connessione al database, le chiavi di crittografia e i dati personali sensibili di solito non dovrebbero essere registrati direttamente. Essa definisce anche i percorsi dei file e i dettagli della rete interna come dati che potrebbero richiedere un trattamento speciale. Gli strumenti dell'agente gestiscono regolarmente tutti gli elementi della lista. I messaggi di errore in forma libera sono una porta posteriore comune. Questo non è sicuro: La versione operativamente utile è più piccola: Esso supporta ancora l'aggregazione, l'alerta di routing, l'analisi e la correlazione con un registro locale protetto. Non trasforma il deposito di osservabilità in una copia dell'errore segreto. Anche i nomi chiave richiedono giudizio. calendar id rivela meno del suo valore, ma una chiave come customer alice hiv status contiene già contenuto. Conservare uno schema approvato per i nomi degli strumenti e i nomi delle chiavi; respingere o mappare i nomi inaspettati a other . La cardinalità non è solo un problema di costi, ma anche di dati. Riproduci il disinfettante su tre apparecchi ostili Il film accompagna tre eventi falsi ma realistici: 1. una ricerca di calendario con successo con una posta elettronica falsa e un token per il portatore; 2. una pubblicazione di anteprima rifiutata con una falsa chiave API e un percorso privato; 3. una banca dati scaduta e scritta con una falsa stringa di connessione e e mail. Il disinfettante non cerca in modo ricorrente modelli segreti. Costruisce un nuovo oggetto da un allowlist: Eseguire l'artefatto verificato dal pacchetto di prove dell'articolo: La produzione riprodotta conserva la diagnosi: Essa sostiene anche conclusioni concrete. L'utente calendario è stato completato e il suo risultato è stato verificato. La chiamata di anteprima ha bisogno di autorizzazione, non di un nuovo tentativo cieco. La lista di attesa è stata scaduta al suo secondo tentativo e il controllo della durata non è riuscito, quindi il comando restituito non è una condizione di successo. La differenza di byte per byte è passata. Una ricerca separata per tutti i token di portatore di canarie piantati, chiave API, stringhe di connessione, valori di posta elettronica e percorso privato non ha riportato nessuna corrispondenza nel file disinfettato. Questa è una prova utile da mantenere in CI: aggiungere un canario falso unico a ogni dispositivo sensibile e fallire se attraversa il confine dell'esportatore. La cattura dei contenuti è una modalità di escalation La telemetria senza contenuti ha una vera limitazione: non può spiegare perché un prompt è stato semanticamente incompreso o se una risposta modello conteneva un sottile errore fattuale. Il limite dovrebbe quindi essere un'escalation controllata, non un'affermazione assoluta che il contenuto non è mai utile. Guida per la cattura del contenuto di OpenTelemetry dice che le istruzioni, i messaggi dell'utente e le uscite del modello sono sensibili e spesso grandi, e non dovrebbero essere catturate per impostazione predefinita. Esso descrive lo stoccaggio esterno separato con controlli di accesso distinti come opzione di produzione quando il contenuto sensibile deve essere conservato. Prima di abilitare tale modalità, decidete tutti i seguenti elementi: l'esatta funzione, lo strumento o l'affittante nell'ambito di applicazione; chi ha approvato la raccolta e può leggerla; quali campi vengono filtrati prima dell'esportazione; la durata massima e la conservazione; la regione di stoccaggio e i controlli di accesso; il modo in cui viene verificata la cancellazione; come la modalità ritorna automaticamente a content captured: false . Il campionamento non è la redazione. Un campione dell'uno per cento può ancora catturare l'unica richiesta contenente una credenziale. Anche la crittografia non è una minimizzazione: protegge i byte memorizzati ma non giustifica la loro raccolta o impedisce l'eccessiva esposizione autorizzata. Iniziare con l'autorizzazione, quindi aggiungere un percorso forense governato separatamente solo quando la domanda operativa non può essere risolta in altro modo. Unire la telemetria a un risultato, poi decidere Un evento di osservabilità descrive un'operazione. La salute degli agenti richiede un altro fatto: il lavoro previsto è diventato vero? Un driver di database può restituire il successo mentre una transazione successiva si allontana. Uno strumento di scrittura di file può uscire da zero scrivendo il percorso sbagliato. Un'API di messaggi può accettare una richiesta mentre la destinazione la respinge in modo asincrono. La busta telemetrica dovrebbe pertanto contenere il nome e lo status di un controllo deterministico dei risultati senza copiare il contenuto del risultato. Utilizzare l' ordine di decisione: 1. O passato risultato: chiude l'operazione anche se si verifica una riprova transitoria; conserva il segnale di riprova per l'analisi dei costi e dell'affidabilità. 2. Tool fallito e risultato fallito: percorso dalla classe di errore stabile. Riprova solo se l'operazione è reversibile e entro un limite autorizzato. 3. Tool è riuscito e il risultato è fallito: classifica il falso successo e investiga il contratto tra lo strumento e il verificatore. 4. Outcome non eseguito: non definisce il lavoro completato. Programmare o eseguire il controllo. 5. E è mancata o contraddittoria: segna lo stato di incertezza e domanda prima di un intervento attivo. Ciò separa l'attività dal progresso utile e il completamento del comando dal risultato dell'utente. Inoltre rende il recupero più sicuro: un operatore può preparare un'azione limitata, quindi eliminare il problema solo dopo che il controllo di risultato è superato. Il default di produzione Per la maggior parte dei carichi di lavoro di LLM e di agenti, iniziare con un piccolo e documentato listino di permessi di telemetria. Tenere correlazione, funzionamento, errore stabile, tempistica, tentativo, forma e risultati campi. Mantenere il contenuto disattivato per impostazione predefinita. Testare l'esportatore con canarie piantate. Trattare la cattura di contenuti temporanei come una procedura di incidente autorizzata separatamente. Questo default non risponde a tutte le domande forensi. Risponderà alle domande di routine sulla salute senza creare silenziosamente un database ombra di richieste, credenziali, registri dei clienti e risultati degli strumenti. La direzione del prodotto di Sidewisp è quella di trasformare la disponibilità, l'esecuzione, la memoria, lo strumento, il risultato e le prove sui costi in una visione chiara della salute, preservando l'autorità umana e raccogliendo solo ciò che è necessario. Sidewisp è attualmente in anteprima privata. Il sito pubblico e gli articoli sono in diretta; gli adattatori di monitoraggio della produzione e il recupero automatico non sono generalmente spediti. Se questo limite di prove corrisponde al modo in cui vuoi operare gli agenti, puoi unirti alla lista d'attesa di anteprima privata.