Nuova osservabilità LLM Relic: dimostrare che ogni chiamata è proprietaria di un percorso

L'osservabilità di New Relic LLM può mostrare la latenza del modello, token, errori, tracce e dati di risposta AI. Non può, da solo, dire a un operatore se due raccoglitori hanno conteggiato la stessa chiamata modello o se l'agente ha prodotto il risultato esterno richiesto. L'impostazione predefinita pratica è nominare un proprietario della strumentazione per ciascun limite di chiamata del modello , correlare ogni record a un ID di chiamata privo di contenuto e conservare una ricevuta separata per il risultato finale. Questa regola è importante perché New Relic documenta diversi percorsi legittimi. È nativoMonitoraggio dell'intelligenza artificialeutilizza agenti APM. New Relic documenta ancheOpenLIT su OTLPper tracce e metriche eOpenLLMetria su OTLPper tracce. LiteLLM ha un corso separatoNuova integrazione Reliccostruito attorno al suo callback e all'agente New Relic Python. Questi percorsi sono opzioni, non la prova che tutti dovrebbero definire lo stesso confine. È possibile compilare una dashboard mentre la proprietà è errata, le prove sono obsolete, un campo obbligatorio è assente o una chiamata di modello completata non ha un risultato verificato. Dichiarare la rotta prima di fidarsi della carta Inizia con un manifesto di distribuzione, non con una query. Dovrebbe identificare il servizio, il confine da strumentare, l'unico proprietario autorizzato a segnalare quel confine, i tipi di segnale che il proprietario può emettere, il campo di correlazione e il limite di aggiornamento. La distinzione tra un proprietario e un tipo di segnale impedisce un grossolano errore di deduplicazione. Un proprietario dichiarato può emettere deliberatamente uno span APM e un evento di messaggio AI per la stessa chiamata. Tali record sono complementari quando condividono lo stesso ID chiamata e il contratto di distribuzione li prevede entrambi. Un record OpenLIT e un record OpenLLMetry per lo stesso confine sono due proprietari, anche se i relativi campi sembrano simili. Il manifesto deve essere prodotto dalla distribuzione che ha abilitato la strumentazione. Non dedurlo da qualunque entità appaia nell'interfaccia utente. I percorsi di installazione stabiliscono l'identità in modo diverso: Il monitoraggio dell'intelligenza artificiale di New Relic inizia con un agente APM e una libreria o un framework supportato. OpenLIT invia tracce e parametri all'endpoint OTLP di New Relic. OpenLLMetry invia tracce a quell'endpoint e New Relic deriva l'entità del servizio da OpenTelemetry service.name attributo della risorsa. LiteLLM consente a newrelic callback e utilizza l'agente New Relic Python per la telemetria APM. La sua documentazione dice che la richiamata registra un messaggio di inizializzazione e che i dettagli della traccia potrebbero richiedere da due a tre minuti per essere visualizzati. Questo è sufficiente per richiedere un record di percorso esplicito. Non è una prova che una particolare coppia duplicherà sempre una chiamata. L’affermazione operativa sicura è più ristretta: se si osservano due proprietari per un confine il cui manifesto ne consente uno, i totali e i verdetti sanitari sono ambigui finché lo schieramento non viene riconciliato. Utilizzare un identificatore di chiamata opaco anziché un hash del prompt. Un'utile busta di osservazione può rimanere priva di contenuti: Il contenuto della richiesta e della risposta non è necessario per la proprietà, l'aggiornamento, la presenza del campo token o la verifica della destinazione. LiteLLM documenta sia un documento specifico di New Relic turn off message logging impostazione e un interruttore di ambiente che disabilita la registrazione dei contenuti di monitoraggio AI. Trattare la conservazione dei contenuti come una decisione separata sulla privacy; non attivarlo semplicemente per far funzionare il controllo della proprietà. Riproduci gli otto stati nascosti da una vista verde L’audit accompagnatorio si avvale di otto bandi sintetici. Si applica questa precedenza: 1. nessuna osservazione; 2. proprietario previsto assente; 3. più proprietari; 4. tipo di segnale imprevisto o campo obbligatorio mancante; 5. prove obsolete; 6. legittima attesa; 7. completamento senza ricevuta di esito; 8. completamento con ricevuta di esito. La precedenza conta. Un record obsoleto del proprietario corretto non è integro. Anche un nuovo record del proprietario sbagliato non è salutare. L'attesa viene valutata solo dopo che proprietà, forma e freschezza sono passate, quindi una pausa di approvazione non può nascondere una raccolta interrotta. L'apparecchiatura completa non contiene suggerimenti o risposte. Eseguendolo si ottengono otto diversi verdetti: Il classificatore è volutamente piccolo: Ogni verdetto di non buona salute indica una riparazione diversa: Verdetto Cosa stabilisce Azione successiva delimitata NO TELEMETRY Non è arrivata alcuna registrazione per la chiamata prevista Controlla l'inizializzazione della strumentazione, la raggiungibilità dell'esportatore e la finestra di query ROUTE DRIFT I dati sono arrivati, ma non dal proprietario dichiarato Confronta il manifesto della distribuzione con il processo in esecuzione e disabilita il percorso non previsto MULTIPLE OWNERS Più di un proprietario della strumentazione ha osservato il confine Metti in quarantena la chiamata dai totali; scegli un proprietario o registra un'eccezione di migrazione limitata nel tempo SCHEMA GAP La proprietà è corretta, ma le prove sono inutilizzabili o incomplete Correggi la mappatura dei campi o il contratto del tipo di segnale prima di avvisarlo STALE Le prove più recenti superano l'età consentita Esamina il ritardo dell'esportatore, le code, l'allineamento dell'orologio e il tempo delle query WAITING La raccolta è integra e rimane una dipendenza denominata Avvisare il proprietario o attendere fino alla scadenza registrata; non riavviare l'agente OUTCOME UNVERIFIED La chiamata modello è stata completata senza la prova dell'effetto richiesto Esegui il controllo deterministico della destinazione HEALTHY Proprietà, prove, stato del lavoro e risultati concordano tutti Conservare lo scontrino e applicare la finestra normale di stabilità MULTIPLE OWNERS non dovrebbe eliminare o unire automaticamente i record. Durante una migrazione pianificata, la doppia raccolta può essere utile. Rendi esplicita l'eccezione con un'ora di inizio, un'ora di fine, proprietari e una regola di riconciliazione. Mantenere le osservazioni sulla migrazione fuori dai denominatori dei costi di produzione e dell'affidabilità finché i due percorsi non vengono confrontati. Altrimenti, un apparente picco di token potrebbe essere un cambiamento di strumentazione piuttosto che un cambiamento di comportamento. L'incontro mostra anche perché uno stato rosso generico è debole. ROUTE DRIFT è un problema di distribuzione; STALE potrebbe trattarsi di un problema di acquisizione o di finestra di query; WAITING non è un fallimento; E OUTCOME UNVERIFIED richiede un controllo della destinazione anziché un'altra query di traccia. Unisci l'osservabilità a una ricevuta di esito La documentazione sul monitoraggio dell'intelligenza artificiale di New Relic descrive le prove di prestazioni, costi, token, risposta, traccia e feedback degli utenti. Questi sono segnali utili sul livello AI. Una risposta del modello può comunque essere seguita da una chiamata allo strumento non riuscita, da un file non inviato, da un'e mail mai inviata o da un lavoro in attesa di approvazione. Per questo motivo, mantieni la ricevuta di destinazione al di fuori della telemetria della chiamata del modello: La destinazione e la modalità di verifica dipendono dal lavoro. Utilizza una versione dell'oggetto per il caricamento di un file, un hash di commit e controlli per una modifica del codice, un ID messaggio del provider per una consegna o una rilettura dell'API per una mutazione della configurazione. Un codice di uscita del comando è più debole quando il risultato promesso esiste altrove. Nella riproduzione, false complete E healthy hanno gli stessi due tipi di segnali lato New Relic, proprietario, campi e freschezza. Cambia solo la ricevuta di destinazione. Questo è il confine operativo: l’osservabilità del LLM spiega l’evidenza della chiamata al modello; la ricevuta dimostra che il risultato atteso dall'agente esiste. Un'implementazione pratica è piccola: 1. Scegli un confine reale della chiamata del modello. 2. Registrare il proprietario della strumentazione previsto e i tipi di segnale consentiti nella distribuzione. 3. Genera un ID chiamata sintetico ed esegui query su ogni tipo di evento New Relic pertinente. 4. Fallire l'implementazione se il proprietario previsto è assente o appare un proprietario non dichiarato. 5. Verificare i campi obbligatori e un intervallo di aggiornamento limitato. 6. Documentazione working , una dipendenza in attesa denominata o complete separatamente. 7. Richiedere una ricevuta di destinazione deterministica prima dello spostamento complete a sano. 8. Ripetere dopo un aggiornamento dell'SDK, della richiamata, dell'esportatore o dell'agente. Questa procedura ha una limitazione: non dimostra che ogni integrazione supportata da New Relic doppierà ogni combinazione di framework. Dimostra se la tua distribuzione osservata corrisponde al contratto di proprietà dichiarato. Inoltre, non sostituisce i controlli di compatibilità di New Relic o un test completo di conformità dello schema OpenTelemetry. Il ruolo previsto da Sidewisp è adiacente a questa distinzione: combinare prove su raggiungibilità, progressi utili, strumenti, risultati, tempo e budget in una visione della salute dell'agente. Sidewisp è attualmente in anteprima privata. Il prodotto live è un sito Web e una dimostrazione ad accesso anticipato; un adattatore New Relic di produzione, un motore di monitoraggio e un esecutore di ripristino automatizzato non vengono spediti. Utilizza il controllo di cui sopra con i tuoi attuali sistemi di telemetria e destinazione anziché dare per scontato che Sidewisp li raccolga o li risolva oggi. La risoluzione è abbastanza semplice da applicare: un proprietario dichiarato della strumentazione per confine di chiamata del modello, più tipi di segnali solo quando il manifest li consente, nuove prove prive di contenuto, uno stato di attesa esplicito e una ricezione di risultati indipendente. Una vista verde New Relic diventa affidabile per le operazioni degli agenti solo dopo che tali limiti sono stati concordati.