OpenTelemetry LLM Osservabilità: Pin lo schema prima di verde

La osservabilità OpenTelemetry LLM è utile solo se la telemetria ha un significato dichiarato. Prima di trattare una traccia di GenAI come prova operativa, inserire la revisione della convenzione semantica, convalidare i campi richiesti per ciascuna operazione, respingere la cattura di contenuti non approvati, dimostrare la presenza delle operazioni attese e quindi valutare separatamente la freschezza, lo stato di lavoro e il risultato esterno. Questo ordine è importante a luglio 2026. Il sito web di OpenTelemetry indica ora le convenzioni di GenAI ad un repository dedicato. Nella revisione sorgente ispezionata per questo articolo, 434c91dcc34ed038e3048c07720ddfed2c6bddfc , README elenca ancora l'URL dello schema come TODO del repository, e il documento generativo di span client sono contrassegnati come Development . Questo non è un motivo per evitare OpenTelemetry. È un motivo per rendere esplicita la compatibilità. Un dashboard contenente spazi GenAI può ancora combinare un vecchio produttore, un collezionista attuale e una query scritta per una terza forma di attributo. Il default sicuro è un piccolo profilo di accettazione versionale accanto alla configurazione del collector. Fermate il contratto che gestite. Il repository GenAI di OpenTelemetry copre i clienti LLM, gli agenti, l'esecuzione degli strumenti, la valutazione, la memoria, il recupero e l'MCP. I suoi documenti sono in parte generati da modelli YAML, il che è prezioso perché la fonte è ispezionabile e verificabile. Ciò significa anche che "utilizziamo OTel" è troppo vago per essere un'affermazione di compatibilità. Registrare quattro identità con ogni impiego di strumentazione: Individualità Esempio Perché importa Fonte della convenzione Repository più commit SHA Definisce il contratto di attributo e operazione che hai esaminato pacchetto di strumenti Nome e versione del pacchetto Identifica l'emissione dello spazio Pipeline di raccolta Configurazione di digestione e ID di distribuzione Identifica i trasformatori, i filtri e gli esportatori Contratto richiesto Versione di dashboard o di allarme Identifica quali campi il verdetto prevede Non dedurre la revisione del congresso da qualsiasi campo venga arrivato. Che trasforma la silenziosa deriva in apparente compatibilità. Se un produttore non è in grado di dichiarare la sua revisione, classificare il lotto come schema drift fino a quando non si verifica e si registra la forma del produttore. Ciò è particolarmente importante quando coesistono strumentazioni interne e esterne. orientamento sull'osservabilità dell'agente di OpenTelemetry descrive i compromessi di manutenzione degli strumentazioni coperte e avverte che i pacchetti esterni possono collidere con esso. La stessa chiamata modello può altrimenti essere osservata due volte, o una rotta può rimanere su una convenzione antica dopo un aggiornamento parziale. La regola pratica è semplice: un produttore di telemetria atteso per percorso operativo, una revisione della convenzione dichiarata per coorte di distribuzione e una traccia canaria che deve passare prima che la coorte venga promossa. Convalidare un piccolo profilo operativo prima dello schema completo Si può generare un validatore semantico convenzionale completo a partire dai modelli del repository. Un cancello operativo dovrebbe iniziare più piccolo. Inforzare solo i campi che influenzano le vostre decisioni attuali, quindi ampliare il profilo man mano che si utilizzano più operazioni. Nella revisione fissata, i segni tabella di spazi di inferenza: gen ai.operation.name secondo le esigenze; gen ai.provider.name secondo le esigenze; error.type come condizionalmente richiesto quando l'operazione termina con un errore; gen ai.request.model secondo le condizioni richieste quando disponibile; messaggi di input, messaggi di output, istruzioni del sistema e definizioni degli strumenti come opt in. Tali livelli di requisito non dovrebbero essere appiattiti in "campo presente o assente". Un intervallo di errore senza error.type ha perso una classe di prove che la convenzione prevede. Un modello di richiesta mancante può essere legittimo quando non era disponibile. Il contenuto immediato e il contenuto delle risposte dovrebbero rimanere assenti, a meno che una politica esplicita non consente la raccolta. L'audit accompagnatore mette in atto questo stretto profilo: La verifica del contenuto guarda solo l'attributo Key . Non legge né memorizza testo immediato, testo di risposta, istruzioni del sistema o argomenti degli strumenti. Questo è sufficiente per catturare una cattura accidentale senza trasformare il validatore in un altro spazzolino di dati sensibili. C'è una limitazione deliberata: questo profilo non è l'intera specifica di OpenTelemetry. Essa testano un contratto revedibile utilizzato per un verdetto operativo. Quando la fonte a monte cambia, aggiornare la revisione fissata, confrontare le definizioni generate, regolare il dispositivo e ricorrere prima di aggiornare i produttori. Copertura dell'audit prima di interpretare una traccia pulita Un intervallo conforme può essere ancora una prova incompleta. Se la domanda prevede invoke agent , chat e execute tool , ma la traccia contiene solo i primi due, il verdetto corretto è coverage gap , non sano. Costruire le operazioni attese dalla topologia del flusso di lavoro piuttosto che da intervalli osservati: Ciò evita un test circolare in cui la telemetria definisce la propria interezza. L'insieme atteso può provenire da un manifesto di rilascio, da un percorso di strumento registrato o da una definizione di flusso di lavoro. Dovrebbe essere abbastanza piccolo da mantenere e sufficientemente specifico da rivelare un percorso di strumentazione mancante. Le riprovazioni automatiche richiedono cura. La prosa attuale del cliente dice che uno spazio logico dovrebbe coprire la durata dell'operazione, compresi i retest automatici. La tua domanda può anche conservare i tempi di trasporto a livello di tentativo. Non contare quei due strati come duplicato lavoro agente. Decidete se la copertura è espressa nell'operazione logica, tentativo, o entrambi, quindi rendete esplicita la relazione. Allo stesso modo, il nome del fornitore non è necessariamente il proprietario finale del modello. La convenzione osserva che gli strumenti possono conoscere una piattaforma proxy o di hosting piuttosto che il fornitore upstream trasparente. Trattare la gen ai.provider.name come un fattore discriminante di formato e di routing nel suo ambito documentato, non come un oráculo di fatturazione o di provenienza modello. Considera gli schemi, la salute e l'esito come verdetti separati Una volta passati gli schemi e la copertura, la traccia è ammissibile ad informare una decisione sanitaria. Non è una decisione da sola. Utilizzare una precedenza esplicita: 1. Schema identity il produttore corrisponde alla revisione fissata? 2. Validità dello schema sono richiesti e i campi condizionati sono validi? 3. Politica di contenuto sono consentiti i campi di opt in per questo percorso? 4. Coverage sono rappresentate tutte le operazioni attese? 5. Freshness le prove sono abbastanza recenti per il flusso di lavoro? 6. Stato di lavoro l'agente sta lavorando, aspettando, bloccato, incerto o completo? 7. Outcome esiste il risultato promesso alla destinazione? La decina di casse per questo articolo rende intenzionalmente inconvenienti questi strati. Esso comprende: un produttore non sostenuto e un produttore in eredità; un intervallo di inferenza mancante di gen ai.provider.name ; un intervallo di errore mancante di error.type ; una chiave di contenuto di opt in senza autorizzazione; un flusso di lavoro che non ha la durata attesa dello strumento; una traccia completa senza ricevuta del risultato; una traccia verificata, ma inedita; una legittima attesa di approvazione umana; un caso fresco, coperto e verificato. Eseguire l' artefatto con: Il risultato eseguito ha classificato esattamente dieci casi: Il caso complete no receipt è il confine chiave. La sua revisione del produttore corrisponde. Le sue estensioni contengono i campi richiesti dal profilo. Esistono le operazioni attese di agente e di modello. La telemetria è fresca. Ritorna comunque unverified perché nessuna ricevuta di destinazione dimostra l'esistenza del biglietto, del file, della distribuzione o di altro risultato promesso. Il caso waiting for approval conserva un confine diverso. I tempi recenti, conformi, si fermano con un'approvazione umana nominata con un proprietario e una scadenza. Non e' una bancarella. Pagare un operatore come se l'agente avesse fallito distruggerebbe informazioni utili dello stato. Trasformare l'audit in un controllo delle emissioni e degli incidenti Eseguire questo test a tre momenti. Prima di un aggiornamento di strumentazione , catturare la revisione attuale, le versioni del pacchetto, la digestione del collezionatore e le operazioni attese. Riproduci il dispositivo fisso contro la pila proposta. Un verdetto modificato deve essere spiegato prima della promozione. Durante il lancio , emette un canario senza contenuti attraverso ogni modello registrato, agente e rotta degli strumenti. Controllare che ogni canario arrivi una volta, porti l'identità del produttore prevista, passi il profilo operativo e rimanga consultabile all'interno della finestra di freschezza. Durante un incidente , conservare i quattro strati invece di farli crollare in "l'osservabilità è rotta". Un vuoto di copertura richiede la riparazione degli strumenti. La telemetria stale richiede la diagnosi del collezionista o dell'esportatore. waiting chiama il proprietario nominato. unverified richiede un controllo di destinazione, non un altro test di modello. Non riparare automaticamente un agente perché un campo di telemetria è cambiato. La deriva delle convenzioni può rendere incerte le prove senza rendere il lavoro sottostante malsano. Fermare il recupero attivo, identificare lo strato di prova fallito e utilizzare il più piccolo test reversibile che ripristini la fiducia. Il profilo schema ha bisogno anche di un proprietario. Inserire un impegno per sempre non è sicurezza; è un'eventuale stagnazione. Assegna una cadenza di revisione, guarda il repository di GenAI e richiede una differenza di fissaggio quando si muove il pin. Se OpenTelemetry pubblica un URL stabile dello schema GenAI in seguito, adottalo quando i produttori e le richieste lo supportano, ma mantenete indipendente la copertura, la freschezza, l'attesa e i controlli di risultato. Sidewisp è attualmente in anteprima privata. La sua esperienza pubblica è un sito web di accesso precoce e una dimostrazione interattiva; la raccolta dell'agente di produzione salute, gli adattatori host e il recupero non vengono spediti nel repository attuale del sito web. La direzione del prodotto è uno strato di salute attorno ai tempi di esecuzione esistenti, non un collettore OpenTelemetry, un backend di tracciamento o un fissatore autonomo. Se le prove di revisione e la verifica del risultato separata corrispondono ai guasti che è necessario individuare, si può descrivere partecipare alla visualizzazione privata di Sidewisp e il percorso di esecuzione e telemetria dell'agente che si gestisce.