Datadog LLM Osservabilità per il letto: prova la traccia interna

Datadog LLM L'osservabilità per Bedrock può spiegare una chiamata di modello catturata o un'invocazione di agente, ma una traccia visibile non è ancora un verdetto sanitario. Per un'agente Amazon Bedrock esistente, richiedono cinque ricevute: la configurazione prevista è stata preparata, l'alias o la versione corretta è stata eseguita, sono arrivati gli eventi di traccia interna, qualsiasi azione di consegna ha raggiunto uno stato definito e il risultato promesso esiste alla sua destinazione. Questa distinzione conta ora. AWS afferma che Amazon Bedrock Agents è ora Amazon Bedrock Agents Classic e non sarà più aperto ai nuovi clienti a partire dal 30 luglio 2026; i clienti esistenti possono continuare ad usarlo. La presente guida costituisce pertanto un'audit per le implementazioni esistenti di Bedrock Agents Classic. Non si tratta di una raccomandazione di campo verde e non presuppone che un'integrazione di AgentCore abbia la stessa telemetria. Inizia con l' esatto contratto di Bedrock che stai rintracciando La prima trappola è trattare il tracciamento di Bedrock come una caratteristica. Datadog documenta il tracciamento automatico per i metodi Bedrock Runtime InvokeModel() e InvokeModelWithResponseStream() . Questi intervalli possono portare latenza, errori, messaggi e uso di token per una chiamata di modello. Un agente di Bedrock utilizza un'operazione runtime diversa: InvokeAgent . L'attuale riferimento di strumenti automatici di Datadog dice che la sua integrazione con Python Bedrock Agents rintraccia la chiamata InvokeAgent complessiva per impostazione predefinita. Per rivelare i passi intra agente, la richiesta deve utilizzare enableTrace=True . AWS dà allo stesso switch un significato operativo: l'attivazione della traccia segue il processo di ragionamento, le azioni e il risultato dell'agente. La risposta InvokeAgent è un flusso di eventi che può contenere pezzi di uscita, eventi di traccia, errori, citazioni e un carico utile di controllo del ritorno. Vedere solo l'appello esteriore dimostra quindi meno che vedere orchestrazione, base di conoscenze, barriera e prove di gruppo d'azione all'interno. Strato di prova Che cosa dimostra Cosa non dimostra Spans di modello di bedrock Un'invocazione del modello catturata, durata, errori e campi di utilizzo disponibili Quale versione dell'agente ha richiesto la chiamata o se il compito è finito InvokeAgent spans radice L'applicazione ha invocato il tempo di esecuzione dell' Agente Bedrock Quella orchestrazione incastonata fu catturata . Eventi di traccia annidati L'invocazione selezionata ha rivelato i passi di ragionamento interno e di azione Che il progetto previsto sia stato redatto o che l'effetto esterno esista Fragmento di risposta completato Bedrock ha restituito la risposta finale dell'interazione Che la consegna promessa ha superato l'accettazione Risultato di destinazione Un file, un record, un messaggio o un altro effetto atteso esiste e è valido Perché un precedente agente si è comportato così? L'utile predefinito è mantenere l'istrumentazione automatica per le chiamate supportate e aggiungere una piccola ricevuta di salute senza contenuti intorno a InvokeAgent . Non caricare richieste, credenziali, argomentazioni degli strumenti o risposte complete solo per stabilire lo stato. Immagazzinare identificatori, timestamp, booleans, conteggi e hash dove sono sufficienti. Raccogliere cinque ricevute per ogni invocazione importante L'audit diventa gestibile quando ogni limite possiede una ricevuta. 1. Ricevuta di configurazione preparata AWS distingue il progetto di lavoro dalle versioni preparate e dagli alias. Dopo aver modificato il progetto di lavoro, deve prepararlo prima di effettuare le prove o di essere distribuito. AWS raccomanda inoltre di verificare il valore preparedAt dell'agente. Registrazione: La regola deterministica è semplice: In caso di fallimento, classificare la corsa come CONFIG NOT PREPARED . Non deporre una traccia dettagliata come se rappresentasse la configurazione prevista. 2. Risultato dell'identità di citazione Riutilizzare lo stesso Bedrock sessionId solo continuando la stessa conversazione. Conservare l'alias o la versione selezionata accanto a un hash unidirezionale dell'identificatore di sessione. Questo lega la durata della radice di Datadog, il flusso di eventi Bedrock e la portata prevista dell'operatore senza mantenere il contenuto utente. Una traccia recente con l'alias sbagliato e' una prova sbagliata, non una prova sana. 3. Racconto di copertura interna Imposta l'attivazione della traccia sulla richiesta quando la questione operativa dipende da passi interni: Non stampare mai i valori in una diagnosi di produzione. La ricevuta richiede solo: Se l'intervallo di radice esiste ma la traccia è disabilitata o non arriva alcun evento annidato, restituire TRACE INCOMPLETE . E' un verdetto di copertura. Non dimostra che l'agente abbia fallito. Allo stesso modo, uno spazio di radice mancante di Datadog dovrebbe essere TRACE MISSING , non AGENT FAILED . Il campionamento, la configurazione dell'esportatore, il trasporto, le versioni non supportate della biblioteca o l'ordine degli strumenti possono rimuovere le prove. Datadog espone una regolazione del tasso di campionamento di traccia, quindi l'assenza deve preservare l'incertezza. 4. Risultato dello stato di azione Un agente può invocare un gruppo di azione supportato da Lambda, consultare una base di conoscenze o restituire il controllo all'applicazione di chiamata. Nel percorso di ritorno controllo, l'applicazione riceve l'azione prevista e deve presentare un risultato per proseguire. Registrare se: si è verificato un errore di azione; un carico utile di controllo di ritorno è arrivato; la domanda ha presentato il risultato dell'azione corrispondente; Un pezzo di risposta è ancora in attesa. Se il controllo di ritorno è presente e non è stato presentato alcun risultato, lo stato corretto è WAITING FOR ACTION RESULT . Ha un proprietario e un'azione successiva. Chiamarlo bloccato crea allarmi rumorosi; chiamarlo completo perde lavoro. 5. Ricevimento dei risultati Datadog può posizionare valutazioni personalizzate accanto a una traccia, e tali valutazioni sono utili per controlli soggettivi di qualità o di politica. Preferire un verificatore deterministico quando la promessa è ispezionabile: consegna dei file: percorso previsto, MIME, dimensione, somma di controllo e schema; scrivere database: chiave di registrazione, versione e campi richiesti; Messaggio in uscita: ricevuta del fornitore e hash di destinazione; Sviluppo: revisione dell'obiettivo e controllo sanitario indipendente; Risposta alla conoscenza: citazioni richieste più una regola di accettazione del dominio. Il ricevimento del risultato dovrebbe contenere le prove minime necessarie per riprodurre il verdetto. Una risposta che dice done non è uno di questi campi. Eseguire la regola di decisione di otto stati L'artefatto di accompagnamento applica le ricevute in ordine fisso. I confini precedenti impediscono alle prove successive di creare un falso verde: Ho controllato questo classificatore su otto casi privi di contenuti. Tutte le otto corrispondono ai loro verdetti attesi: L'apparecchio dà deliberatamente outcomeVerified: true alla custodia di preparazione antiquata. Ritorna comunque CONFIG NOT PREPARED , perché un risultato della configurazione preparata sbagliata non può certificare la liberazione prevista. Inoltre dà una risposta completa Bedrock al caso falso completo; senza la ricevuta di destinazione, il verdetto finale rimane rosso. Convertite ogni verdetto in un'azione limitata. Il classificatore è utile solo se i suoi stati modificano la prossima mossa dell'operatore. Verdicto Prima azione Non fare CONFIG NOT PREPARED Preparare il progetto previsto, confermare preparedAt , poi riprodurre un canario Diagnosticare le vecchie tracce come il nuovo rilascio TRACE MISSING Controllare le versioni SDK e tracer supportate, l'ordine di inizializzazione, la consegna all'esportatore e il campionamento Riprovare l' agente come se l'assenza fosse un fallimento . TRACE INCOMPLETE Confirmazione enableTrace=True e che gli eventi nidificati raggiungono la traccia di Datadog Chiamare la copertura completa dell'agente WORKING Aspettare entro la scadenza dell'invocazione mentre i cambiamenti in corso Avviso solo per il tempo trascorso WAITING FOR ACTION RESULT Trasferire la richiesta di controllo del ritorno al suo proprietario con un termine Rilancia l'agente o segna che è bloccato ACTION FAILED Controllare la prima azione fallita e il suo limite di errore; riprovare solo se l'effetto è sicuro Riproduci un effetto collaterale incerto ciecamente FALSE COMPLETE Eseguire il verificatore di destinazione e riparare il risultato mancante Accettare il testo di risposta finale come consegna HEALTHY Tenere la ricevuta compatta e chiudere la corsa Conservazione di carichi utili sensibili solo in caso Questo ordine chiarisce anche la proprietà dell'incidente. I problemi di copertura dei datadog appartengono a strumentazione o trasporto. L'attesa del controllo di ritorno appartiene all'applicazione o all'uomo che possiede la decisione esterna. Un'azione fallita appartiene al limite dello strumento. Un documento di consegna mancante appartiene al verificatore dei risultati. Un avviso di errore generico agente non può contenere tali distinzioni. Tenere i confini Datadog e Sidewisp onesti Datadog Agent Observability è il posto giusto per ispezionare le tracce catturate, la struttura di span, la latenza del modello e degli strumenti, l'utilizzo dei token disponibili, gli errori e le valutazioni. La documentazione di integrazione Bedrock fornisce passi concreti di configurazione e convalida, compresa la verifica dello stato del tracciatore e il debug dei problemi di trasmissione. L'audit di cui sopra aggiunge un limite di rilascio e di risultato; non riduce le tracce. Essa impedisce a tale prova di rispondere a una domanda che non è stata progettata per rispondere da sola. Restano tre limitazioni: 1. Il dispositivo convalida la priorità decisionale, non la veridicità dei dati AWS, Datadog o destinazione. 2. Il campionamento può rimuovere intenzionalmente le tracce. Una copertura SLO ha bisogno di un canario controllato o di un altro denominatore; l'assenza di tracce di produzione è ambigua. 3. Un giudice LLM può aiutare nella qualità soggettiva delle risposte, ma non dovrebbe sostituire un controllo deterministico della destinazione per un effetto ispezionabile. Per le implementazioni esistenti di Bedrock Agents Classic, la linea di fine pratica è quindi: versione preparata corrente, corretto ambito di invocazione, traccia interna completa quando richiesto, stato di azione risolto e risultato verificato. Qualsiasi cosa di meno dovrebbe rimanere funzionante, in attesa, incerta o fallita. Sidewisp è attualmente in anteprima privata. È destinato ad aggiungere uno strato di salute dell'agente intorno ai tempi di esecuzione esistenti, ma i suoi adattatori di produzione Bedrock e Datadog non vengono spediti. Unisciti all'anteprima privata se questo flusso di lavoro sulla prova della salute corrisponde al modo in cui gestisci gli agenti; continua a utilizzare Datadog e AWS come la loro documentazione attuale supporta oggi. Fonti Datadog Amazon integrazione Bedrock Strumentazione automatica datadog per l'osservabilità dell'agente Datadog: Agenti di monitoraggio costruiti su Amazon Bedrock AWS InvokeAgent API di riferimento AWS: test e risoluzione dei problemi comportamenti degli agenti