데이터도그 LLM 베드록에 대한 관찰력: 내부 흔적을 증명한다

데이터도그 LLM 베드록의 관찰성은 캡처된 모델 호출이나 에이전트 호출을 설명할 수 있지만 눈에 보이는 흔적은 아직 건강 판결이 아닙니다. 기존의 아마존 베드록 에이전트에게는 다섯 개의 인수증이 필요합니다: 의도된 구성이 준비되어, 올바른 별명 또는 버전이 실행되었습니다, 내부 추적 이벤트가 도착했습니다, 모든 행동 전달이 정의 된 상태에 도달했으며 약속된 결과는 목적지에 있습니다. 그 차이점은 이제 중요합니다. AWS는 아마존 베드록 에이전트가 이제 Amazon 베드록 에이전트 클래식 라고 밝혔으며 2026년 7월 30일부터 새로운 고객에게 개방되지 않을 것이며 기존 고객은 계속 사용할 수 있습니다. 따라서 이 가이드는 기존의 Bedrock Agents Classic 배포에 대한 감사입니다. 이것은 녹색 필드 추천이 아니며, AgentCore 통합이 동일한 텔레메트리를 가지고 있다고 가정하지 않습니다. 당신이 추적하고 있는 베드록 계약에 대해 정확히 알아보자 첫 번째 함정은 Bedrock 추적을 하나의 특징으로 취급하는 것입니다. Datadog는 Bedrock Runtime 방법 InvokeModel() 및 InvokeModelWithResponseStream() 의 자동 추적을 문서화합니다. 그 기간은 지연, 오류, 메시지 및 모델 호출의 토큰 사용량을 가져갈 수 있습니다. 베드록 에이전트는 InvokeAgent 라는 다른 실행 시기를 사용합니다. 현재 Datadog의 자동 기기 참조는 파이썬 베드록 에이전트 통합이 기본적으로 전체 InvokeAgent 호출을 추적한다고 말합니다. 내부 요인 단계를 노출하기 위해 요청은 enableTrace=True 를 사용해야 합니다. AWS는 동일한 스위치에 운영적인 의미를 부여합니다. 추적 활성화는 에이전트의 추론 과정, 행동 및 결과를 따르습니다. InvokeAgent 응답은 출력 덩어리, 추적 이벤트, 오류, 인용 및 반환 제어 유용 부하를 포함 할 수있는 이벤트 스트림입니다. 따라서 외부의 호출만을 보는 것은 오케스트레이션, 지식 기반, 경비선, 그리고 행동 집단 증거들을 보는 것보다 덜 증명됩니다. 증거층 그 증거는 증명하지 않는 것 베드록 모델 스펙트럼 캡처된 모델 호출, 기간, 오류 및 사용 가능한 사용 필드 어떤 에이전트 버전이 호출을 요청했거나 작업이 완료되었는지 InvokeAgent 루트 스탠 신청은 베드록 에이전트 런타임을 호출했습니다 둥지를 틀고 있는 오케스트라가 잡혔습니다. 둥지를 틀어 놓은 흔적 사건 선택된 호출은 내적 추론과 행동 단계를 노출 계획된 초안이 작성되었거나 외부 효과가 존재한다는 점 완료된 응답 조각 베드록은 상호작용의 최종 반응을 반환 약속된 배달품이 받아들여졌다고 목적지 영수증 파일, 기록, 메시지 또는 다른 예상되는 효과가 존재하고 유효합니다 왜 이전 에이전트 스테프가 그랬던 것처럼 행동했는가? 유용한 기본은 지원되는 호출에 대한 자동 기기를 보관하고 InvokeAgent 주위에 작은 내용없는 건강 인증을 추가하는 것입니다. 상태를 확립하기 위해 명령어, 자격증, 도구 논쟁 또는 전체 응답을 업로드하지 마십시오. 식별자, 시간표, 볼리언, 카운트 및 해시가 충분할 경우 저장하십시오. 각 중요한 청구에 대해 5개의 영수증을 수집합니다. 각 경계가 하나의 영수증을 소유하면 감사가 관리될 수 있습니다. 1. 준비된 구성 영수증 AWS는 작업 드래프트를 준비된 버전과 별명에서 구별합니다. 작업 드래프트를 변경한 후 테스트 또는 배포 전에 준비해야 합니다. AWS는 또한 에이전트의 preparedAt 값을 확인하는 것을 권장합니다. 기록: 결정주의 법칙은 간단합니다. 실패하면, CONFIG NOT PREPARED 로 분류한다. 세부적인 흔적을 의도된 구성을 나타내는 것처럼 디버깅하지 마십시오. 2. 발령 신분 증명서 동일한 Bedrock sessionId 를 동일한 대화를 계속할 때만 재사용하십시오. 선택된 별명 또는 버전을 세션 식별자의 일방향 해시 옆에 보관합니다. 이것은 Datadog 루트 스파인, Bedrock 이벤트 스트림 및 사용자 콘텐츠를 유지하지 않고 운영자의 예상 범위를 결합합니다. 잘못된 별명을 가진 최근 흔적은 잘못된 증거가 아니라 건전한 증거입니다. 3. 내부 추적보험 영수증 운영문제가 내부 단계에 의존할 때 요청에 추적 기능을 설정합니다. 생산 진단서에서 값을 인쇄하지 마십시오. 영수증은 다음과 같습니다. 루트 스랜이 존재하지만 흔적이 비활성화되거나 둥지를 틀어 놓은 이벤트가 발생하지 않으면 TRACE INCOMPLETE 를 반환하십시오. 그건 보급 판결입니다. 그건 에이전트가 실패했다는 증거가 아닙니다. 이와 마찬가지로, 부족한 Datadog 루트 스랜은 TRACE MISSING 가어야 하며, AGENT FAILED 가 아닙니다. 샘플링, 수출자 구성, 운송, 지원되지 않은 라이브러리 버전 또는 기기 주문은 모두 증거를 제거 할 수 있습니다. 데이터닷그는 추적 샘플 비율 설정을 노출하므로 부재는 불확실성을 유지해야 합니다. 4. 액션 상태 영수증 에이전트는 Lambda가 지원하는 액션 그룹을 호출하거나 지식 기반을 검색하거나 호출 애플리케이션에 컨트롤을 반환할 수 있습니다. 반환 제어 경로에서, 응용 프로그램은 예측 된 행동을 받고 계속하기 위해 결과를 제출해야합니다. 다음 각 호의 내용을 기록하십시오. 행동 오류가 발생했을 때 환승 제어용 부하가 도착 신청서는 해당 조치 결과를 제출하였다. 아직 응답이 기다리고 있습니다. 반환 통제가 존재하고 결과가 제출되지 않은 경우 올바른 상태는 WAITING FOR ACTION RESULT 입니다. 소유자와 다음 액션이 있습니다. 꽉 차있다고 부르는 것은 소란한 경고를 만들어냅니다. 꽉 차있다고 부르는 것은 일을 잃게 됩니다. 5. 결과 인수 데이터도그는 추적과 함께 사용자 지정 평가들을 배치할 수 있으며, 이러한 평가들은 주관적인 품질 검사나 정책 검사에 유용합니다. 약속이 검사될 때 결정적 검증기를 선호합니다. 파일 전달: 예상 경로, MIME, 크기와 체크섬, 스키마 데이터베이스 작성: 레코드 키, 버전 및 필요한 필드 출력 메시지: 공급자 수신 및 목적지 해시 배포: 목표 개정과 독립적인 건강검진 지식 응답: 필요한 인용과 도메인 수용 규칙. 그 결과 인수록은 판결을 재현하기 위해 필요한 최소한의 증거를 포함시켜야 한다. Done라는 응답은 그런 필드 중 하나가 아닙니다. 8개 주 결정 규칙을 실행하세요 이 자료는 정해진 순서로 영수증을 적용합니다. 이전 경계는 나중에 증거가 거짓 녹색을 만드는 것을 막습니다. 저는 이 분류기를 8개의 내용 없는 사건에 대해 조사했습니다. 8개 모두 예상된 판결과 일치했습니다. 이 장치는 의도적으로 outcomeVerified: true 를 노화 준비 케이스에 부여합니다. 여전히 CONFIG NOT PREPARED 를 반환합니다. 왜냐하면 잘못된 준비된 구성의 결과로 의도된 방출을 증명할 수 없기 때문입니다. 그것은 또한 거짓으로 완성된 사건에 대한 완전한 베드로크 응답을 제공합니다. 목적지 인수 없이 최종 판결은 빨간색으로 남아 있습니다. 각 판결을 한 가지 제한된 행동으로 이끌 분류기는 그 상태가 운영자의 다음 움직임을 변경하는 경우에만 유용합니다. 판결 첫 번째 행동 하지 말아요 CONFIG NOT PREPARED 계획된 드래프트를 준비하고 preparedAt 를 확인하고, 새로운 발매로 오래된 흔적을 진단 TRACE MISSING 지원된 SDK 및 추적기 버전, 초기화 순서, 수출자 배달 및 샘플링을 확인 에이전트를 다시 시도해보면 실종이 실패한 것처럼 TRACE INCOMPLETE enableTrace=True 를 확인하고 둥근 사건들이 Datadog 추적에 도달한다는 것을 확인합니다 외부 스포인 전체 에이전트 커버리를 호출 WORKING 요청의 마지막 기간 내에 대기하여, 지나간 시간에만 경고 WAITING FOR ACTION RESULT 귀환 통제 요청은 제한된 기간으로 소유자에게 전달한다. 에이전트를 다시 시작하거나 꽂혀있는 것을 표시하십시오. ACTION FAILED 첫 번째 실패한 동작과 그 오류 경계를 검사하고, 효과가 안전하다면만 다시 시도하십시오. 불확실한 부작용을 맹목적으로 재생 FALSE COMPLETE 목적지 확인기를 실행하고 실종된 결과를 복구 최종 응답 텍스트를 전달으로 받아 들일 수 있습니다. HEALTHY 콤팩트 인증을 보관하고 경주를 종료하십시오. 민감한 용량을 보존합니다. 이 명령은 사건의 소유권을 명확히 합니다. 데이터 도그 커버링 문제는 장비나 운송에 속한다. 반환 통제 대기는 외부 결정의 소유자인 애플리케이션 또는 인간에게 귀속됩니다. 실패한 행동은 도구의 한계에 속한다. 실종된 배달품은 결과 확인자에게 속한다. 일반적인 에이전트 오류 알림은 이러한 구별을 가질 수 없습니다. DATADOG과 Sidewisp의 경계를 정직하게 유지하세요 데이터도그 에이전트 관찰은 캡처 된 흔적, 스파인 구조, 모델 및 도구 지연, 사용 가능한 토큰 사용, 오류 및 평가 등을 검사하는 올바른 장소입니다. Bedrock 통합 문서에서는 트래서 상태를 확인하고 전송 문제를 디버깅하는 등 구체적인 설정 및 검증 단계를 제공합니다. 위의 감사는 방출과 결과의 한계를 추가하고, 추적 증거를 감소시키지 않습니다. 그 증거는 그 증거가 혼자 대답하도록 설계되지 않은 질문에 대답하지 못하게합니다. 세 가지 제한이 남아 있습니다. 1. 이 장치는 AWS, Datadog 또는 목적지 데이터의 진실성을 확인하는 것이 아니라 결정의 우선순위를 확인합니다. 2. 샘플링은 의도적으로 흔적을 제거할 수 있습니다. 커버링 SLO는 통제된 카나리나 다른 지칭이 필요합니다. 생산 흔적의 부재만 해도 모호합니다. 3. LLM 판사는 주관적인 답변 품질에 도움을 줄 수 있지만 검증 가능한 효과를 위한 결정적 목적지 검사를 대체해서는 안 됩니다. 기존의 베드록 에이전트 클래식 배포에 있어서 실질적인 결승선은 다음과 같습니다: 현재 준비된 버전, 올바른 호출 범위, 필요한 경우 완전한 내부 추적, 해결 된 행동 상태 및 검증된 결과. 그 밖의 모든 것은 계속 작동하고, 기다려야 하고, 불확실하거나 실패해야 합니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 그것은 기존의 실행 시간을 중심으로 에이전트 건강 계층을 추가하려는 것이지만, 생산 Bedrock 및 Datadog 어댑터는 배송되지 않습니다. 이 증거 건강 작업 흐름이 에이전트를 운영하는 방식과 일치하는 경우 개인 미리보기에 가입하십시오. 현재 문서가 지원하는 것처럼 Datadog 및 AWS를 계속 사용하십시오. 출처 데이터도그 아마존 베드록 통합 대원 관찰력을 위한 데이터도그 자동 기기 데이터닷그: 아마존 베드록에 구축된 모니터링 에이전트 AWS InvokeAgent API 참조 AWS: 테스트 및 문제 해결 에이전트 행동