꿀벌 LLM 관찰성: 에이전트 타임라인 계약의 감사

꿀벌은 미련된 에이전트 타임 라인을 보여주지만 여전히 깨진 이벤트 계약에서 작동할 수 있습니다. 멀티 에이전트 사건을 진단하기 위해 그 뷰를 사용하기 전에, 발급된 범위에서 여섯 가지를 확인하십시오: 하나의 대화 아이덴티티, 다른 에이전트 이름, 호출자 측 호출 속성, 인식된 운영 이름, 안정적인 도구 호출 ID 및 전파 오류. 실제 테스트는 텔레메트리가 도착했습니까? 이 분야는 이 작업을 올바른 대화, 에이전트 라인, 작동 및 실패 상태에 투영할 수 있습니까? Znot 는 요청된 외부 결과를 청정 시간표가 증명한다고 주장하거나 요청하는 신호를 수집합니다. 꿀벌 에이전트 타임라인은 실제로 무엇을 계획하고 있는지 허니컴브는 에이전트 타임라인을 다수 흔적을 띠는 전체 대화의 시각으로 기록합니다. 대화 키는 gen ai.conversation.id 입니다. 대화 안에서, GenAI 랜드는 gen ai.agent.name 에 의해 그룹화되며, LLM 작업과 gen ai.operation.name 에 따라 도구 호출으로 제시됩니다. 이것은 시각을 유용하게 만들지만, 또한 응용 프로그램에서 제공되는 여러 필드를 진단 경계의 일부로 만듭니다. gen ai.conversation.id 는 어느 랜이 함께 속하는지 결정합니다. gen ai.agent.name 는 어떤 에이전트가 라인을 소유하고 있는지 결정합니다. gen ai.operation.name 는 스파인이 채팅, 에이전트 호출 또는 도구 실행으로 취급되는지 결정합니다. gen ai.tool.call.id 는 운영자가 도구 요청과 그 결과와 상관관계를 맺을 수 있도록 한다. 오류 상태 및 예외 필드는 장애가 영향을 받은 기간과 그 원자에서 눈에 띄는지 여부를 결정합니다. Honeycomb의 기기 가이드는 대화 ID, 에이전트 이름, 그리고 에이전트 뷰에 필요한 동작 이름을 표시합니다. 또한 실종된 에이전트 이름이 Unknown 로 나타났고, 복제된 이름은 조사 중에 에이전트들을 구별하는 것을 방지한다고 합니다. 같은 가이드에서 쉽게 놓칠 수 있는 배정 규칙이 명시되어 있습니다. calling 에이전트는 invoke agent 랜드를 방출합니다. 호출된 에이전트는 자신의 고유의 이름 아래 chat , execute tool , 그리고 다른 스펜을 방출한다. 수집자 변환이 호출자에게 호출을 할당하면 타임 라인은 모든 기간을 포함 할 수 있지만 잘못된 인과적 이야기를 이야기합니다. 이것은 패시보드 문제가 되기 전에 스키마 적합성 문제입니다. 더 열심히 질문하면 결코 발급되지 않은 정체성을 회복하거나 두 명의 노동자가 공유하는 에이전트 이름을 수정할 수 없습니다. 사건 전에 투영 계약에 대한 감사 동반 장치에는 8개의 작은 span 세트가 있습니다. 어떤 것도 명령어, 응답, 도구 논쟁, 고객 식별자, 또는 비밀이 포함되어 있지 않습니다. 유일한 값은 합성 대화 ID, 에이전트 인스턴스, 에이전트 이름, 운영 이름, 부모 링크, 도구 호출 ID 및 상태 필드입니다. 기사 유물 디렉토리에서 감사를 실행: 분류자는 인과적 순서로 검사를 적용한다. 1. 제안된 대화의 모든 영역은 하나의 비공개 대화 ID를 공유해야 합니다. 2. 모든 스펜은 비공개 에이전트 이름을 가지고 있어야 합니다. 3. 표시된 하나의 에이전트 이름은 여러 에이전트 인스턴스에 속하지 않아야 합니다. 4. invoke agent 랜드는 호출자가 소유해야 합니다. 5. 이 동작은 투사에서 사용되는 문서화된 GenAI 동작 집합에 속해야 한다. 6. execute tool 랜드는 도구 호출 식별자를 유지해야 합니다. 7. 자녀의 실수는 여전히 성공한 부모보다 낮아서는 안 됩니다. 순서가 중요해요 만약 하나의 대화가 conv 201 와 conv 202 에 이미 나뉘어 있다면, 그 어느 조각 안에 있는 에이전트 라인을 계산하면 잘못된 질문에 대한 정확한 답변을 제공합니다. 마찬가지로, 두 개의 프로세스가 모두 worker 라고 불리는 경우, 도구 콜 상관관계는 실종된 에이전트 아이덴티티를 회복할 수 없습니다. 규칙은 의도적으로 더 엄격합니다. 합성 스펜 엠버포프는 관찰이 선언된 계약에 따라 그룹화되어 배정되었다는 증거입니다. 8개의 장치는 7개의 다른 가짜 녹색을 노출합니다. 순진한 비교 규칙은 모든 기간이 대화 ID를 가지고 있는지 확인합니다. 두 개의 다른 비공개 ID가 논리적인 대화를 나누는 경우를 포함하여 모든 8가지 설정을 받아들인다. 적합성 감사는 정확히 하나만 받아들인다. 고정 순진한 주민등록 확인 합당성 판결 필요한 수리 유효한 대화 합격 CONFORMANT 아무 것도 없습니다. 분해된 대화 합격 FRAGMENTED CONVERSATION 추적 경계를 넘어 하나의 대화 ID를 전파하십시오 알려지지 않은 요인 합격 UNKNOWN AGENT 안정적이고 비공허한 대원 이름을 발급한다 에이전트 이름 충돌 합격 AGENT NAME COLLISION 각 에이전트 인스턴스에 별도의 운영 이름을 부여합니다. 잘못된 소환 유용 합격 INVOKE ATTRIBUTION INVALID 호출자로부터 invoke agent 를 방출 인정되지 않은 운용 합격 OPERATION UNRECOGNIZED 문서화 된 GenAI 작전에 리맵 실종 도구 호출 ID 합격 TOOL CALL UNCORRELATED 요청과 결과에서 호출 ID를 보존합니다 어린이 실수 숨겨진 합격 ERROR PROPAGATION BROKEN 부모에게 실패 상태를 전파합니다. 각 판결은 다른 사업자의 결정을 보호합니다. 분해된 대화는 일을 숨기죠. 알려지지 않은 이름이나 충돌이 소유권을 손상시킵니다. 잘못된 호출 속성은 누가 누구를 위임했는지 되돌려줍니다. 인식되지 않은 작업은 이벤트를 잘못된 시각 범주에 떨어뜨립니다. 전화번호가 없어서 타임아웃이 안전하지 않아 숨겨진 아이의 실수로 실패한 도구 경로가 성공한 부모로 변합니다. 마지막 사건은 특별한 관심을 받을 필요가 있습니다. Honeycomb는 오류를 일관되게 기록하고 도구 호출 실패를 부모 span에 전파하는 것을 조언합니다. 이러한 증산은 외부 부작용이 발생했는지 여부를 증명하지 않습니다. 아이가 실패한 것으로 알려진 동안 부모의 침묵으로 녹색으로 남아있는 것을 막습니다. 유효한 도구에 대해서는 이 텔레메트리 검사 후 별도의 목적지 인증을 추가하십시오. 타임아웃과 응답이 없는 것은 불확실한 효과이고, 다시 시도할 수 있는 허락이 아닙니다. 에이전트 타임 라인은 모호한 호출을 찾아내는 데 도움이 될 수 있습니다. 권한있는 목적지는 효과가 있는지 여부를 결정해야합니다. 감사를 배치 캐나리로 바꾸어 먼저 현장으로 연결해서 무해한 카나리 대화 한 번을 기기 경로로 조정하세요. 카나리아를 내용없이 유지하고 그 토폴로지를 분명히 하라: 한 라우터 에이전트가 한 명의 노동자를 호출합니다. 근로자는 한 번 무해한 도구 호출을 수행합니다. 각 스파인은 동일한 합성 대화 ID를 수신합니다. 라우터와 작업자가 서로 다른 이름을 가지고 있습니다. 호출은 라우터에 속한다. 도구 호출에는 합성 호출 ID가 하나 남아 있습니다. 한 가지 테스트 변종은 의도적으로 도구를 실패하고 부모의 성공이 더 이상 확인됩니다. 수출 전과 모든 OpenTelemetry Collector 변환 후 발급된 봉투를 비교하십시오. 이것은 일반적인 경계 오류를 발견합니다: 소스 기기 사용은 정확하지만 변환 개칭은 각각의 프로세스에 한 개의 정적 에이전트 이름을 지정하거나 속성을 떨어뜨립니다. 트랜스포스트를 이 문서에 대해 검사된 OpenTelemetry GenAI 에이전트 의미 협약은 Development 로 표시되어 있으므로 SDK 또는 컬렉터 업그레이드는 일상적인 시각적 변화가 아닙니다. 카나리어를 다시 실행해야 할 스케마 변경입니다. 각 발매에 대해 작은 수용 기록을 사용하십시오. 이 기록에 명령어, 응답, 도구 논쟁, 또는 도구 결과를 넣지 마십시오. Honeycomb는 메시지 콘텐츠가 PII를 포함할 수 있다고 지적하고 컬렉터가 필터링할 수 있는 스팸 이벤트에 해당 콘텐츠를 넣는 것을 권장합니다. 컨퍼런스 카나리는 정체성과 지위가 필요하지만 대화 내용이 아닙니다. 이 테스트가 멈춘 곳 감사에 합격하면 공급된 랜프 캔버스가 Honeycomb Agent Timeline에 일관되게 투영될 수 있습니다. 이 법은 다음과 같이 정하지 않습니다. 모든 이 꿀벌에 도달했을 때, 샘플링은 중요한 오류가 유지되었습니다. 에이전트가 유용한 발전을 하고 있습니다. 합법적인 인간 대기에는 소유자와 기간이 있습니다. 도구 부작용은 정확히 한 번 발생한다. 약속된 파일, 티켓, 배포 또는 보고서는 존재합니다. 그 답은 사실적으로나 의미적으로 정확합니다. 그건 별도의 건강 문제입니다. 시간표의 준수를 진단을 위한 입장권으로 간주해 최종 건강 판결이 아닌 그 시간이 지나면, 작업 흐름의 위험에 따라 신선함, 대기 상태, 효과 및 결과 영수증을 추가하십시오. 이 경계는 또한 기사의 실험이 다른 판매자와 Honeycomb을 비교하지 않는 이유이기도 합니다. 독자의 결정은 더 오래되고 더 구체적입니다. 내가 조사하려는 대화와 에이전트 배정에 대해 믿을 수 있습니까? Sidewisp는 현재 비공개 프리뷰 단계입니다. 그것은 기존 에이전트 실행 시간 주위에 건강 계층을 추가하는 것을 목적으로하지만, 생산 에이전트 건강 수집, Honeycomb 어댑터 및 자동 복구는 현재 웹 사이트 저장소에 배송되지 않습니다. 만약 당신이 지금 당신의 에이전트들을 위한 증거의 한계를 정의하고 있다면, 개인 미리보기 대기 목록은 그 통합 욕구를 공유하는 적절한 방법입니다. 출처 꿀벌: AI 요원 아젠트 타임라인 검사된 공약에서 OpenTelemetry GenAI 에이전트 의미 협약