AI 음성 에이전트 테스트: 통화가 실제 결과를 냈는지 증명하기

AI 음성 에이전트 테스트는 녹취록이 그럴듯해 보인다는 이유로 공개를 통과해서는 안 됩니다. 방어 가능한 테스트는 다섯 가지 별개의 사실을 증명합니다: 통화가 연결되었고, 상담원이 워크플로우 특정 한계 내에서 응답했으며, 중단이 실제로 어시스턴트 오디오를 멈췄으며, 각 부작용 도구가 알려진 결과를 달성했으며, 발신자가 요청한 결과가 대화 외부에 존재한다는 점입니다. 이 구분은 중요한 이유가 일반적인 인공물들이 더 좁은 질문에 답하기 때문입니다. 녹음이 오디오 존재를 증명합니다. 음성 인식이 텍스트를 생성했다는 증거가 있습니다. LLM 평가 기준표는 해당 텍스트가 기준을 충족하는지 추정합니다. 단말기 전화 상태는 통화가 종료되었음을 증명합니다. 이러한 사실만으로는 예약이 이루어졌거나, 취소가 적용되었거나, 환편이 목적지에 도착했다는 것을 증명할 수 없습니다. 실제로는 시뮬레이터와 전사본 평가자를 그대로 두고, 그 옆에 작은 결정론적 통화 수신 기록을 추가하는 것이 기본입니다. 유창한 전사문은 증거의 한 계층일 뿐입니다 음성 시뮬레이션은 유용합니다. Vapi의 현재 음성 테스트 문서은 목표 에이전트와 테스트 에이전트 간의 실제 전화 통화를 설명하고, 이후 녹음, 전사, 그리고 루브릭에 따른 LLM 평가를 진행합니다. 이것은 텍스트 전용 프롬프트 테스트보다 훨씬 더 많은 경로를 수행합니다. 그래도 관찰 가능한 빈틈이 남아 있습니다. 대본은 발신자가 끝나고 오디오 재생이 시작되는 정확한 경계를 생략할 수 있습니다. 발신자가 조수 말을 거치고 나면 깨끗하게 읽을 수 있습니다. 원격 시스템이 타임아웃되었을 때에도 도구의 확실한 확인 신호를 담을 수 있습니다. 전화 완성도 비슷하게 좁은 의미를 가집니다. 트윌리오는 queued , ringing , in progress , completed , busy , failed , no answer , canceled 콜 주를 문서화합니다. 통화 자원 참조에는 completed 연결이 이루어지고 오디오가 전송되었다는 경고도 포함되어 있습니다. 사람, IVR, 음성사서함이 응답했을 수도 있습니다. 따라서 "완료"는 운송 증거이지 사업 판결이 아닙니다. 대신 다섯 개의 게이트를 사용하세요: 문 최소 증거 실패를 드러내는 것이다 도달 가능성 통화 ID와 연결 상태 또는 in progress 상태 대기열, 응답 없음, 유효하지 않은 목적지 턴 타이밍 사용자 음성은 t1 에서 멈췄다; 조수 오디오는 t2 느린 반응이 일관된 녹취록에 가려져 있다 중단 t3 에서 사용자 중단; 조수 오디오가 t4 에 들렀다 상담원이 발신자 말을 끊고 계속 말한다 도구 효과 안정적인 작업 ID와 목적지 영수증 타임아웃 후 위험한 블라인드 리트리가 이어집니다 결과 약속된 결과에 대한 독립적 점검 예약, 이체, 취소 없이 정상 통화가 종료됩니다 처음에는 이 점수들을 하나의 점수로 합치지 마세요. 가중 평균은 우수한 전사문가 누락된 결과를 숨길 수 있습니다. 실패한 레이어는 보이게 유지하세요. 모델 지연 시간뿐 아니라 오디오 경계를 기록하세요 유용한 1차 응답 간격은 발신자 오디오가 완료된 것으로 간주될 때 시작하여 보조 오디오가 실제로 재생되기 시작할 때 종료됩니다: 이것은 모델의 첫 토큰 생성 시간과는 다릅니다. 음성 종료, 전사, 모델 추론, 합성, 버퍼링, 전화 전송 등이 발신자의 경험 안에 포함되어 있습니다. 내부 단계 하나만 측정하면 느린 울음소리가 건강해 보일 수 있습니다. 중단은 또 다른 쌍으로 관찰해야 합니다: Vapi의 서버 이벤트 문서는 별도의 상태 업데이트, 음성 업데이트, user interrupted , 도구 호출, 종료 이벤트 등을 노출합니다. 인터뷰는 말하기 중단 증거와 결합될 수 있다고 언급합니다. 다른 제공업체들은 다른 이름을 사용하지만, 계약은 이동 가능합니다: 콜 ID, 가능한 경우 턴 ID, 단조 타임스탬프, 이벤트 유형, 그리고 소수의 비콘텐츠(non content) 필드를 유지할 수 있습니다. 두 구간 모두 보편적으로 좋은 값은 없습니다. 이 문서에서 사용된 실행 가능한 고정 장치는 maxFirstResponseMs 를 1200, maxInterruptStopMs 을 300으로 설정하여 결정 규칙을 검사 가능하게 합니다. 이것들은 산업 표준이 아니라 정책 가치의 예시입니다. 실제 네트워크 경로, 언어, 말투, 접근성 요구, 그리고 허위 실패의 비용에 맞춰 보정하세요. 릴리스 테스트는 불확실성을 보존해야 합니다. 사용자 음성 정지가 누락된 경우, 대본의 타임스탬프를 통해 지연 시간을 계산하지 마세요. 중단 이벤트가 존재하지만 보조 정지가 없다면, 수집 계약에 따라 barge in failed 또는 insufficient evidence 반환합니다. 불완전한 사건에서 건강한 간격을 만들어내지 마세요. 실제 통화 전에 실패 우선순위를 재현하세요 동반 아티팩트는 8개의 내용 없는 호출 스트림을 포함하고 있습니다. 각 이벤트는 상대적인 타임스탬프와 분류에 필요한 필드만 가지고 있습니다: 다음으로 진행하세요: 실행된 경기는 8개의 판정에서 정확한 예상 균형을 이뤘다: 우선순위가 중요합니다. 수신 가능성은 타이밍 전에 확인하세요. 응답이 없으면 의미 있는 첫 번째 대응이 불가능하기 때문입니다. 도구 효과 전에 타이밍과 중단을 확인하세요. 발신자가 이미 상호작용이 끊긴 경험이 있을 수 있습니다. 종료 상태 평가 전에 도구 효과를 조정하세요. 불확실한 부작용을 재시도하면 작업이 중복될 수 있기 때문입니다. 결과는 가장 강력한 청구이기 때문에 마지막에 요구하세요. 이 명령은 심각도 순위가 아니라 운영 규칙입니다. 취소 실패가 느린 오디오보다 더 큰 영향을 미칠 수 있습니다. 증거 계층이 알려진 후 워크플로우와 사용자 결과에서 심각도를 라우팅합니다. 도구 효과 영수증과 결과 영수증을 분리하세요 음성 상담원은 종종 일정 관리, 결제, 티켓 발팅 또는 전송 도구를 호출합니다. 모델의 도구 결과가 반드시 목적지의 내구성 상태는 아닙니다. 모든 부작용 시도에 안정적인 연산 ID를 부여합니다. 요청된 행동, 목적지 클래스, 시도 횟수, 응답 클래스, 그리고 내용 없는 효과 검사를 유지하세요. 제출 후 전송 시간이 초과되면 재시도 전에 해당 작업 ID를 조정하세요. 새로운 신분으로 두 번째 요청이 겹치거나 취소될 수 있습니다. 그 후 발신자가 약속한 결과를 독립적으로 확인하세요. 도구 효과는 사용자 결과가 여전히 잘못되었을 때 실제로 발생할 수 있습니다: 약속이 잘못된 계정으로 존재하거나, 운영자가 아닌 IVR에 연결된 이체, 요청된 번들이 활성화된 상태에서 취소된 항목 하나가 변경된 경우입니다. 이 기구의 false complete 케이스는 의도적으로 불편하게 만들어졌습니다. 연결된 통화, 600ms 첫 응답, 검증된 도구 효과 수신, 완료된 통화 상태를 포함합니다. 하지만 outcome.verified 가 없기 때문에 실패합니다. 바로 그 점이 전사문 전용 게이트가 놓치기 쉬운 경우입니다. LLM 평가자는 결정론적으로 인코딩하기 어려운 특성들, 즉 에이전트가 좌절감을 인정했는지, 정책을 명확히 설명했는지, 상호작용 스타일을 따랐는지 등에 여전히 유용합니다. 성적 평가 계층에 따라 평가를 유지하세요. 접근 가능성, 타임스탬프, 목적지 영수증, 외부 상태를 덮어쓰지 않도록 하세요. 개인정보를 보호하는 최소 영수증만 보관하세요 분류기는 발신자 오디오나 전사본이 필요하지 않습니다. 최소 영수증에는 가명으로 된 호출 및 턴 ID, 상대 타임스탬프, 이벤트 유형, 터미널 상태, 해싱된 정책 버전, 작업 ID, 불리언 효과 및 결과 등이 포함될 수 있습니다. 녹음은 동의, 보존 정책, 디버깅 가치가 정당할 때만 보관하세요. 출시 전에 고정된 픽스처를 실행하여 분류기 자체를 증명하세요. 그 다음 중요한 통신사, 지역, 언어, 발신자 동작에 걸쳐 소수의 실제 통화를 실행하세요. 한 번의 깨끗한 실험실 호출에만 맞추기보다는 임계값 분포를 검토하세요. 마지막으로, 민감한 대화 내용을 테스트 스위트에 복사하지 않고도 생산 실패를 새로운 회귀 사례로 재생할 수 있습니다. 한계는 명확합니다: 이 산출물은 음성 인식 품질이나 어떤 제공업체의 가동 시간을 인증하는 것이 아니라 의사결정 규칙을 검증합니다. 발신자에게 임계값을 선택할 수 없습니다. 하지만 세련된 대화가 검증된 작업으로 오해받는 것은 방지합니다. Sidewisp는 현재 비공개 프리뷰 단계입니다. 대중 경험은 초기 접근 웹사이트와 인터랙티브 시연입니다; 프로덕션 에이전트 건강 수집 및 복구는 현재 웹사이트 저장소에 배송되지 않습니다. 제품 방향은 음성 플랫폼, 전화 제공업체, 자율 해결사가 아니라 기존 런타임을 둘러싼 건강 계층입니다. 이 5게이트 수신이 포착해야 할 실패와 일치하면, 사이드위스프 비공개 미리보기에 참여하세요하고 운영하는 음성 에이전트 런타임을 설명할 수 있습니다.