Azure LLM Наблюдаемость: аудит зеленого пробела, выбранного в образцах

Azure LLM наблюдаемость должна отвечать больше, чем совершенствовалась пробега? Прежде чем принять здоровый вердикт, докажите четыре условия для того же пробега: телеметрия опробованная и свежая, состояние выполнения понятно, каждая необходимая проверка качества фактически охватывает пробег, и обещанный результат существует в его месте назначения. Microsoft Foundry дает вам полезные доказательства. Он может размещать следы серверной стороны в Azure Monitor Application Insights, показывать операционные показатели в панели управления мониторинга агентов и выполнять оценки по результатам выборки. Эти кусочки не заменяются друг с другом. Следы могут быть свежими, пока оценщик пропустил бег. Оценщик может проходить, когда файл, билет, рассылка или сообщение никогда не достигают назначения. Завершенный процесс также может ожидать законного человеческого решения, которое приложение плохо моделировало. Таким образом, практическим дефолтом является аудит покрытия, а не совокупный результат. Сохраняйте недоступные доказательства недоступными, рассматривайте выборку как покрытие, а не успех, и дайте получение результата, специфического для рабочей нагрузки, закрыть окончательный пробел. Читайте поверхности литейного завода как отдельные доказательства Обзор наблюдаемости Microsoft разделяет три возможности: Tracing записывает путь выполнения, включая модели звонков, использование инструментов, задержку и связанные с этим промежутки времени. Monitoring обобщает операционные меры, такие как токены, задержка, процент ошибок и успех запусков. Evaluation измеряет выбранные свойства качества или безопасности с помощью встроенных или специальных оценщиков. Это разделение имеет значение во время инцидента. Успешный период времени устанавливает, что инструментальная операция достигла терминального статуса. Он не устанавливает, что текущая панель управления может видеть все соответствующие диапазоны, что оценщик изучил этот ответ или что произошел запрошенный побочный эффект. Заправочные заводы руководство по установке отслеживания выделяют две полезные границы. Во первых, отслеживание серверной стороны хостингового агента начинается после подключения проекта к Application Insights. Во вторых, новые следы могут появиться через несколько минут. Если ожидаемый след отсутствует, ответственный вердикт не является неудачным или здоровым. Это evidence unavailable , пока вы не узнаете различие между соединением, разрешением, задержкой приема, выбором образцов и инструментацией. Доступ к запросу является еще одним независимым условием. Документация по мониторингу Foundry требует подходящего доступа на основе ролей Azure к Application Insights и, для просмотров журналов, к связанному с этим рабочему пространству Log Analytics. Оператор, который может открыть проект, но не может запросить его защищенную телеметрию, имеет проблему видимости, а не доказательства здорового агента. То же самое предупреждение применяется и к отметке Monitor. Руководство по мониторингу агентов описывает показатель успеха запусков, токены, задержка и результаты оценки. В нем также говорится, что непрерывная оценка проводится на ответах с образцами . Выборка образцов является действительным решением о затратах и производительности, но она создает вопрос знаменатель: получила ли эта конкретная пробега все необходимые оценки для принятия решения? Не отвечай на этот вопрос совокупным результатом. Записывай на каждом поединке. Дайте один пробег запись охвата Начните с небольшой, безсодержательной записи. Сохраняйте идентификаторы или хэши, которые позволяют авторизованному оператору найти основополагающие доказательства; не копируйте запросы, аргументы с инструментами, секреты или выводы моделей в новый магазин здравоохранения. Каждое поле отвечает на одно решение: 1. Может ли оператор получить текущую телеметрию? Проверьте соединение Application Insights и фактическое разрешение на запрос. Загрузка страницы портала не является тестом. 2. Столько свежий ли след для этого рабочего процесса? Установите бюджет из ожидаемой продолжительности работы плюс замеченная задержка приема. Не используйте в тихом виде вчерашний зеленый протяженность. 3. Что делает агент? Сохранить working , waiting , succeeded , и состояния неисправности. Указанное одобрение или внешняя зависимость это ожидание, а не задержка. 4. Облагаемый оценщик охватывал ли этот период? Офис охватывает отдельно от результата оценщика. 5. Состоялся ли обещанный результат? Запроси местонахождение, которому принадлежит результат. Результаты проверки должны соответствовать работе. Для генерируемого отчета проверьте наличие ожидаемого объекта и правильность его хэша или схемы. Для обновления билета, прочитайте билет и проверьте предполагаемый переходный период. Для мутации API запросить целевой ресурс, а не доверять успешному обмену HTTP клиента. Для задачи кодом требуется ожидаемое дифференцирование плюс соответствующий результат построения или испытания. Эта запись намеренно избегает универсального поля успеха. Сочетание необычных доказательств слишком рано это то, как неизвестное освещение становится зеленым. Повторяйте решение перед сигнализацией Устройство, используемое в этой статье, содержит восемь синтетических путей и не имеет аккредитаций Azure, запросов или телеметрии производства. Его классификатор оценивает видимость до состояния выполнения, состояние выполнения до качества и качество до результата: При запуске node audit azure observability.mjs против фиксированной фиксации было произведено восемь совпадений и отсутствовало несовпадения: Дело Доказательства на стороне Азура Доказательства о назначении Приговор Подключение присутствует, запрос отклонен Не могу проверить телеметрию текущего времени Подарок квитанции EVIDENCE UNAVAILABLE Старые следы, все остальные поля зеленые Стале Подарок квитанции EVIDENCE STALE Свежие следы, активные. Текущая деятельность Пока не ожидается WORKING Свежие следы, названные в ожидании одобрения Текущее ожидание Пока не ожидается WAITING Успешная работа, требуемая оценка пропущена Отсутствие охвата качеством Подарок квитанции QUALITY UNKNOWN Успешная работа, пробная оценка не удалась Качество не удалось Подарок квитанции QUALITY FAILED Удалось запустить и оценить Полное в литейном заводе Отсутствие квитанции FALSE COMPLETE Удалось запустить и оценить Полное в литейном заводе Подарок квитанции HEALTHY Две результаты легко неправильно обработать. QUALITY UNKNOWN не является неудачным оценщиком. В нем говорится, что оценщик не охватывал пробег, необходимый для принятия этого решения. Вы можете направить это состояние к детерминистическому заместителю, единовременной оценке, если это уместно, или человеческому обзору. Вы не можете перезазначить совокупный балл панели управления как результат этой работы. WAITING также не является неудачей. Если след свежий и идентифицирует законного владельца и зависимость, полезным действием является обнаружение ожидания этого владельца. Перезагрузка агента может повторить работу или отказаться от контекста, не устраняя зависимость. Установите сигналы о неисправном состоянии, а не цвет В сигнале должно быть указано доказательство нарушения: Telemetry unavailable : проверьте соединение Foundry to Application Insights, запрос RBAC, доступ к защищенной таблице, инструментация и недавний трафик. E доказательства stale : сравнить последнее наблюдаемое время отслеживания с бюджетом на свежесть рабочего процесса и известным задержкой приема. Quality unknown : проверить конфигурированный показатель выборки и необходимо ли для принятия этого решения на самом деле провести оценку. Quality failed : сохранить название оценщика, версию, порог и идентификатор проверенной пробежки до проведения исследования. False complete : остановить автоматические повторные попытки на границе побочного эффекта и согласовать место назначения с помощью стабильного идентификатора работы. Это приводит к более тихим операциям, чем предупреждение о каждой отсутствующей выборке или длительности. Руководство Microsoft на панели управления предлагает широкие пороги исследования, такие как изучение низких показателей успешной работы или высокой задержки. Эти сигналы флота полезны для поиска кохорты. Запись об охватывании на протяжении одного раза определяет, что не так с конкретным произведением. Свежесть также нуждается в владельце. Сохранение данных в Application Insights контролирует, как долго доказательства остаются проверяемыми; разрешения на потребление и запросы контролируют, видимы ли они сейчас. Сохранить последнее успешное время запроса и последнее совпадающее время отслеживания отдельно. Нагруженная панель не доказывает ничего. Сохраняйте визуальную визу и границы конфиденциальности Современная документация Foundry отмечает части отслеживания и мониторинга агентов в качестве предварительного просмотра. обзор агентского отслеживания говорит, что отслеживание в целом доступно для оперативных и хостинговых агентов, в то время как отслеживание рабочего потока и внешнего агента в предварительном виде. В руководстве по мониторингу также отмечаются функции панели управления в качестве предварительного представления. Зарегистрируйте тип агента и статус функций в справочнике; не передавайте гарантии с пути хостингового агента на внешний рабочий процесс без проверки текущего контракта. Отслеживание может захватить запросы, выходы, аргументы инструмента и результаты инструмента. Microsoft рекомендует редактировать контент до достижения телеметрии и применять контроль доступа к производству и хранения. По возможности слой здоровья должен сопровождать данные с помощью идентификаторов без содержания, а не создавать второй запас чувствительных полезных нагрузок. Существует одно последнее ограничение, которое следует не принимать во внимание: этот классификатор проверяет преимущество доказательств. Он не связывается с подписью на Azure, не выводит выводы о целях уровня обслуживания или не решает, что означает успех для вашего приложения. Документ о назначении преднамеренно соответствует рабочей нагрузке. Эта граница главный момент. Наблюдаемость Azure LLM может выявить выполнение, производительность, качество образцов и доказательства дебъга. Кроме того, здоровье работы требует свежести, охвата, правильного состояния ожидания и доказательства ожидаемого результата. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Ее направление состоит в том, чтобы превратить доказательства из существующих времен эксплуатации агентов в четкий взгляд на здоровье, сохраняя при этом неопределенность и границы человеческого одобрения; мониторинг Microsoft Foundry здесь не представлен как отправленная интеграция Sidewisp.