LangSmith LLM Наблюдаемость: Доказать дерево следов через услуги

ЛэнгСмит может показать чистый набор успешных пробелов и все же оставить оператора с неправильным выводом. Отсутствующим доказательством может быть работник, чья длина никогда не присоединялась к следу, второй корень, созданный после службы, или завершенный след без доказательства того, что запрошенный артефакт достиг назначения. Практическое дефолт просто: обращайтесь с запросом принятого агента one как с одним надежным следовым деревом , а затем проверьте это дерево на ожидаемый сервисный манифест. Для правильного приговора требуется один корень, решаемые родительские связи, ожидаемые этапы службы, новый прогресс или явное ожидание, и отдельный расчет о назначении. Само завершение следа не означает завершение задачи. Данное руководство превращает это правило в восьмипроцедураный аудит для langsmith llm observability . Устройство не содержит никаких запросов, ответов, секретов или полезных инструментов. Он сравнивает наивное правило "каждый период говорит "хорошо" с более строгим оперативным решением и раскрывает пять ложно зеленых случаев. По умолчанию: сохранить один корень по доверенным сервисам LangSmith определяет следы как деревья пробегов, а его распределенная документация по отслеживанию описывает, как запрос может продолжаться в различных услугах. Исходный сервис сериализирует текущее дерево запуска в заголовок langsmith trace , с опциональным baggage для метаданных и тегов. Принимающая внутренняя служба восстанавливает этот контекст и продолжает отслеживать. Это разумный дефолт внедрения API, который передает работу планировщику, а затем работнику. Это дает оператору одно причинное дерево вместо не связанных местных следов. Та же документация ставит важную границу рядом с функцией: эти заголовки являются надежными для отслеживания контекста. Общественный конечный пункт не должен принимать их в качестве авторитетного родителя или принимать произвольный багаж от ненадежного звонка. Снимите их на окраине, запустите новый корень для принятого запроса и распространите недавно созданный контекст только через надежные сервис к сервис хопсы. За каждое принятое заявление записывайте манифест без содержания, например: requestKey должен быть непрозрачным идентификатором, а не запросом или именем клиента. Манифест это знаменатель: без него следы не могут сказать, что ожидаемая служба ничего не выпустила. Структура аудита перед оценкой состояния периода Начнем с структуры, потому что коллекция локально успешных затяжелений все еще может описать неправильное выполнение. Применить эти проверки в порядке: Проверка Доказательства Состояние неисправности Границы доверия Корень был создан после общественного края; распространенный багаж пришел только из внутренней службы UNTRUSTED CONTEXT Число корней Точно одна коренная карта к принятому запросу SPLIT TRACE Родительская непорочность Каждый некоренный parent run id решается внутри одного и того же следа ORPHAN SPAN Покрытие услуг Каждый требуемый манифестирующий этап имеет по крайней мере один ожидаемый пробег TRACE GAP Свежесть Открытая работа имеет недавний прогресс или действительный срок зависимости STUCK или WAITING Результат Назначенный пункт назначения имеет детерминированный квитанция OUTCOME UNVERIFIED Окончательный приговор Прохождение всех применимых проверок HEALTHY Этот порядок имеет значение. Если общественный звонок может предоставить надежный багаж, дерево не является безопасным доказательством, даже если его форма идеальна. Если существует два корня, проверка детей только под одним корнем может скрыть половину казней. Если родительский идентификатор отсутствует, временные марки не устраняют причинно следственный разрыв. Не заставляйте бегущий след включать в себя стадии, которые он не достиг. Покрытие услуг оценивается на соответствующей границе жизненного цикла. Перед тем, как планировщик отправит работу, отсутствие работника это нормально. После завершения отчетов о запуске, то же отсутствие является пробегом следов. Сохраняйте эталон жизненного цикла рядом с манифестом, вместо того, чтобы делать вывод только из временного цикла. Восстановление также требует четкого правила. Второй рабочий срок не является автоматически дублирующим провалом. Запишите стабильный ключ операции и номер попытки, а затем спросите, осталась ли повторная попытка под тем же принятым корнем и был ли совершен только один эффект. Этот аудит следовых деревьев проверяет причинное покрытие; аудит бездействия или получения эффектов обрабатывает двойные побочные эффекты. Повторяйте восемь неудобных следов . Исследовательский артефакт использует четыре необходимых сервиса api , planner , tool worker и verifier и заменяет восемь случаев: 1. полный распределенный след с проверенным артефактом; 2. отсутствующий рабочий период; 3. работник, чья родительская удостоверение личности отсутствует; 4. два корня за один принятый запрос; 5. новое ожидание с владельцем и будущий срок; 6. открытый работник с устаревшим прогрессом; 7. полный след без квитанции на место назначения; 8. багаж, принятый из общественного источника распространения. Используйте детерминистический классификатор с помощью Node: Точная фиксация, произведенная: Фальсифицируемый результат разрыв между шестью наивными зелеными и одним проверенным здоровым ходом. Пять случаев, содержащих только размеры ok , не прошли структурную проверку, проверку доверия или проверку результатов. Старый рабочий не был наивным зеленым, потому что он оставался открытым. Законный срок ожидания также оставался открытым, но он был переведен на WAITING , а не неправильно обозначен как неудача. Это не значит, что семь агентов были разбиты. Это означает, что только в одном случае было достаточно доказательств для здорового вывода. WAITING является действительным операционным состоянием, и разрывные состояния определяют, какие доказательства должны быть восстановлены перед принятием решения. Комплексный классификатор может реализовать преимущество: Приоритетность сохраняет разницу между деятельностью и полезным прогрессом. Это также предотвращает более поздное зеленое состояние от удаления более раннего провала доказательств. Спросить дерево без экспорта прост контент LangSmith официальный Справочник запросов SDK рекомендует list runs или API /runs/query . Он документирует is root=True для выбора корневой работы и read run(..., load child runs=True) для гидратирования кандидата дерева, когда местный детский предикат нуждается в полях, которые не выявляются фильтрами на стороне сервера. Минимальный путь сбора Python: Приспособить список select к установленному SDK. Исследовательский снимок наблюдал за официальным выпуском langsmith sdk V0.10.11, опубликованным 28 июля 2026 года; проверьте текущую ссылку до копирования названий полей в производственный код. Для аудита не требуется inputs или outputs . Пересечь гидратированное детское дерево и сохранить только: Идентификаторы и идентификаторы отслеживания; идентификационный номер родителей; заявка на выдачу услуги или этапную марку; время начала, окончания и последнего прогресса; состояние или наличие ошибок; непрозрачные ключи работы и запроса; ждать владельца и срок; идентификатор и результат проверки квитанции назначения. Обзор наблюдаемости ЛэнгСмит правильно разделяет следственные исследования, панели управления, оповещения, автоматизации, онлайн оценки и обратную связь. Структурный аудит следов дополняет эти поверхности; он не заменяет оценки или утверждает, что каждая неисправность видна из метаданных. Продолжайте ждать, застрять и проверять результаты отдельно. Длительное время не достаточно, чтобы назвать агента застрявшим. Требуется как нарушение свежести, так и отсутствие действительного договора ожидания. Контракт ожидания требует владельца, зависимости и сроков. В фиксированном, работник имел недавний прогресс, ждал рецензента, и имел будущий срок. Правильное состояние WAITING . У устаревшего работника не было такого объяснения и он превысил пятиминутный срок свежести, поэтому он стал STUCK . Ни одно из этих государств не является HEALTHY . Ожидание требует направления к названному владельцу; застрявшая работа требует расследования и, возможно, одного ограниченного предложения о восстановлении. Не пытайтесь снова, просто потому, что следы перестали двигаться, особенно вблизи границы побочных эффектов. Наконец, требуйте доказательств вне отслеживания. Продолжительность проверки, которая закончилась, успешно доказывает, что код был запущен. Это не доказывает, что запрашиваемый файл существует, развертывание достигло предполагаемого пересмотра или сообщение достигло предполагаемого места назначения. Определите наиболее сильный детерминистический прием, доступный: неизменный хэш объекта, ряд базы данных плюс инвариант, удаленный пересмотр или обратное чтение API. Ограничение преднамеренно. Этот аудит не может восстановить те диапазоны, которые никогда не были выпущены, оценить семантическое качество из метаданных, или доказать эффект инструмента без получения квитанции, произведенной приложениями. Это может показать, что доказательства неполны и не позволяет неопределенности стать зелеными. Sidewisp использует эту же границу здоровья в своем направлении продукта: следы являются доказательствами, в то время как полезный прогресс и ожидаемые результаты требуют собственных проверок. Sidewisp сейчас находится на этапе закрытого предварительного доступа. Его живая площадка представляет собой опыт раннего доступа и интерактивную демонстрацию; коллекция производственных агентов и автоматизированное восстановление обычно не отправляются. Присоединяйтесь к частному просмотру, если вы хотите помочь сформировать слой здоровья, который работает наряду с существующими сроками запуска, а не заменить ЛангСмит или ваш агентский набор.