Нет измерений — нет улучшений: Стандарт делает eval-driven development обязательным, а AgenticPerformance (APL) — слой, который это реализует. Он инструментирует любой агентный стек — LangGraph, CrewAI, OpenAI или Claude Agent SDK, да хоть самописный агентный цикл — через OpenTelemetry, нормализуя конвенции OpenInference и gen_ai.* в одну каноническую модель. Поверх этого хранилища трейсов он гоняет golden-set-эвалы на агента с гейтом версий, который блокирует регрессии в CI, автоматически разбирает сбои в стабильные, повторяющиеся от прогона к прогону кластеры с трендами по статистической значимости и ведёт управляемый цикл улучшений — assisted, suggested или автоматический под судьёй — внутри механически enforced-envelope безопасности с откатываемым леджером. Каждый агент получает headless-скоркарту, доступную как API и по MCP.
Всё, что нужно, чтобы измерять и улучшать флот агентов — от сырых спанов до управляемого цикла улучшений.
Построен на GenAI-конвенциях OpenTelemetry со слоем нормализации, который сводит OpenInference и gen_ai.* к одной канонической модели — инструментируете один раз, рассуждаете о каждом прогоне.
Обязательный детерминированный базовый набор плюс golden-set на каждого агента — и гейт версий, который блокирует новую версию агента, если она регрессирует относительно предыдущей на замороженном наборе.
Упавшие прогоны автоматически разбираются в именованные, стабильные кластеры сбоев, которые живут от прогона к прогону, — а тренды срабатывают только при статистической значимости. Без погони за шумом.
Три уровня автономии — assisted, suggested и автоматический под судьёй — внутри механически enforced-envelope безопасности: allowlist диффов, контентный guard и полностью обоснованный, откатываемый леджер улучшений.
Агенты и content-addressed, неизменяемые версии агентов — каждый трейс, эвал и улучшение привязаны ровно к той версии, которая их породила.
Headless read-model здоровья каждого агента — оценки эвалов, кластеры сбоев, тренды — доступная как API и по MCP, готовая для дашбордов и fleet-view.
Если вы не нашли ответ на свой вопрос, мы предлагаем бесплатную консультацию без обязательств
Нет. APL не привязан к движку: он инструментирует LangGraph, CrewAI, OpenAI и Claude Agent SDK или самописный агентный цикл через OpenTelemetry. Если ваш стек умеет отдавать OTLP — APL умеет его измерять.
Ядро — Apache 2.0, на GitHub (Moai-Team-LLC/AgenticPerformance). Энтерпрайз-функции — SSO/RBAC, аудит, fleet-view, on-prem — отдельная редакция.
Это референс-реализация поверхности Evals & observability из Стандарта: трейсы, golden-set-эвалы с гейтом в CI, анализ ошибок и управляемый цикл улучшений — ровно так, как их предписывает Стандарт.
Они дополняют друг друга: AgenticOps запускает флот, AgenticMind даёт агентам знания и память, AgenticPerformance измеряет каждый прогон, а AgenticSelfHealingCode чинит то, что сломалось, — замыкая цикл run → remember → measure → heal.
Postgres/TimescaleDB как единое хранилище и OTLP-эндпоинт — ingest-сервер принимает стандартные трейсы OpenTelemetry, а изоляция тенантов обеспечена row-level security.
Больше из нашей agentic-практики — стандарт, по которому мы строим, опенсорс-слои, которые его реализуют, и команда, которая всё это запускает.
Хотите вшить eval-driven development в свой агентный стек? Расскажите о продукте — покажем, что APL сможет измерять с первого дня.