Phoenix — это open-source платформа для observability и оценки LLM-приложений, которая позволяет трассировать запросы, оценивать качество ответов и отлаживать промпты. Решает проблему «черного ящика» в AI-продакшене, позволяя разработчикам видеть полную картину работы моделей и находить корневые причины ошибок.
Ключевые особенности: Трассировка LLM-вызовов: Полный трейс каждого запроса — от входа до финального ответа. Оценка качества и поиск проблем: LLM-as-judge ев valuations, выявление галлюцинаций и аномалий. Prompt Engineering и оптимизация: Анализ и итеративная доработка промптов на основе данных. Open-source и self-hosted: Контроль над данными, развертывание на своей инфраструктуре.
Для кого: Инструмент ориентирован на AI-разработчиков и платформенные команды, которые запускают LLM-приложения в продакшен и хотят контролировать качество.
Сценарии использования: Поиск причины галлюцинации: Разработчик видит в трейсе, на каком шаге RAG потерялся контекст. Оценка качества ответов перед деплоем: Команда проверяет новую версию промпта на датасете и сравнивает метрики. Мониторинг AI-приложения в продакшене: Система алертит при падении качества ответов.
Цены и доступность: Платформа предлагает демо-доступ и бесплатную версию для старта. Конкретные тарифные планы и стоимость публично не раскрыты. Open-source версия доступна для локального развертывания без ограничений. Детали доступны на официальном сайте.
