Portkey — это AI-платформа для управления промптами и интеграции LLM-моделей, которая предоставляет единый API для доступа к 200+ провайдерам с автоматическим routing, fallbacks и встроенной observability. Решает проблему фрагментированного доступа к разным языковым моделям и отсутствия контроля над промптами, позволяя AI-командам централизованно управлять всеми LLM-вызовами, оптимизировать затраты и обеспечивать безопасность.
Ключевые особенности: Universal API и Key Management: Единый API для доступа к OpenAI, Anthropic, Gemini и 200+ другим LLM-провайдерам с централизованным управлением ключами и автоматической маршрутизацией запросов. Prompt Management: Безлимитные шаблоны с версионированием, встроенный Playground для тестирования и выделенные API-эндпоинты, превращающие промпты в вызываемые сервисы. Routing, Fallbacks и Retries: Автоматические переключения между моделями и провайдерами при сбоях с настраиваемыми стратегиями повторных попыток для максимальной надёжности. Observability: Комплексный мониторинг с логами, трейсами, сбором фидбэка, метриками и настраиваемыми алертами для полной прозрачности AI-операций. Guardrails: Встроенные и партнёрские гарды (LLM-гарды) для фильтрации опасных или нежелательных ответов и обеспечения безопасности взаимодействий. Caching: Простой и семантический кэш для снижения затрат на повторяющиеся запросы и ускорения ответов. Enterprise-безопасность: RBAC, SSO, SOC 2 Type 2, GDPR, HIPAA, возможность развертывания в VPC или Private Cloud.
Для кого: Платформа ориентирована на AI-разработчиков, ML-инженеров, CTO и enterprise-команды, которые управляют множеством LLM-интеграций и нуждаются в централизованном контроле над промптами, маршрутизацией и безопасностью.
Сценарии использования: Создание и версионирование промптов для AI-приложений: Разработчики централизованно управляют всеми промптами с отслеживанием версий, тестированием в Playground и развертыванием через API без изменения кода приложений. Маршрутизация запросов между разными LLM с fallbacks: AI-команды настраивают автоматическое переключение между провайдерами при отказе основной модели, гарантируя бесперебойную работу приложений. Мониторинг и аудит всех AI-вызовов: Enterprise-компании отслеживают все запросы к LLM с детальными логами, трейсами и алертами для compliance и оптимизации затрат. Оптимизация затрат через кэширование: Команды снижают расходы на повторяющиеся запросы с помощью семантического кэша, повторно используя ответы для похожих запросов.
Цены и доступность: Платформа предлагает несколько тарифов:
Free (0 долларов в месяц, навсегда): 10 000 логов в месяц, 3 дня хранения логов, 3 промпт-шаблона, Universal API, кэширование, community support. Pro (популярный тариф, цена не раскрыта): 100 000 логов в месяц, 30 дней хранения, безлимитные промпт-шаблоны, RBAC, алерты, guardrails, production support. Enterprise (цена по запросу): 10M+ логов, кастомные retention-периоды, SSO, VPC, SOC 2, HIPAA, приоритетная поддержка.
Также доступна self-hosted версия. Бесплатный тариф доступен навсегда. Детали раскрыты на официальном сайте.
