Groq — это AI-инфраструктурная платформа, которая предоставляет сверхбыстрый движок для инференса больших языковых моделей и генеративного AI. Решает проблему медленной работы LLM-приложений, выдавая ответы в разы быстрее конкурентов за счет собственного чипа LPU, оптимизированного для последовательной обработки.
Ключевые особенности: Собственный LPU-чип: Специализированное железо для инференса, которое обрабатывает токены последовательно с минимальной задержкой. Сверхбыстрая скорость генерации: Выдает сотни токенов в секунду, делая LLM-приложения отзывчивыми и интерактивными. API-интеграция с популярными моделями: Поддерживает Llama, Mistral, Mixtral и другие модели без привязки к одному провайдеру. Бесплатная версия для разработчиков: Можно начать использовать прямо сейчас без подписки и карты.
Для кого: Инструмент ориентирован на разработчиков AI-приложений, стартапы и компании, которым критична скорость отклика LLM.
Сценарии использования: Ускорение RAG-системы: AI-чат отвечает клиенту за доли секунды, а не за несколько секунд. Потоковый вывод для real-time приложений: Голосовой ассистент или переводчик работает без задержек. Дешевое прототипирование на старте: Разработчик тестирует модель бесплатно и быстро, а потом масштабирует через платный API.
Цены и доступность: Платформа предлагает бесплатную версию для разработчиков. Платные тарифы с посекундной и по-токенной оплатой включают:
Llama 3.1 8B Instant: 0.05 доллара за миллион входных токенов, 0.08 доллара за миллион выходных токенов. GPT OSS 20B: 0.075 доллара за миллион входных токенов, 0.30 доллара за миллион выходных токенов. GPT OSS 120B: 0.15 доллара за миллион входных токенов, 0.60 доллара за миллион выходных токенов. Llama 4 Scout: 0.11 доллара за миллион входных токенов, 0.34 доллара за миллион выходных токенов. Доступны также модели Qwen3, Llama 3.3 70B, TTS и ASR с индивидуальным ценообразованием. Batch API дает 50-процентную скидку. Встроенные инструменты тарифицируются отдельно: поиск от 1 до 8 долларов за 1000 запросов, выполнение кода 0.18 доллара в час. Цены линейны и предсказуемы без скрытых платежей.
