Гайд по развёртыванию

Шаблоны и рекомендации для продакшн-развёртывания.

SDK в продакшне

  • Ставьте timeout 30 секунд или больше для LLM-вызовов
  • Включайте retry-логику (SDK v2 делает это по умолчанию с экспоненциальной задержкой)
  • Используйте пул соединений — создавайте один экземпляр Client на процесс
  • Кэшируйте определения промптов (они редко меняются) — SDK делает это автоматически на 5 минут

Переменные окружения

PH_API_KEY=...
PH_BASE_URL=https://api.promptlayer-hub.com/v1
PH_TIMEOUT_SECONDS=30
PH_MAX_RETRIES=3

Наблюдаемость

Включите логирование запросов:

client = Client(api_key="...", debug=True)
# Логирует в stderr с trace ID

Отправка метрик в Datadog:

from promptlayer_hub.integrations import DatadogMiddleware
client.add_middleware(DatadogMiddleware(statsd_host="localhost"))

Контроль расходов

  • Устанавливайте лимиты бюджета на пользователя и рабочее пространство в дашборде
  • Включайте алерты по стоимости (email + webhook) на 80% / 100% бюджета
  • Используйте кэширование промптов где возможно — экономит 30-70% токенов

Высокая доступность

Тариф Enterprise: мульти-региональное развёртывание с автоматическим failover, RPO < 1 мин, RTO < 5 мин. Подробности — в отделе продаж.