Кредиты, квоты и лимиты
Кредиты
Расход считается в кредитах: токены запроса и ответа умножаются на цену модели за 1 млн токенов. Кредиты общие для чата, инструментов и API. Кредиты не являются деньгами.
Оплата картой скоро появится на сайте. Пока кредиты начисляем по запросу: напишите в поддержку.Резерв
Перед ответом шлюз резервирует кредиты по верхней оценке: длина запроса и предел ответа max_tokens (или max_completion_tokens), в который входят и размышления модели. После ответа списывается фактический расход, остаток резерва возвращается. Если кредитов не хватает на резерв, запрос отклоняется с ошибкой QUOTA_EXCEEDED и ничего не стоит.
Откуда берутся токены
| Пометка в журнале | Что значит |
|---|---|
| Данные провайдера | Токены сообщила модель |
| Оценка | Ответ получен, но модель не сообщила токены |
| Частичная оценка | Ответ прервался, посчитано то, что успело прийти |
Повтор запроса
Чтобы повтор после обрыва сети не создал второй расход, передавайте заголовок Idempotency-Key с уникальным значением для каждого действия. Запрос с уже использованным ключом не выполняется повторно: шлюз вернёт IDEMPOTENCY_CONFLICT, а итог первого запроса виден в журнале.
Ограничения частоты
У ключа есть ограничение запросов в минуту и одновременных запросов. При превышении шлюз вернёт RATE_LIMITED или CONCURRENCY_LIMIT с заголовком Retry-After.
Остаток ключа
curl https://aiap1.ru/api/usage/token -H "Authorization: Bearer $AIAP1_API_KEY"