Метрики

Данные из системы мониторинга Prometheus. Интервалы по 30 минут; обновление раз в час. Промпты, ответы и ключи в снимок не входят.

От получения запроса сервером до первого токена, который видит клиент: reasoning или текста ответа — как в OpenRouter. Уровень reasoning берётся из параметра запроса; если модель его не размечает, показана одна строка по всем запросам. Сравнение с OpenRouter — их публичная статистика задержки до первого токена за последние 30 минут на момент снимка у прямого провайдера модели (OpenAI, Anthropic или Google AI Studio), Azure и Amazon Bedrock на обычном тарифе.

p50 — медиана: половина измерений укладывается в это время. p95 — порог для 95% измерений. Перцентили приближённо восстановлены из гистограмм. Сеть от клиента до шлюза не включена. Текстовые и tool-события текущий счётчик не разделяет.

Успешность за 24 часа = HTTP 2xx / (все завершённые запросы − ошибки ввода/доступа − отмены клиента). Исключаем 400, 401, 402, 403, 404, 405, 413, 415, 422 и отдельно 499. HTTP 429 и остальные статусы остаются в знаменателе.

Общее число запросов берётся по входящим запросам, успешность — по завершённым. Запросы, ещё выполнявшиеся на границе периода, могут давать разницу. Ошибки внутри уже открытого HTTP 200 стрима этот показатель не обнаруживает.

RPM — rate входящих POST-запросов генерации × 60. TPM — сумма rate входных и выходных токенов × 60. Обе скорости рассчитаны за минуту. Кэшированные входные токены уже входят во входные и повторно не прибавляются.

Токены попадают в счётчики после обработки запроса, поэтому TPM отражает учёт токенов, а не мгновенную скорость их генерации. Показана последняя измеренная минута снимка. Числа округлены только при отображении.