Лидерборд тестов API
Участники запускают реальные запросы со своими API-токенами CheapGPT.
В таблице — время до начала ответа: одна строка за тест из 10 запросов.
| Место | Участник | Модель | Тип | Успешно | До ответа · p50 | p95 | Дата |
|---|
Загружаем прогоны…
Выберите модель, чтобы увидеть места и лучшее время. Одна строка — 10 запросов. Место получают только тесты без ошибок. Меньше время — быстрее ответ.
Как добавить свой результат
Ваш API-токен CheapGPT · Node.js 20.11+- Откройте терминал и вставьте команду
npx cheapgpt-benchmarks ttft - Введите свой API-токен, ник и выберите модель
Токен вводится скрыто. Публично показываем только ник и результаты теста.
- Подтвердите 10 платных запросов
CLI выполнит запросы с вашим токеном и добавит результат в лидерборд.
Хотите проверить только для себя? Добавьте к команде --no-publish.
Бенчмарки качества
gpt-5.6-sol
120 задач · две попытки на каждый тестовый пример
Как считаем время и что проверяем
До первого текста. Время от отправки запроса до первого непустого фрагмента ответа (TTFT). Служебные события и reasoning не считаются. Лимит — 128 выходных токенов; таймаут — 120 секунд на запрос. Без прогрева и повторов, reasoning — по умолчанию модели.
p50 — медиана. Половина успешных запросов начинает отвечать быстрее этого времени. p95 при 10 запросах — самый медленный успешный запрос. Ошибки показаны отдельно и не входят в расчёт времени.
Запросы проверяет сервер, время сообщает участник. Проверяем по учёту API, что успешные запросы принадлежат участнику и выбранной модели. Измеренное время независимо не подтверждаем; на него влияет интернет участника.
В результатах — только ник и метрики. Ключи, тексты запросов, ответов и ошибок в результаты не входят. Обычные запросы к API автоматически здесь не публикуются.