Как мы проверяем поставщиков моделей
Западные нейросети в России доступны через посредников. Мы проверяем каждый канал, прежде чем продавать через него модель. Честно о границах: ни одна внешняя проба не доказывает, что отвечает именно заявленная модель. Пробы ловят сбои и аномалии, а сверка списаний показывает, что поставщик берёт деньги по своему прайсу.
Методика 1.1 · последняя полная проверка 28 сентября 2026 · страница обновлена 30 сентября 2026
Что проверяет каждая проба — и чего не доказывает
Маршрут — это пара «модель + поставщик». Пробы запускаем перед подключением модели или поставщика и после изменений у поставщика.
| Проба | Что проверяет | Чего не доказывает |
|---|---|---|
| Вызов функций | Модель, которая по документации производителя умеет tools, возвращает корректный вызов инструмента. | Не доказывает, что это именно заявленная модель: вызов функций умеют и другие модели. |
| JSON-режим | response_format json_object соблюдается, ответ разбирается как JSON. | Не доказывает подлинность: говорит только о том, что параметр доходит до модели. |
| Стриминг и usage | Ответ приходит потоком, в конце есть число токенов — иначе списание нельзя проверить. | Не говорит ничего о самой модели. |
| Проба | Что проверяет | Чего не доказывает |
|---|---|---|
| Ответ о себе | Модель называет заявленного производителя и не называет другого. | Слабый сигнал: модели часто ошибаются о себе, а подменная модель может назвать любое имя. Расхождение — повод разбираться, совпадение — не доказательство. |
| Число токенов | Один и тот же текст у разных поставщиков одной модели должен давать одинаковое число входных токенов. | Расхождение не доказывает подмену: поставщики по-разному считают служебные токены и кеш. Это аномалия, после которой маршрут не включаем, пока не разберёмся. |
| Задача на счёт | Короткая многошаговая задача, с которой флагманы справляются стабильно. | Ошибка — повод присмотреться. Правильный ответ не доказывает, что это флагман. |
| Проба | Что проверяет | Чего не доказывает |
|---|---|---|
| Баланс до и после | Падение баланса у поставщика после тестовых запросов совпадает с его прайсом и числом токенов. | Доказывает, что поставщик списывает по своему прайсу. Не доказывает, какая модель отвечала. |
Какая модель ответила
У каждой модели в каталоге есть фиксированные маршруты: поставщик и имя модели у него. Если поставщик недоступен, запрос уходит к другому поставщику той же модели — никогда к другой модели.
Исключение одно и явное: «Авто» само выбирает модель под вопрос, и в ответе поле model называет ту, что ответила, — цена по её тарифу. Для каждого запроса мы храним маршрут, имя модели, которое вернул поставщик, режим и тариф. Названия поставщиков не публикуем.
Цены поставщиков сверяем каждую ночь и пересчитываем свои. Каждый запрос, по которому поставщик сообщает стоимость, сравнивается с его прайсом; раз в час падение баланса у поставщика сверяется с журналом запросов. При переплате больше 5% маршрут отключается, если у модели есть другой.
Проверка 28 сентября 2026
Все маршруты, которые сейчас продаются, прошли пробы из таблицы без аномалий, а списания совпали с прайсом поставщика.
Шесть маршрутов у одного из поставщиков мы не включили: в пяти списание было в 1,8–21 раза выше его прайса, в двух число токенов расходилось с другими поставщиками той же модели. Это причина не продавать маршрут, а не вывод о том, что поставщик подменял модель.
Нашли расхождение между прайсом и списанием у нас — напишите. Разберёмся, покажем расчёт и вернём разницу на баланс, если ошиблись мы.
Как проверить любой сервис
Эти приёмы работают с любым агрегатором, включая наш. Хватит ключа API и пары рублей на запросы. Они покажут сбои и расхождения, но не дадут стопроцентного ответа, какая модель отвечает.
r = client.chat.completions.create(model="openai/gpt-6-sol", messages=msgs) u = r.usage print(u.prompt_tokens, u.completion_tokens) # токены из ответа print(u.cost_rub) # сколько списал Словай за этот запрос # цены за 1M токенов — из GET https://slovai.ru/v1/models expected = (u.prompt_tokens * price_in + u.completion_tokens * price_out) / 1e6
Пошаговая инструкция, таблица совместимости и бонус к пополнению.