Отвечает та модель, за которую вы платите
В России западные нейросети доступны только через посредников. Посредник может незаметно подменить дорогую модель дешёвой, завысить число токенов или списать больше прайса — снаружи этого почти не видно. Поэтому каждый канал, через который мы продаём модель, сначала проходит проверку.
Семь тестов на каждый маршрут
Маршрут — это пара «модель + поставщик». Тесты запускаем перед подключением модели или поставщика и после изменений у поставщика. Цены поставщиков сверяем каждую ночь: если поставщик поднял цену, наша пересчитывается.
Спрашиваем модель, кто она и кто её создал. Ответ должен называть заявленного производителя и не упоминать другого. Сама по себе проверка слабая — модели иногда ошибаются о себе, — поэтому решает только вместе с остальными.
Один и тот же текст — русский, английский, код, иероглифы, даты — отправляем разным поставщикам одной модели. У каждого семейства моделей свой токенизатор: если число токенов расходится, за названием другая модель или завышенный счёт.
Просим вызвать инструмент (tools). Модель, которая умеет это по документации производителя, должна вернуть корректный вызов.
Проверяем, что response_format json_object соблюдается и ответ разбирается как JSON.
Короткая многошаговая задача на счёт. Дешёвые подмены флагманов на ней часто ошибаются.
Время до первого токена, скорость и то, что в конце потока приходит usage — иначе списание нельзя проверить.
Сверяем баланс у поставщика до и после тестовых запросов с его же прайсом. Разница больше погрешности — маршрут не включаем.
Проверка 28 сентября 2026 года
Все модели, которые сейчас продаются, прошли проверку: отвечает заявленная модель, токены совпадают, списания соответствуют прайсу поставщика.
Шесть маршрутов у одного из поставщиков мы не включили: в пяти списание было в 1,8–21 раза выше прайса, в двух число токенов не совпадало с другими поставщиками той же модели. Эти модели продаём через другие каналы или не продаём совсем.
Если найдёте расхождение между прайсом и списанием — напишите нам. Разберёмся, покажем, откуда цифра, и вернём разницу на баланс.
Как проверить любой сервис
Эти приёмы работают с любым агрегатором, включая наш. Хватит ключа API и пары рублей на запросы.
r = client.chat.completions.create(model="openai/gpt-6-sol", messages=msgs) u = r.usage print(u.prompt_tokens, u.completion_tokens) # токены из ответа print(u.cost_rub) # сколько списал Словай за этот запрос # цены за 1M токенов — из GET https://slovai.ru/v1/models expected = (u.prompt_tokens * price_in + u.completion_tokens * price_out) / 1e6
Меняются только адрес и ключ. За переезд — бонус к пополнению.