Kimi K3.1 Pro: 2,8 трлн параметров и 104 млрд активных

23 октября Moonshot AI выпустила Kimi K3.1 Pro, а веса обещает открыть до 4 ноября, так что самостоятельный запуск пока остаётся планом. Подробности есть в техническом блоге, а в анонсе три цифры: контекст на 1 млн токенов, 2,8 трлн параметров всего и 104 млрд активных. Вторая и третья цифры отличаются в 27 раз, и эта разница объясняет, сколько стоит токен модели, почему она быстрая для своего размера и почему запустить её у себя всё равно дорого.

Разница возникает из-за архитектуры Mixture-of-Experts, или MoE. Так устроены многие крупные открытые модели, поэтому механизм полезно понять один раз.

Что известно о модели

По оценке Artificial Analysis, K3.1 Pro набирает 55 баллов в их Intelligence Index и занимает четвёртое место. Впереди Claude Opus 5.5 с 58 баллами, Claude Sonnet 5.5 и Muse Wonder Full с 56. Предыдущая Kimi K3 набирала 44. Если оценки не изменятся, после публикации весов K3.1 Pro станет лучшей открытой моделью в этом рейтинге, а разрыв между лучшими открытыми и закрытыми моделями сократится с 12 баллов до 3.

Сильнее всего модель выросла в агентных задачах. В Terminal-Bench 4.0 Artificial Analysis насчитала 67% против 13% у K3. Сама Moonshot в блоге даёт 65,7% при 66,4% у Opus 5.5. Цифры расходятся, потому что Moonshot мерила в харнесе Claude Code, а у Artificial Analysis своя методика. Цена в API 2 доллара за миллион входных токенов, 10 долларов за миллион выходных и 0,20 доллара за миллион токенов из кэша, на треть дешевле K3. Есть версия Highspeed, которая, по словам Moonshot, работает в 2–3 раза быстрее.

Moonshot называет K3.1 Pro дообученной версией K3, в постобучение которой вложили заметно больше вычислений. Значит, архитектура у неё та же, что описана в карточке Kimi K3 на Hugging Face.

Как устроена MoE

Трансформер состоит из слоёв, и в каждом есть два крупных блока: внимание, где токены обмениваются информацией, и полносвязная сеть, где каждый токен обрабатывается отдельно. В плотной модели каждый токен проходит через все параметры всех слоёв. В MoE полносвязную сеть разрезают на много небольших сетей, экспертов, и каждый токен отправляют только к нескольким из них.

У Kimi K3 в каждом таком слое 896 экспертов. Решает, к кому идти, роутер: маленький слой, который для каждого токена выставляет оценки всем экспертам и выбирает 16 лучших. Ещё два общих эксперта работают для каждого токена всегда, они держат знания, нужные почти везде. Выбор происходит заново в каждом слое и для каждого токена, так что соседние слова одной фразы могут пройти через совсем разные наборы экспертов.

Эксперты не назначаются вручную по темам. Роутер и эксперты учатся вместе, и разделение труда складывается само, по закономерностям в токенах. Поэтому искать в модели «эксперта по химии» бессмысленно.

Сложим, что работает для одного токена: внимание, общие эксперты, 16 выбранных экспертов в каждом слое, эмбеддинги. Получается 104 млрд параметров из 2,8 трлн, около 3,7%.

Почему токен дешёвый, а память дорогая

Вычисления на токен растут с числом активных параметров. Грубое правило: около двух операций с плавающей точкой на параметр. Для 104 млрд это примерно 0,2 трлн операций на токен, а плотной модели на 2,8 трлн понадобилось бы в 27 раз больше. Отсюда цена в API на уровне моделей среднего размера.

С памятью так не получается. Роутер узнаёт, какие эксперты нужны, только когда токен до него дошёл, а сервер обрабатывает сразу десятки запросов, и их токены разбегаются почти по всем 896 экспертам. Подгружать экспертов с диска на лету слишком медленно, поэтому все 2,8 трлн параметров должны постоянно лежать в памяти GPU.

Moonshot заранее учла это при обучении. Веса K3 хранятся в формате MXFP4, около четырёх бит на параметр, и начиная с этапа SFT модель обучали с расчётом на такую точность. Но и в таком виде чекпоинт весит около 1,56 ТБ. В руководстве Lambda модель K3 запускают на 16 GPU B200, это два сервера по восемь карт с быстрой сетью между ними. На такой связке при 32 одновременных запросах vLLM выдаёт около 298 токенов в секунду суммарно и около 9 токенов в секунду на пользователя.

Получается, что MoE экономит вычисления, но не память. Провайдер, который держит модель под большой нагрузкой, делит стоимость 16 ускорителей на тысячи запросов, и токен выходит дешёвым. Команда, которая поднимет модель для себя и будет слать ей пару запросов в минуту, платит за те же 16 ускорителей почти вхолостую.

Что дают открытые веса

Открытые веса означают, что файл модели можно скачать и запустить на своём железе. У K3 веса вышли под собственной лицензией Kimi K3 License. На каких условиях откроют K3.1 Pro, Moonshot пока не сообщила. В блоге сказано, что из открытой версии убрали данные по кибербезопасности на этапах дообучения и обучения с подкреплением, так что в этой области открытая модель будет слабее закрытых.

Для бизнеса открытые веса дают три вещи. Во-первых, данные не уходят к внешнему провайдеру, это важно банкам, медицине и госсектору. Во-вторых, модель можно дообучить под свою задачу. Даже лёгкое дообучение вроде LoRA требует держать в памяти всю модель, то есть те же 1,5 ТБ с лишним плюс запас на обучение, так что это работа для команды с кластером. В-третьих, модель смогут хостить сторонние провайдеры, и конкуренция между ними снизит цену за токен.

Большинство разработчиков, скорее всего, почувствуют открытость K3.1 Pro именно так: модель появится у нескольких провайдеров и подешевеет. Запуск на собственном железе останется задачей для компаний с серьёзной инфраструктурой.

Что учесть перед выбором модели