Kimi K3 — что нового в архитектуре и сколько это стоит

16 июля 2026 года Moonshot AI выпустила флагман на 2.8 триллиона параметров, который занял первое место на BrowseComp и по пути переписал собственный тренировочный GPU-код за 15 часов автономной работы.

Перед релизом Kimi K3 инженеры Moonshot AI посадили пять моделей за одну и ту же задачу: ускорить настоящий тренировочный kernel компании, не меняя результат вычислений. Условия были одинаковыми для всех — изолированная песочница, до суток на эксперименты, доступ к NVIDIA H200 и GPGPU другого вендора. Kimi K3 взяла один из четырёх раундов и на кернеле AttnRes спроектировала с нуля новый двухфазный алгоритм: за 15 часов непрерывных попыток время прохода упало с 283.6 до 114.4 миллисекунды. Модель обошла GPT-5.6 Sol, GPT-5.5 и Claude Opus 4.8 и почти сравнялась с Claude Fable 5.

Kimi K3 вышла 16 июля 2026 года — 2.8 триллиона параметров, контекст на миллион токенов и новая архитектура внимания Kimi Delta Attention. Доступ идёт через приложение Kimi, веб-версию и API.

Дальше разберём, как устроена архитектура, что показывают независимые бенчмарки Artificial Analysis против Claude Fable 5, GPT-5.6 Sol и Claude Opus 4.8, сколько реально стоит балл интеллекта и что Moonshot признаёт сама — от роста доли галлюцинаций до временной приостановки новых подписок из-за нехватки мощностей.

Как Kimi K3 сама ускорила код своего обучения

В материалах релиза Moonshot описала эксперимент, которого раньше не проводил ни один конкурент в таком виде. Пяти моделям — Kimi K3, Claude Fable 5, Claude Opus 4.8, GPT-5.6 Sol и GPT-5.5 — дали одну и ту же инженерную задачу: оптимизировать четыре реальных тренировочных kernel'а компании (AttnRes, KDA, DSA и MLA с 512-мерными головами) на NVIDIA H200 и GPGPU альтернативного вендора. У каждой модели было до 24 часов, полная песочница и одно жёсткое ограничение — результат вычислений менять нельзя, речь только о скорости.

На кернеле AttnRes условия были такими: 96 слоёв, размерность модели 8192, последовательность 8192 токена, исходная реализация на Triton из библиотеки FLA. Kimi K3 за 15 часов непрерывных итераций спроектировала двухфазный алгоритм и слила несколько операций в единые кернелы, сохранив исходную численную точность. Время прямого и обратного прохода упало с 283.6 до 114.4 миллисекунды — ускорение в 2.48 раза. По итоговому результату Kimi K3 и Claude Fable 5 (с фоллбэком) финишировали почти вровень, но K3 улучшала результат быстрее на каждой отдельной итерации, а GPT-5.6 Sol, GPT-5.5 и Claude Opus 4.8 остались заметно позади.

У этой истории есть продолжение, которое Moonshot упомянула отдельно: на поздних этапах разработки K3 ранняя версия самой модели уже выполняла большую часть работы по оптимизации кернелов внутри команды. Инженеры не столько писали код руками, сколько проверяли и принимали то, что предлагала ещё не выпущенная модель — практика, которая обычно звучит как сценарий из презентации, а не как рабочий процесс конкретной лаборатории.

Архитектура на 2.8 триллиона параметров

K3 держит номинальный размер в 2.8 трлн параметров, но на каждый токен реально работают лишь 16 из 896 экспертов — эффективная стоимость инференса сопоставима с гораздо более компактной плотной моделью. Балансировку между таким количеством экспертов обеспечивает Stable LatentMoE вместе с механизмом Quantile Balancing, который распределяет токены между экспертами напрямую по квантилям их оценок, без ручных эвристик и хрупких гиперпараметров, которые обычно приходится подбирать вручную для MoE такого масштаба.

Контекст в миллион токенов держится на Kimi Delta Attention (KDA) — механизме внимания, который остаётся линейным по вычислительной стоимости там, где обычное внимание растёт квадратично с длиной последовательности. Второй новый компонент, Attention Residuals (AttnRes), отвечает за то, как модель выборочно переносит представления между слоями по глубине сети, а не накапливает их равномерно. По заявлению Moonshot, вместе эти решения дают примерно 2.5-кратный рост эффективности масштабирования по сравнению с предыдущей K2 — то есть K3 превращает то же количество вычислений в заметно больше полезного интеллекта.

Стабильность обучения при такой разреженности обеспечивают ещё несколько узкоспециализированных модулей: Per-Head Muon расширяет оптимизатор Muon так, что каждая голова внимания настраивается независимо, а Sigmoid Tanh Unit и Gated MLA управляют активациями и избирательностью внимания. Обучение идёт с учётом будущего квантования с самого этапа fine-tuning — веса модели хранятся в формате MXFP4, активации в MXFP8, что снижает требования к памяти при инференсе.

Бенчмарки без прикрас

Moonshot сравнивает K3 с четырьмя моделями, которые задают верхнюю границу рынка на июль 2026 года: Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8 и GPT-5.5, плюс GLM-5.2 как ориентир среди самых доступных по цене моделей. Вот как это выглядит на графиках Artificial Analysis по кодингу и агентным задачам.

Бенчмарки кодинга. Kimi K3 берёт первое место на Program Bench и SWE Marathon. Источник: Artificial Analysis.

Общие и визуальные агенты. Kimi K3 лидирует на BrowseComp, SpreadsheetBench 2 и Automation Bench. Источник: Artificial Analysis.