Стартап Subquadratic утверждает, что нашёл способ обойти один из главных вычислительных узких мест больших языковых моделей. MIT Technology Review пишет, что компания сначала вышла из stealth-режима с громким заявлением и ограниченным набором собственных тестов, а теперь опубликовала больше данных, включая независимую оценку от Appen.

Суть заявления касается механизма attention. Современные LLM обычно опираются на transformer-архитектуру и dense attention: модель сравнивает токены друг с другом, чтобы понять связи внутри текста. Такой подход даёт качество, но плохо масштабируется по длине контекста. Чем больше входной текст, тем быстрее растёт число операций: удвоение длины примерно учетверяет вычислительную нагрузку. Именно поэтому длинные документы, большие кодовые базы и массивы корпоративных данных остаются дорогими задачами для AI-систем.

Subquadratic говорит, что её модель SubQ использует sparse attention вместо dense attention. Идея не новая: не все пары токенов одинаково важны, поэтому можно выбирать только часть связей и сокращать число вычислений. Но исторически такие подходы часто проигрывали классическим transformer-моделям по качеству или плохо работали в универсальных задачах. Поэтому рынок встретил заявление Subquadratic скептически.

Компания утверждает, что SubQ быстрее, дешевле и энергоэффективнее существующих моделей, а также способна обрабатывать до 12 раз больше текста за один проход по сравнению с большинством конкурентов. При этом, по словам стартапа, модель почти не уступает лидерам от Google DeepMind, OpenAI и Anthropic в ключевых задачах вроде программирования.

MIT Technology Review подчёркивает: публичного доступа к SubQ пока нет, поэтому полностью проверить заявления невозможно. Однако независимое тестирование Appen, по словам издания, частично подтверждает тезисы стартапа. Директор Appen по generative AI research Жанин Синанан-Сингх назвала результаты потенциально важными, потому что скорость и неэффективность остаются хроническими проблемами крупных моделей.

При этом даже позитивная внешняя оценка не превращает SubQ в доказанный новый стандарт. Эксперты напоминают, что sparse attention пробовали многие команды, и добиться одновременно экономии, качества и универсальности крайне сложно. Один из независимых AI-исследователей сравнил такую задачу с «четырёхминутной милей»: не невозможной, но требующей исключительного результата.

Если Subquadratic действительно удержит качество при резком снижении вычислительной цены, последствия будут большими. Длинный контекст станет доступнее для анализа архивов, юридических документов, научных корпусов и кодовых репозиториев, а затраты на inference могут снизиться. Но до открытого тестирования и повторяемых бенчмарков это остаётся многообещающей заявкой, а не доказанной сменой эпохи transformer-моделей.

Источник: MIT Technology Review, 19 июня 2026