Модели и железо

Дата составления: 2026-10-24
Статус: 💡 Актуально

Где брать модели

Как выглядит модель. Скачанная модель — это файл весов. Чаще всего вы встретите:

• Формат .gguf — один файл со сжатой моделью, который скачивают программы для домашнего запуска вроде LM Studio и Ollama;

• Формат .safetensors — исходный формат разработчиков: обычно несколько файлов полного размера;

• Версии для MLX — фреймворка Apple: сжатые модели для компьютеров на чипах серии M.

О самих программах — в статье Программы и первый запуск.

Как читать название модели.

• Число с буквой B («8B», «27B») — количество параметров в миллиардах (billion). От него напрямую зависит, сколько памяти нужно модели. С качеством связь не прямая: новые небольшие модели нередко обгоняют прежние крупные, а в атласе Яна Стригова модель на 9B вошла в группу лидеров вместе с моделями на 26B и 35B. Поэтому сравнивайте модели одного поколения или смотрите на результаты тестов.

• Запись вида «35B-A3B» означает модель смеси экспертов (Mixture of Experts, MoE): всего 35 млрд параметров, но на каждый токен работают только 3 млрд. Памяти ей нужно как модели на 35B, а отвечает она почти со скоростью модели на 3B — если целиком помещается в видеопамять.

• Метки вроде Q4_K_M или Q8 — уровень квантизации (quantization), то есть сжатия весов: сколько бит приходится на один параметр. Четыре бита — разумный компромисс: файл в 3—4 раза меньше исходного при небольшой потере качества. Восемь бит почти не отличаются от оригинала, а ниже четырех качество падает заметно.

• Диалоговую версию, которая следует инструкциям, обычно помечают «Instruct» или «it», а заготовку для дообучения — «Base». Единого правила нет: у свежих Qwen и GigaChat диалоговая версия идет без пометки, а у Gemma без пометки как раз заготовка, поэтому сверяйтесь с карточкой модели.

Где скачать.

• Встроенные каталоги LM Studio и Ollama — самый простой путь: LM Studio сама подсказывает, какие версии поместятся в память компьютера.

• Hugging Face — главный каталог открытых моделей. У каждой модели есть карточка с описанием, лицензией и рекомендациями по запуску. Сжатые .gguf-версии выкладывают и сами разработчики, и сторонние авторы с хорошей репутацией.

• Российские модели лежат на страницах разработчиков на Hugging Face: ai-sage (GigaChat), yandex (YandexGPT), t-tech (T-Pro).

Какие семейства смотреть. Ниже срез на октябрь 2026 года. Открытые модели обновляются каждые несколько месяцев, поэтому сверяйтесь со свежими релизами.

Что реально работает на домашней видеокарте, проверил Ян Стригов. На карте с 16 ГБ в группу лидеров его атласа вошли Gemma 4 на 26B и дообученные версии Qwen на 9B и 35B, а русский язык оказался слабым местом почти всех моделей такого размера. Подробнее — в разделе Исследования.

Лицензия и источник. Перед использованием в работе проверьте лицензию в карточке модели. У большинства популярных моделей она разрешительная (Apache 2.0, MIT), но встречаются ограничения на коммерческое использование или число пользователей. Скачивайте модели со страниц разработчиков или у известных авторов сжатых версий — как и любые файлы из интернета.

Какое нужно железо

Возможности компьютера определяют два параметра:

• Объем памяти (memory capacity) — поместится ли модель. Быстрее всего модель работает, когда целиком помещается в видеопамять видеокарты (VRAM). Если не помещается, часть уходит в обычную оперативную память (RAM), и скорость падает в разы. У компьютеров Apple на чипах серии M и у некоторых мини-ПК память общая для процессора и графики (unified memory): модель может занять большую ее часть, поэтому на таких машинах помещаются модели, для которых понадобилась бы дорогая видеокарта.

• Пропускная способность памяти (memory bandwidth) — как быстро модель отвечает. Поэтому видеокарта с быстрой памятью генерирует текст быстрее, чем процессор с тем же объемом обычной памяти.

Грубый расчет: в 4-битном сжатии каждый миллиард параметров занимает около 0,6 ГБ. Модели на 8B нужно около 5 ГБ, на 27B — около 16 ГБ. Сверху нужен запас под контекстное окно: чем длиннее документ, тем больше памяти он занимает.

Компьютеры Apple. Они тихие и компактные — их удобно держать включенными для ночной обработки, как в кейсе Семена Мошкина. Учтите, что по умолчанию macOS отдает графике около 75% общей памяти, а расширить память после покупки нельзя, поэтому ее объем стоит выбирать с запасом.

Прежде чем покупать

Железо для нейросетей быстро дорожает на фоне дефицита памяти: например, NVIDIA DGX Spark на 128 ГБ всего за год подорожал с $3999 до $6950. Поэтому сначала:

1. Проверьте, что пойдет на имеющемся компьютере: LM Studio показывает, поместится ли модель, а утилита для командной строки llmfit подбирает модели под вашу память, процессор и видеокарту.

2. Прогоните типовые задачи на открытых или обезличенных материалах, в том числе через открытые модели в российском облаке, и сравните результат с облачным флагманом.

3. Посчитайте экономику. Для личного использования подписки на облачные сервисы часто дешевле мощного железа — в сообществе об этом напоминают. Покупка оправдана, когда есть поток однотипной работы с данными, которые нельзя отдавать наружу.

Связанные статьи

• Программы и первый запуск — в каких программах запускать модель и как начать

• Использование локальных LLM юристами — какие задачи юриста локальная модель решает, а какие нет, и кейсы участников сообщества

Дополнительные материалы

• Атлас локальных моделей — результаты тестов Яна Стригова на домашней видеокарте

• llmfit — утилита для командной строки, которая подбирает модели под память, процессор и видеокарту компьютера

Теги: #инструменты #локальные-модели #железо