Программы и первый запуск

В каких программах запускать локальную модель, как сделать первые шаги и что проверить, чтобы данные действительно не уходили в облако.

Дата составления: 2026-10-24
Статус: 💡 Актуально

Программы для запуска

Чтобы модель заработала, нужен движок (runtime) — программа, которая загружает веса в память и считает ответы, — и интерфейс для работы с ним. Начинающим проще всего взять приложение, где все это уже собрано.

Программа

Кому подойдет

Что умеет

На что обратить внимание

LM Studio

Для старта без командной строки

Каталог моделей с подсказкой, что поместится в память, чат с загрузкой файлов, локальный сервер для других программ; на Mac запускает модели MLX.

Бесплатна, в том числе для работы. С июля 2026 года есть отдельное агентное приложение LM Studio Bionic, которое умеет запускать и облачные модели, — проверяйте, где выполняется запрос.

Ollama

Тем, кто подключает модель к другим программам

Приложение и командная строка, своя библиотека моделей. К Ollama подключаются веб-интерфейсы, приложения для работы с документами, анонимайзеры и агенты.

Модели с пометкой cloud в названии работают на серверах Ollama. Облачные функции, включая веб-поиск, отключаются в файле настроек с перезапуском . Если видеопамяти меньше 24 ГБ, контекст по умолчанию — 4 тыс. токенов.

Jan

Тем, кому нужна альтернатива LM Studio с открытым кодом

Чат с локальными моделями, каталог моделей, локальный сервер для других программ.

Умеет подключать облачные модели по API-ключам (OpenAI, Anthropic, Google и другие) — для документов под тайной проверьте настройки.

AnythingLLM

Для работы со своими документами

Настольное приложение: загружаете документы и задаете вопросы по ним (RAG). Модели берет из Ollama, LM Studio или встроенного движка.

Умеет подключать и облачные модели — для документов под тайной проверьте настройки. Качество ответа зависит от настройки поиска.

Open WebUI

Для команды

Веб-интерфейс в стиле ChatGPT поверх Ollama: учетные записи, загрузка документов, доступ для коллег из локальной сети.

Обычно устанавливается через Docker.

llama.cpp, MLX

Тем, кто собирает свой конвейер

Это «движки», которые запускают модель внутри LM Studio, Ollama и других приложений. Напрямую с ними работают, когда пишут собственные скрипты и программы.

Нужна командная строка.

vLLM

ИТ-отделу фирмы

Серверный движок: обслуживает много пользователей одновременно на нескольких видеокартах.

Работает на Linux, требует администрирования.

Первый запуск

  1. Установите LM Studio. Ollama стоит выбрать, если программа, к которой вы хотите подключить модель, поддерживает именно ее.

  2. Выберите модель, которая помещается в память с запасом. Как читать названия моделей и прикинуть нужный объем памяти — в статье Модели и железо.

  3. Если будете загружать документы, увеличьте контекстное окно в настройках модели: по умолчанию оно часто рассчитано на несколько страниц.

  4. Проверьте модель на открытых материалах: возьмите типовой документ без тайны и сравните ответ с облачной моделью. Промпт пишите так же подробно, как для облачной модели; со слабыми моделями иногда помогает запрос на английском.

  5. Убедитесь, что все работает локально: отключите интернет — локальная модель продолжит отвечать. После этого можно переходить к чувствительным документам.

Подводные камни

  • Короткий контекст по умолчанию. В Ollama на компьютерах, где видеопамяти меньше 24 ГБ, контекст по умолчанию — 4 тыс. токенов, то есть несколько страниц: остаток длинного договора модель просто не увидит, и предупреждения не будет. Размер меняется в настройках приложения, но каждое увеличение занимает память. Если подключаете модель к агенту или веб-поиску, документация Ollama советует не меньше 64 тыс. токенов.

  • Облако внутри «локальных» программ. Ollama и LM Studio Bionic предлагают облачные модели в том же интерфейсе, а Jan и AnythingLLM умеют подключать облачных провайдеров. Для чувствительных данных убедитесь, что выбрана скачанная модель, или отключите облачные функции.

  • Русский язык. Небольшие модели заметно хуже понимают и пишут по-русски, чем по-английски. Включайте в сравнение российские модели и дообучения на русском (GigaChat, YandexGPT, T-Pro).

  • Поиск в интернете уходит наружу. Веб-поиск, встроенный в программу (как облачный поиск Ollama) или подключенный дополнением, отправляет ваши запросы на серверы поискового сервиса. Если в запросе есть сведения о деле, это такая же передача данных наружу, как в облачном чате.

  • Обслуживание — на вас. Модели не обновляются сами, а при сбое разбираться придется самому или с ИТ-специалистом.

Связанные статьи

Дополнительные материалы

  • Context length — документация Ollama: контекст по умолчанию и как его увеличить

Теги: #инструменты #локальные-модели #lm-studio #ollama