Локальные LLM
Языковые модели можно запускать на своем компьютере или сервере либо во внутреннем контуре компании. Что такое локальные модели, когда они нужны юристу, где их брать и какое для этого нужно железо?
Дата составления: 2026-10-24
Статус: 💡 Актуально
Суть
Локальная модель — это большая языковая модель (LLM), которая работает на вашем оборудовании: ноутбуке, рабочем компьютере или сервере компании. Для этого нужна модель с открытыми весами (open weights). Веса — это и есть обученная модель: файл или набор файлов объемом от пары гигабайт до сотен. Разработчик выкладывает их в открытый доступ, и любой может скачать модель и пользоваться ею без подписки на условиях лицензии.
Открытые веса публикуют многие компании, например Alibaba (Qwen), Google (Gemma), OpenAI (GPT-OSS), Meta (Muse Glimmer), DeepSeek, а из российских компаний — Сбер (GigaChat), Яндекс (YandexGPT Lite) и Т-Банк (T-Pro). Чем локальная модель отличается от других способов работать с ИИ — в таблице.
Вариант | Где работает модель | Что вы скачиваете | Сильные и слабые стороны |
Облачный сервис на закрытой модели | На серверах вендора — туда же уходят ваши запросы и документы. Веса таких моделей не публикуются, работать с ними можно только через сервис или программный интерфейс (API). | Ничего или приложение-клиент. | Лучшее качество, ничего не нужно настраивать. Данные передаются вендору, как правило, за рубеж. |
Облачный сервис разработчика открытых моделей | На серверах разработчика — туда же уходят ваши данные. Открытость весов здесь ничего не меняет: вы пользуетесь облачным сервисом, где могут работать и закрытые модели разработчика. | Ничего. | Сильные модели бесплатно или недорого. С данными — те же вопросы, что у закрытых сервисов: они передаются третьему лицу. |
Локальный агент | Агент работает с файлами на вашем компьютере, но ответы ему, как правило, дает облачная модель: содержимое прочитанных файлов уходит вендору. | Харнесс (harness) — программную обвязку агента, а не веса модели. | Работает с вашими папками и программами. С конфиденциальностью — как у облачного сервиса. |
Локальная модель | На вашем компьютере или сервере компании. Данные никуда не уходят, работать можно даже без интернета. | Веса модели и программу для запуска. | Контроль над данными, нет лимитов и зависимости от зарубежных сервисов. Качество ниже облачных флагманов: модель хорошо справляется с рутиной по понятному шаблону, но плохо — со сложным правовым анализом. Нужно железо. |
Локальной модель становится, только когда вы скачали веса и запустили их у себя. Устанавливая агента, вы скачиваете харнесс, а не веса: файлы остаются на вашем компьютере, но их содержимое, как правило, уходит в облачную модель.
Содержание раздела
Использование локальных LLM юристами — зачем юристу локальная модель, с какими задачами она справится, а с какими нет, и кейсы участников сообщества
Программы и первый запуск — в каких программах запускать модель, как начать и какие подводные камни учесть
Модели и железо — где брать модели, как читать их названия, какие семейства смотреть и какое нужно железо
Теги: #инструменты #локальные-модели #обзор