[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fRVj0VA1VaQI3PNkxVKIcbVhmmB52lLZyRJbDGDstHvE":3},{"article":4,"related":18},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Как запустить языковую модель на своём компьютере","kak-zapustit-yazykovuyu-model-na-svoyom-kompyutere","Ноутбук с 16-32 ГБ памяти тянет вменяемого ассистента без облака и платы за токены. Практический разбор, с чего начать.","Гонять модель локально стало реально даже без серверной стойки. Ноутбук с 16-32 ГБ памяти уже тянет вполне вменяемого ассистента. Данные не уходят в облако, за токены никто не берёт денег, интернет не нужен. Разберём, как подступиться.\n\n## С чего начать\n\nСамый лёгкий вход — Ollama или LM Studio. Ставишь одну программу, она сама качает модель и поднимает локальный сервер, совместимый с привычным API. Через пять минут в терминале уже отвечает 7B-модель. Для тех, кто хочет контроля, есть llama.cpp напрямую и vLLM для более серьёзной нагрузки. Проще стартовать с Ollama: одна команда в терминале качает модель и поднимает её, а дальше дёргаешь тем же форматом запросов, что и облачные сервисы.\n\nМодель выбирают под объём памяти. Грубая прикидка: модель на 7-8 миллиардов параметров в 4-битной квантизации просит примерно 5-6 ГБ, для 13B нужно около 9-10, а 70B требует уже за 40 ГБ и хорошей видеокарты. Начинать стоит с чего-то из семейств Qwen, Llama или Mistral в квантизации Q4, где удачно сходятся качество и аппетит.\n\n## Про квантизацию и железо\n\nКвантизация ужимает веса с 16 бит до 8, 4, а то и меньше. Модель худеет в разы, а качество проседает удивительно мало: на 4 битах потери обычно в пределах пары процентов на бытовых задачах. Именно она сделала локальный запуск массовым.\n\nЖелезо решает скорость. На Apple Silicon работает быстро из коробки, потому что единая память отдаётся и процессору, и графике. На ПК всё упирается в видеокарту: чем больше VRAM, тем крупнее модель влезет целиком. Если модель не помещается в видеопамять, часть уходит в оперативную, и скорость падает в разы.\n\nЧего ждать по качеству? Локальная 7-8B не заменит топовый флагман на сложных рассуждениях. Но с суммаризацией, черновиками, разбором текста, простым кодом и работой с личными данными она справляется отлично. А главное, всё остаётся на вашей машине. Бонус для разработчика: можно спокойно скармливать модели свой код и документы, не думая, куда они утекут и кто их прочитает.",null,"guide",2,"2026-07-01T07:52:46.000Z",{"name":14},"Опенсорс",{"name":16,"role":17,"bio":9},"Редакция asiclub","редакция",[19],{"title":20,"slug":21,"reading_minutes":11,"published_at":22,"category":23},"Открытые модели догнали закрытые","otkrytye-modeli-dognali-zakrytye","2026-07-02T11:52:46.000Z",{"name":14}]