[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fi3pzECdnftW2CLxffyPhr1izLLXiqt3v69yvMFxYULU":3},{"article":4,"related":18},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Как ужать модель без потери качества","kak-uzhat-model-bez-poteri-kachestva","Набор приёмов режет аппетит модели в разы почти без потери качества. Что включать и в каком порядке.","Модель обучили в 16 битах на параметр. Но держать её такой в проде расточительно. Есть набор приёмов, которые режут аппетит модели в разы, почти не трогая качество. Ниже разберём, что включать и в каком порядке.\n\n## Квантизация первым делом\n\nНачинать стоит с понижения точности весов. Перевод из FP16 в FP8 на современных ускорителях идёт из коробки: тот же vLLM поддерживает его нативно. Он даёт от 1,3 до 2 раз пропускной способности при потере качества меньше 2% на инструктивных моделях. Соотношение выгоды к риску тут лучшее из всех приёмов, поэтому с него и начинают.\n\nХочется ужать сильнее, спускайтесь в 4 бита. Для локального запуска на бытовом железе это стандарт: модель худеет в разы и влезает в скромную видеокарту. Просадка качества заметнее, но на большинстве прикладных задач терпимая. Ниже 4 бит уже начинаются ощутимые жертвы, туда лезут осторожно.\n\n## Что ещё выжимает скорость\n\nОдной квантизацией дело не заканчивается. Батчинг склеивает много запросов в один прогон и кратно поднимает утилизацию карты, без него дорогое железо простаивает. Спекулятивное декодирование сажает рядом маленькую быструю модель, которая набрасывает черновик токенов, а большая лишь проверяет, и на ровном месте выходит быстрее.\n\nОтдельная головная боль — KV-кэш, память под уже обработанный контекст. На длинных диалогах он раздувается и съедает всю VRAM. Грамотное управление им и разумные лимиты контекста часто высвобождают больше, чем ожидаешь.\n\nПорядок действий такой. Сначала FP8, дёшево и почти бесплатно по качеству. Потом батчинг и работа с KV-кэшем, чтобы выжать железо под нагрузкой. Дальше, по необходимости, 4 бита и спекулятивное декодирование. И на каждом шаге замеряйте качество на своих данных, а не на общих бенчмарках: где именно просядет ваша модель, заранее не скажет никто.",null,"guide",2,"2026-06-23T01:52:47.000Z",{"name":14},"Инфраструктура",{"name":16,"role":17,"bio":9},"Редакция asiclub","редакция",[19],{"title":20,"slug":21,"reading_minutes":11,"published_at":22,"category":23},"RAG не умер, он повзрослел","rag-ne-umer-on-povzroslel","2026-07-03T06:52:46.000Z",{"name":14}]