[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fJZlvKKisLPKdL2IArdvPerSvziO_GnIpFWV2zSJ-Hpo":3},{"article":4,"related":18},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Как большие модели учат маленькие","kak-bolshie-modeli-uchat-malenkie","Маленькую модель выучивают на ответах большой. Приём стал стандартом отрасли и развернул рынок в сторону эффективности.","Не каждую задачу нужно решать флагманом. Классифицировать тикеты, разметить отзывы, вытащить сущности из текста — тут гигантская модель избыточна и разорительна. Но где взять маленькую, которая справляется почти как большая? Её выучивают у большой. Приём называется дистилляцией.\n\n## Как это устроено\n\nИдея простая до наглости. Берём большую модель-учителя, прогоняем через неё гору примеров и записываем её ответы. Потом на этих парах «вопрос и ответ учителя» тренируем маленькую модель-ученика. Ученик копирует поведение учителя, а не учится с нуля на сырых данных. Так в модель на 7-13 миллиардов параметров переливают повадки сети, которая на порядки крупнее. Часто учитель отдаёт не готовый ответ, а целое распределение вероятностей по вариантам, и ученик перенимает и сам выбор, и оттенки уверенности за ним.\n\nВыигрыш ощутимый. Готовый ученик крутится на одной видеокарте и обходится в 5-20 раз дешевле за токен, чем учитель. Отвечает быстрее, памяти ест меньше, а на своей узкой задаче почти не уступает большому донору.\n\n## Где это в реальном мире\n\nПриём стал стандартом отрасли. Открытые релизы вроде DeepSeek-R1, Qwen и других прямо описывают, как дистилляцией выводили младшие модели своих семейств из старших. Компании берут дорогой флагман, дистиллируют его под свой домен и катят в прод дешёвого специалиста.\n\nЕсть и оборотная сторона. Ученик наследует и сильные стороны учителя, и его ошибки с искажениями. И тонкий тут вопрос про чужие модели: обучение на ответах closed-source сетки упирается в лицензии, и вокруг этого уже кипят споры, кто у кого списал.\n\nОбщая логика рынка развернулась. Ещё недавно все гнались за «побольше параметров». Сейчас лозунг сменился на эффективность. Умная маленькая модель, обученная у правильного учителя, во многих продуктовых сценариях бьёт огромную по совокупности цены, скорости и удобства.",null,"analysis",2,"2026-06-26T16:52:47.000Z",{"name":14},"Модели",{"name":16,"role":17,"bio":9},"Редакция asiclub","редакция",[19,24],{"title":20,"slug":21,"reading_minutes":11,"published_at":22,"category":23},"Миллион токенов в контексте и его пределы","million-tokenov-v-kontekste-i-ego-predely","2026-06-30T01:52:46.000Z",{"name":14},{"title":25,"slug":26,"reading_minutes":11,"published_at":27,"category":28},"Модели учатся видеть и слышать","modeli-uchatsya-videt-i-slyshat","2026-06-28T17:52:46.000Z",{"name":14}]