[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fU0a_bj1vyVTHeMh-I_6ivOtqIHY0FSbkjA--K6lLB-8":3},{"article":4,"related":18},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Миллион токенов в контексте и его пределы","million-tokenov-v-kontekste-i-ego-predely","Окна разрослись до миллиона токенов, но закинуть в модель весь архив часто оказывается самым дорогим способом решить задачу.","Окна контекста разрослись до миллиона токенов, а кое-где заявляют и два. Звучит так, будто RAG и вся возня с чанками больше не нужна: залил в модель весь корпус и спрашивай. На практике всё интереснее.\n\n## Что реально даёт большое окно\n\nМиллион токенов вмещает примерно книгу на 700 страниц, которую модель держит в голове разом. Для задач с небольшим статичным набором документов это удобно: кинул десяток PDF, задал вопрос по всему сразу, получил ответ с перекрёстными связями. Никакого пайплайна, никакой индексации. Юрист загружает договор со всеми приложениями и спрашивает про пункт о неустойке, и модель сама сведёт его с определениями из начала. Аналитик кидает годовой отчёт целиком и просит собрать цифры по кварталам.\n\nНо у медали две стороны. Во-первых, деньги. Стоимость инференса растёт линейно от входных токенов, и если пихать в модель весь архив на каждый запрос, платить придётся за прочтение архива каждый раз. Разница с точечной выборкой доходит до сотен раз.\n\nВо-вторых, качество. Модель, формально читающая миллион токенов, на деле хуже находит нужное в середине окна, чем в начале и в конце. Феномен потерянного в середине никуда не делся, он лишь отодвинулся дальше. Чем длиннее контекст, тем выше шанс, что важный факт утонет. Модель охотно процитирует то, что лежит в начале и в хвосте, и промолчит про середину, а именно там часто прячется нужный пункт.\n\n## Когда длинное окно уместно\n\nОно выигрывает на маленьком корпусе, статичных данных, глубоком разовом анализе и там, где можно потерпеть задержку и заплатить больше. Один договор целиком, один research-отчёт, одно код-ревью крупного PR — идеальные кейсы.\n\nКак только корпус растёт, данные меняются каждый час, а запросов миллионы, условия ломаются. Тогда возвращается выборка релевантного куска перед отправкой в модель. Большое окно остаётся мощным инструментом, но не универсальным. Класть в него всё подряд значит выбрать самый дорогой способ решить задачу, которую точечный поиск закрыл бы копейками.",null,"analysis",2,"2026-06-30T01:52:46.000Z",{"name":14},"Модели",{"name":16,"role":17,"bio":9},"Редакция asiclub","редакция",[19,24],{"title":20,"slug":21,"reading_minutes":11,"published_at":22,"category":23},"Модели учатся видеть и слышать","modeli-uchatsya-videt-i-slyshat","2026-06-28T17:52:46.000Z",{"name":14},{"title":25,"slug":26,"reading_minutes":11,"published_at":27,"category":28},"Как большие модели учат маленькие","kak-bolshie-modeli-uchat-malenkie","2026-06-26T16:52:47.000Z",{"name":14}]