Внедрено
Локальная модель занимает видеопамять дважды: весами и разговором
9 сентября 2026 г.
Модель влезла в видеокарту, а к сотому вызову инструментов выдаёт три слова в секунду. Куда ушла память?
Из чего складывается видеопамять под локальную модель, почему разговор стоит памяти и как устроен кеш внимания, три способа платить за него меньше с ценой каждого, и что из этого следует при выборе модели, карты и длины контекста.