ISTA-DASLab выпустила GGUF-кванты DeepSeek-V4.1-Flash для запуска на 12 ГБ VRAM

ISTA-DASLab опубликовала GGUF-сборки DeepSeek-V4.1-Flash-1017, с которыми 763,2-миллиардную MoE-модель можно запустить через Strata на одной GPU с 12 ГБ VRAM. Это не значит, что модель целиком помещается в видеопамять: часть данных выносится в RAM и на SSD, так что речь скорее о возможности старта на потребительской карте, чем о лёгком локальном инференсе.

В релиз вошли три варианта: IQ1_M, IQ2_XXS и IQ2_XS. Базовая модель использует 384 эксперта, из которых на каждый токен активны шесть. В зависимости от кванта полный набор файлов занимает 231,32–265,83 ГБ.

Практический нюанс: на момент релиза эти GGUF поддерживала именно Strata, тогда как штатный llama.cpp с ними ещё не работал. Если планируете локальный endpoint для агентов, одной цифры «12 ГБ VRAM» недостаточно — заранее закладывайте десятки гигабайт оперативной памяти и быстрый SSD.