PrismML выпустила три тернарные модели Bonsai 2 для локального AI

PrismML добавила в семейство Bonsai 2 три тернарные модели на базе Qwen3.5 — 2B, 4B и 9B. Их веса принимают значения −1, 0 и +1; модели доступны в форматах GGUF и MLX под лицензией Apache 2.0.

Для локального запуска важнее всего размер. Минимальные версии PTQ1_0 занимают 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно, так что линейку можно подбирать под память и класс устройства без облачного inference.

По запуску есть практический нюанс: PrismML заявляет поддержку NVIDIA через llama.cpp и Apple-устройств через MLX. Но для обычного llama.cpp подходит Q2_0 при сборке не ниже b11555; варианты PTQ1_0 и PQ2_0 требуют бинарников PrismML.