PrismML показала локальную Bonsai 2B на очках Snapdragon AR1

PrismML и Qualcomm показали на Snapdragon Summit, что мультимодальную Bonsai можно запускать локально на очках с Snapdragon AR1 Gen 1. Речь именно о технологической демонстрации, а не о готовом потребительском устройстве.

В анонсе PrismML описана конфигурация на 2 млрд параметров: 1-битная Bonsai 1.7B и 4-битный визуальный энкодер на 0,3 млрд. Модель оптимизировали для Hexagon NPU и собрали через QNN SDK; контекстное окно демонстрационной версии составляет 1024 токена.

Озвученные метрики пока исходят из тестов Qualcomm: 15,36 токена в секунду и 0,43 ГБ памяти под веса LLM. PrismML также заявляет качество, сопоставимое с 4-битной версией, но независимой проверки этих результатов пока нет.

Практический вывод пока осторожный: компактные VLM уже удаётся уместить в форм-фактор очков, но серийное устройство PrismML и сроки выхода не анонсированы. Пока это скорее индикатор направления для edge-AI, чем новость о скором релизе продукта.