Meta открыла веса Muse Spark Open с контекстом в миллион токенов

Meta открыла доступ к весам Muse Spark Open — мультимодальной MoE-модели, которую можно развернуть самостоятельно или использовать через сторонние API-платформы. Условия публикации и спецификации собраны в документации Meta.

По данным Meta, модель содержит 816 млрд параметров, из которых 42 млрд активируются на токен. Контекстное окно — 1 048 576 токенов. На вход она принимает текст, изображения, аудио и видео, а на выходе генерирует текст. Также заявлена совместимость с SGLang, vLLM, MLX и llama.cpp.

Практический нюанс — инфраструктура и лицензия. Для BF16 Meta рекомендует около 2 ТБ VRAM; вариант в NVFP4 рассчитан на четыре NVIDIA Blackwell, а для MLX отдельно описан запуск на двух Mac Studio с M5 Ultra. При этом релиз распространяется не по стандартной open-source лицензии, а по отдельной Muse Model License, так что перед продакшеном стоит проверить и требования к железу, и условия использования.