HardenedLinux выпустила движок SonicBoom без Python

HardenedLinux выпустила экспериментальный движок SonicBoom для локального инференса GGUF-моделей без Python. Он написан на C++ и CUDA, собирается в libsonicboom.so со стабильным C ABI и включает сервер с OpenAI-совместимым API.

Версия v0.0.3 доступна под GPL-3.0, поддерживает CPU и CUDA, а основным скриптовым интерфейсом использует GNU Guile/Scheme. Проект пока экспериментальный и, как отмечает MLLLM, ограничен greedy sampling.

Заявленное преимущество декодирования над llama.cpp составляет 13–20%, но опубликованные тесты охватывают только две модели на RTX 3050 с 8 ГБ памяти, без независимой проверки. Перед использованием в автоматизациях стоит воспроизвести результаты на своей GPU и отдельно оценить лицензионные ограничения.