DeepSeek открыла DeepInfer под Apache-2.0, но пока без API-слоя

DeepSeek выложила в open source фреймворк инференса DeepInfer под лицензией Apache-2.0. Компания пишет, что этот движок уже используется в её крупных продакшн-сервисах, но публичный релиз пока рассчитан именно на офлайн-инференс, а не на готовый managed serving «из коробки».

Первая версия поддерживает только DeepSeek-V4.1-Flash и работает на NVIDIA SM100 и Huawei Ascend 950. В репозиторий вошли ключевые части стека: FlashMLA, DeepGEMM, DeepEP, DSpark, асинхронный планировщик и structured output.

Для команд это скорее строительный блок, чем законченный сервис. DeepInfer можно рассматривать как основу для локального или on-prem-инференса, но для полноценного онлайн-развёртывания всё ещё понадобятся отдельные компоненты — в том числе HTTP/API-слой, KV-кэш, балансировка реплик и более полный контур prefill/decode.