Liquid AI выпустила DSpark для ускорения модели, которая понимает изображения
24 сентября Liquid AI ускорила модель LFM2.5-VL-3B новым помощником DSpark через speculative decoding.
Как устроено обновление?
24 сентября Liquid AI опубликовала экспериментальную модель LFM2.5-VL-DSpark для своей LFM2.5-VL-3B. Она использует speculative decoding: небольшая вспомогательная модель предлагает продолжение, а основная проверяет предложенные токены.
Разработчики выпустили веса и сообщили об интеграциях для llama.cpp, MLX-VLM и SGLang. Вспомогательная модель добавляет примерно 280 млн параметров. Для запуска нужна совместимая сборка выбранного движка, а не просто любая установленная версия.
Почему не стоит обещать одинаковое ускорение всем?
DSpark ускоряет генерацию ответа, но не обработку изображения и не начальное чтение запроса. Если эти этапы занимают большую часть времени, выигрыш всей задачи будет скромнее выигрыша на генерации токенов.
Цифры в публикации принадлежат разработчикам и получены на их конфигурациях. Редакция не повторяла измерения. Для своего сценария имеет смысл сравнить полное время ответа, расход памяти и качество результата на одинаковых изображениях.