Liquid AI выпустила DSpark для ускорения модели, которая понимает изображения
Экспериментальный помощник предлагает токены, а основная модель проверяет их. Ускорение зависит от железа и доли времени на обработку картинки.
Редакционная иллюстрация создана с помощью ИИ. Изображение не является фотографией продукта или результатом его тестирования.
Как устроено обновление
24 сентября Liquid AI опубликовала экспериментальную модель LFM2.5-VL-DSpark для своей LFM2.5-VL-3B. Она использует speculative decoding: небольшая вспомогательная модель предлагает продолжение, а основная проверяет предложенные токены.
Разработчики выпустили веса и сообщили об интеграциях для llama.cpp, MLX-VLM и SGLang. Вспомогательная модель добавляет примерно 280 млн параметров. Для запуска нужна совместимая сборка выбранного движка, а не просто любая установленная версия.
Почему не стоит обещать одинаковое ускорение всем
DSpark ускоряет генерацию ответа, но не обработку изображения и не начальное чтение запроса. Если эти этапы занимают большую часть времени, выигрыш всей задачи будет скромнее выигрыша на генерации токенов.
Цифры в публикации принадлежат разработчикам и получены на их конфигурациях. Редакция не повторяла измерения. Для своего сценария имеет смысл сравнить полное время ответа, расход памяти и качество результата на одинаковых изображениях.