Текст

llama.cpp

Движок локального запуска моделей с командной строкой и сервером.

Кому пригодится

Для разработчиков, которым нужны контроль параметров и встраивание модели.

Потребуются подходящие веса и настройка под конкретное оборудование.

README, лицензия, требования и поддержка: короткий маршрут от красивого демо к осознанному запуску.

Небольшой тест без голосования за любимый бренд: одинаковые входные данные и понятные критерии.