Ollama v0.35.0: decision-модели и эндпоинт /v1/systemone
В предварительном релизе Ollama v0.35.0 появилась поддержка decision-моделей через /v1/systemone: они возвращают выбор, вероятности и оценки вместо текста. Разбираем, кому это подходит и как проверить на своей задаче.
Редакционная иллюстрация создана с помощью ИИ. Это вымышленная сцена, а не результат тестирования инструмента.
Что нового в v0.35.0
Релиз v0.35.0 помечен как предварительный (Pre-release). Главное изменение — поддержка decision-моделей через эндпоинт /v1/systemone, построенный на Jev API от TypeSafe. По описанию авторов, такие модели возвращают не текст, а варианты выбора, вероятности и оценки. Их предлагается применять для триажа тикетов, маршрутизации между моделями и классификации контента.
В релизе перечислены доступные модели: Nimble от Bespoke Labs и Tev1 от Together AI. Установка показана на примере Nimble — командой ollama pull nimble.
Как выглядит запрос и ответ
Запрос отправляется POST на http://localhost:11434/v1/systemone. В теле передаются модель, поле state с контекстом и объект questions. В примере из релиза контекст — «Our checkout has returned 500 errors since 9am.», а вопрос label имеет тип choice с тремя критериями: billing, bug и account.
API поддерживает три типа вопросов. Тип choice выбирает вариант и возвращает вероятности для каждого. Тип noul возвращает вероятность того, что условие истинно. Тип score возвращает оценку по упорядоченному набору критериев.
В примере ответа модель nimble выбрала вариант bug с вероятностью 0.9781 (billing — 0.0125, account — 0.0093) и confidence 0.8906. В блоке usage указано 174 входных и 1 выходной токен.
Кому это полезно
Decision-модели пригодны там, где нужен не свободный текст, а решение с числовой оценкой: автоматическая разметка обращений, распределение запросов по моделям, сортировка контента по категориям. Такой формат проще встраивать в правила и пороги, чем генеративный ответ.
Как проверить на своей задаче
Это уже советы редакции, а не заявленные автором свойства. Сформулируйте свои критерии как choice, noul или score — так вы получите вероятности вместо текста. Прогоните модель на своей выборке и сравните предсказания с ручной разметкой: смотрите не только на выбранный вариант, но и на распределение вероятностей и confidence.
Начните с узкой задачи — например, одного класса тикетов — и только потом расширяйте набор критериев. Описанный в релизе пример стоит повторить на своих данных, а не принимать выводы с чужой выборки на веру.
Ограничения
v0.35.0 — предварительный релиз, а не стабильная версия. В источнике названы только две модели, а тип noul упомянут именно в таком написании. В релизе не заявлены цены, доступность в России или поддержка конкретных языков — таких данных в источнике нет.
Кроме decision-моделей, в версии есть правки: настройки открываются, не дожидаясь обнаружения моделей; исправлены меню обновления и значок macOS, отражающие доступное обновление при запуске; зависшие загрузки MLX-моделей; запросы с устаревшим параметром typical_p теперь пишут предупреждение вместо ошибки.