Свой ИИ на компьютере: с чего начать

Сначала выберите одну задачу

Для первого запуска возьмите короткую задачу, результат которой можете проверить сами: сократить собственную заметку, составить список из абзаца или объяснить небольшой фрагмент кода. Большой PDF и длинный диалог пока отложите. Так будет понятно, что именно не работает: установка, скорость модели или ваш запрос.

Два удобных входа

LM Studio подходит, если хочется загрузить модель через приложение и сразу открыть чат. Ollama удобна, если нужен запуск модели и затем подключение её к другим программам. Это выбор способа работы. Качество ответа в обоих случаях зависит прежде всего от конкретной модели и настроек.

Скачивайте установщик с официального сайта. В каталоге модели посмотрите её размер, поддерживаемые задачи и требования к памяти. Свободное место на диске и оперативная память решают разные задачи: скачанный файл ещё не означает, что модель поместится при запуске.

Проверьте первый запуск

• Загрузите одну небольшую модель, для которой указана поддержка русского языка.
• Спросите о тексте, который только что написали сами: например, попросите выделить три условия из списка.
• Замерьте ожидание первого ответа и ощущения от скорости на своём компьютере.
• Сравните результат с исходником: модель не должна добавлять отсутствующие условия.
• Откройте новый чат и повторите запрос, чтобы прошлый разговор не влиял на ответ.

Когда нужен Open WebUI

Если хочется отдельный веб-интерфейс, к модели можно подключить Open WebUI. Это следующий слой: приложение показывает чат и работает с настроенным источником модели. Для первого запуска установка этого слоя необязательна.

Слово «локальный» относится ко всему пути данных. Если интерфейс подключён к облачному API, запрос уходит в облако. Уточните выбранное подключение перед загрузкой личных документов.

Если компьютер не справляется

Выберите меньшую модель, закройте тяжёлые приложения и сократите контекст разговора. Не скачивайте подряд десятки вариантов: сохраните один исходный запрос и сравнивайте модели на нём. Иначе вы одновременно меняете задачу и инструмент, а причину разницы уже не видно.