В последние годы я проводил эксперименты с LLM на различных устройствах, включая Raspberry Pi. Существует задача: можно ли запустить модель на Pi 4 или 5? Ответ: возможно, но с ограничениями. Память платы составляет 8-16 ГБ, в то время как модели требуют значительно больше. Я считаю, что будущее за комбинацией небольших моделей и облачного ресурса, а не за крупными fine-tuned моделями.
Используя Ollama, можно запустить LLM прямо на Raspberry Pi без интернета. Модели на 2-4B параметров способны выполнять базовые задачи: отвечать на вопросы, генерировать текст и извлекать информацию. Настройка включает установку Ollama, загрузку модели и запуск через терминал.
Для визуального интерфейса можно использовать Open WebUI в Docker. Процесс включает установку Docker, запуск интерфейса и регистрацию пользователя. Выбор модели происходит через выпадающий список в интерфейсе. После загрузки модели можно взаимодействовать с ней, задавая вопросы и получая ответы. Raspberry Pi 4/5 подходит для экспериментов, но ожидать высокой производительности не стоит. Подходящие модели: TinyLlama, Phi-3 Mini, Mistral 7B и LLaVA 7B для мультимодальных задач. Такие эксперименты открывают новые горизонты в локальном AI.