Ollama обновилась до версии 0.15.5 с новыми моделями

Вчера была выпущена версия 0.15.5 платформы Ollama, в которой стали доступны новые модели, среди которых выделяется qwen3-coder-next. Данная модель отлично справляется с задачами по написанию кода, однако у неё есть свои ограничения. Ollama предлагает только модели с квантизацией: q4_K_M объемом 52 Гб, q8_0 — 85 Гб, или платную версию с облачным запуском. Учитывая, что модель обучена на 80 миллиардах параметров, в основном, на коде, для ее локального запуска потребуется минимум 80 Гб видеопамяти для быстрой работы. Запуск на CPU также возможен, но потребует 128 Гб оперативной памяти DDR5, что значительно снизит скорость. Как ни странно, такие статьи нередко привлекают критику: многие пользователи не имеют возможности собрать сервер для работы с такими моделями. Когда я приглашаю людей протестировать мой сервер, где установлены модели, они часто начинают выражать недовольство и ставить низкие оценки. Если вы не относитесь к критикам и хотите получить доступ к моему ИИ-серверу с 10 различными моделями, пишите. Доступ бесплатный, но ненадолго, поскольку сервер будет отключен после завершения настройки RAG. Ссылка на сервер: http://demonryb.ru:8100/. Регистрация подтверждается отдельно, и будьте осторожны: если вы нагружаете сервер неуместными запросами, вас отключат. В ожидании подтверждения регистрации обновляйте страницу периодически. Мой сервер имеет следующие характеристики: процессор Core I9 14900KF, 192 Гб RAM и два графических процессора RTX4090 с 96 Гб видеопамяти, что соответствует 166 TFLOPS по меркам huggingface. Если у вас нет подобного оборудования, возможно, не стоит сильно критиковать.