Запуск мощных языковых моделей локально часто требует значительных затрат на оборудование. Однако, мне повезло наткнуться на уникальное предложение на Reddit — систему Grace-Hopper за 10 000 евро. Эта система, изначально предназначенная для дата-центров, была преобразована с жидкостного охлаждения на воздушное. После покупки я обнаружил, что оборудование в плохом состоянии и очень шумное. Тем не менее, я решил восстановить его и установить водяное охлаждение. В процессе мне пришлось столкнуться с множеством проблем, включая повреждение компонентов и сбои в системе. После множества доработок и тестов, система успешно заработала, и теперь я могу запускать модели с 235 миллиардами параметров прямо у себя дома. Весь проект обошелся в 9 000 евро, что значительно дешевле, чем стоимость одного H100. Это опыт, полный трудностей и инновационных решений, но результат стоил затраченных усилий.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Анонимная наркологическая помощь: как сохранить репутацию и получить лечение Когда речь заходит о
Мир коллекционирования переживает значительные трансформации. Если раньше собирательство марок или монет воспринималось исключительно как
Компания Ugreen анонсировала новую модель портативного аккумулятора MagFlow 2-в-1, сертифицированного по стандарту MagSafe. Этот
При выборе игрового процессора необходимо находить баланс между ценой и производительностью, чтобы максимально использовать
Наш сервис предоставляет возможность переписывать новости, сохраняя при этом все важные факты. Мы изменяем
Самоподписанные сертификаты часто используются для тестирования и разработки, так как они позволяют пользователю создавать