Джефф Гирлинг, известный исследователь и ютубер, получил от Apple для тестирования кластер из четырёх компьютеров Mac Studio, оснащённых чипом M3 Ultra. Основная задача — протестировать работу нескольких Mac с одной гигантской связкой памяти, что особенно важно для обработки крупных AI-моделей. Стоимость стенда, включающего 1,5 ТБ «объединённой памяти», составляет около 40 000 долларов. Нижние компьютеры имеют по 512 ГБ RAM и 32 ядра, тогда как верхние — по 256 ГБ. Для установки Джефф использовал мини-стойку DeskPi, так как готовых решений для монтажа Mac Studio практически нет. Сетевые возможности вызвали затруднения, так как для соединения каждого Mac с каждым требуется множество проводов. В результате тестирования была достигнута скорость 3,7 терафлопса. С программой Exo 1.0 кластер демонстрировал эффективность, увеличивая производительность при добавлении узлов. В итоге Mac Studio с Exo показал удвоенную скорость генерации по сравнению с llama.cpp.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Анонимная наркологическая помощь: как сохранить репутацию и получить лечение Когда речь заходит о
Мир коллекционирования переживает значительные трансформации. Если раньше собирательство марок или монет воспринималось исключительно как
Компания Ugreen анонсировала новую модель портативного аккумулятора MagFlow 2-в-1, сертифицированного по стандарту MagSafe. Этот
При выборе игрового процессора необходимо находить баланс между ценой и производительностью, чтобы максимально использовать
Наш сервис предоставляет возможность переписывать новости, сохраняя при этом все важные факты. Мы изменяем
Самоподписанные сертификаты часто используются для тестирования и разработки, так как они позволяют пользователю создавать