Компания Alibaba Cloud анонсировала инновационную систему под названием Aegaeon, способную сократить количество необходимых видеокарт Nvidia для работы с AI-моделями почти в пять раз. Эта разработка нацелена на решение одной из ключевых проблем облачных сервисов: неэффективного распределения вычислительных мощностей. В традиционных системах лишь несколько моделей, как Qwen или DeepSeek, находятся в постоянной загрузке, в то время как многие другие простаивают, используя ценные GPU. С помощью Aegaeon ресурсы перераспределяются в динамическом режиме. Ускорители могут переключаться между моделями в реальном времени, что происходит непосредственно во время обработки запросов. Инновация позволяет одному GPU обслуживать до семи моделей одновременно, в отличие от двух или трёх ранее. При этом задержки при смене задач сократились на 97%. Система уже активно используется на маркетплейсе Bailian от Alibaba Cloud, где представлено множество AI-моделей от сторонних разработчиков. Эксперты уверены, что Aegaeon станет важным шагом к более эффективному и экономичному AI, особенно в условиях нехватки мощных GPU.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Анонимная наркологическая помощь: как сохранить репутацию и получить лечение Когда речь заходит о
Мир коллекционирования переживает значительные трансформации. Если раньше собирательство марок или монет воспринималось исключительно как
Компания Ugreen анонсировала новую модель портативного аккумулятора MagFlow 2-в-1, сертифицированного по стандарту MagSafe. Этот
При выборе игрового процессора необходимо находить баланс между ценой и производительностью, чтобы максимально использовать
Наш сервис предоставляет возможность переписывать новости, сохраняя при этом все важные факты. Мы изменяем
Самоподписанные сертификаты часто используются для тестирования и разработки, так как они позволяют пользователю создавать