Стартап MatX, созданный бывшими инженерами Google TPU, успешно привлек $500 млн в рамках раунда Series B. Лидерами раунда стали инвестиционная компания Jane Street и фонд Situational Awareness, учредителем которого является Леопольд Ашенбреннер, бывший исследователь OpenAI. Также среди инвесторов — Marvell Technology, Spark Capital и сооснователи Stripe, Патрик и Джон Коллисоны. Главная цель MatX заключается в создании ускорителя, который будет в 10 раз эффективнее современных GPU от Nvidia для обучения и инференса больших языковых моделей.
Разработка основана на чипе MatX One с архитектурой разделяемого систолического массива. Важным элементом является гибридная работа с памятью: веса модели хранятся в сверхбыстрой SRAM, а KV-кэши — в HBM. По словам разработчиков, такой подход позволит генерировать более 2000 токенов в секунду на 100-слойных моделях Mixture of Experts. В отличие от конкурентов, MatX One ориентирован на полный цикл работы с моделями.
Стартап был основан в 2023 году Райнером Поупом и Майком Гантером. Планы компании включают завершение проектирования и запуск производства на мощностях TSMC с началом поставок в 2027 году, когда конкуренция с Nvidia станет ещё более острой. Существует множество стартапов, бросающих вызов Nvidia, включая Cerebras и Etched, что подчеркивает растущую конкуренцию на рынке GPU.