Канадский стартап Taalas, основанный Любишей Байичем, распахнул двери и анонсировал свой первый продукт — специализированный чип HC1 с «захардкоженной» Llama 3.1 8B. Уникальность модели заключается в том, что веса впаяны в кремний на этапе производства, что позволяет достичь скорости до 17 000 токенов в секунду на одного пользователя. Это в 10 раз превосходит существующие GPU-решения, при этом снижение производственных затрат достигает 20 раз, а энергозатраты сокращаются в 10 раз.
При создании Taalas Байич сотрудничал с несколькими экс-сотрудниками AMD и Tenstorrent. Особенность подхода компании заключается в создании отдельных чипов для каждой модели, что упрощает процесс производства и сжимает временные рамки до двух месяцев. Хотя «захардкоженная» Llama — не самая передовая модель, она считается бета-сервисом для разработчиков. Taalas собрала более $200 млн инвестиций, из которых лишь $30 млн потрачены на разработку. В ближайшее время планируется выпуск новой модели среднего размера, а также продвинутого LLM в следующем поколении платформы HC2.