Команда vLLM, известного open-source движка для крупных языковых моделей, объявила о запуске стартапа Inferact, который сумел привлечь $150 миллионов на стадии seed при оценке в $800 миллионов. Раунд финансирования возглавили такие компании, как Andreessen Horowitz и Lightspeed, в нем также приняли участие Sequoia, Databricks Ventures и фонд канцлера UC Berkeley. Движок vLLM имеет более 2000 контрибьюторов и интегрирован в экосистему PyTorch. Он ускоряет работу таких ассистентов, как Rufus от Amazon, Assistant от Roblox и Hiring Assistant от LinkedIn. Ключевой инновацией является технология PagedAttention, которая оптимизирует использование памяти GPU, снижая потери с 60-80% до почти нуля. Среди сооснователей Inferact — профессор Беркли Ион Стойка и Вусук Квон, разработавший оригинальную архитектуру vLLM. CEO Саймон Мо отметил, что Inferact собирается упростить развертывание AI-моделей. Недавно другой проект из лаборатории Стойки, SGLang, был преобразован в стартап RadixArk с оценкой в $400 миллионов, подчеркивая интерес инвесторов к запуску AI-инфраструктуры.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Интернет-магазин профессиональной косметики и БАД В современном мире ухоженная внешность стала не только признаком
Услуги по пошиву штор на заказ в Орле Современный интерьер невозможно представить без красивых
Игровая зависимость давно перестала быть проблемой узкого круга людей. Она затрагивает подростков, взрослых, состоявшихся
Чистая питьевая вода — один из базовых элементов комфортной жизни, о котором задумываются далеко
Покупка квартиры в новостройках Севастополя При наличии желания стать обладателем квартиры в красивом и
В последние годы мировой и локальный рынки претерпели значительные изменения, что напрямую отразилось на