Стартап Inferact привлек $150M на основе vLLM

Основатели vLLM, самого востребованного open-source движка для больших языковых моделей, запустили стартап Inferact и успешно привлекли $150 миллионов на начальном этапе при оценке в $800 миллионов. Раунд финансирования возглавили компании Andreessen Horowitz и Lightspeed, а также поддержали Sequoia, Databricks Ventures и фонд канцлера UC Berkeley. Проект vLLM имеет более 2000 контрибьюторов, а его код интегрирован в экосистему PyTorch. Движок значительно ускоряет работу таких ассистентов, как Rufus от Amazon, Assistant от Roblox и Hiring Assistant от LinkedIn. Ключевая технология PagedAttention оптимизирует использование памяти GPU, уменьшая потери до минимума и позволяя обрабатывать больше запросов. В команде сооснователей находятся профессор Беркли Ион Стойка и Вусук Квон, автор оригинальной архитектуры vLLM. CEO компании, Саймон Мо, заявил о планах запустить коммерческую версию движка, упрощая процесс развертывания AI-моделей. На прошлой неделе другой проект из лаборатории Стойки, SGLang, стал стартапом RadixArk с оценкой $400 миллионов, что подчеркивает интерес инвесторов к AI-инфраструктуре.