tasani.ruВ середине 2025 года я приобрел ноутбук Lenovo Thinkbook 14+ для работы. После выхода моделей gpt-oss я протестировал локальный инференс младшей версии и был приятно удивлён результатами. Позже я провёл тесты на двух других ноутбуках, а недавно собрал коллег для проверки ещё пяти устройств. Вывод прост: локальный инференс доступен, и подробности представлены в статье. Я также снял видео на эту тему.
В качестве платформы для тестирования я выбрал LM Studio, так как это самый простой и быстрый вариант. Большинство ноутбуков, которые мне удалось протестировать, работали на Windows, поэтому я не стал экспериментировать с другими решениями.
Для тестирования была выбрана модель gpt-oss-20b, так как она хорошо зарекомендовала себя в моей работе. Модель MoE с ограниченным набором работающих экспертов обеспечивает высокий скорость инференса на ноутбуках с 32 Гб ОЗУ.
В качестве запросов использовались два типа: простой вопрос о модели и сложный запрос на написание кода. Результаты тестов показали, что локальный ИИ стал более доступным, хотя скорость инференса на ноутбуках все еще ниже, чем на мощных кластерах. Тем не менее, результаты превзошли мои ожидания, и я продолжаю делиться своими наблюдениями в Телеграм-канале.