tasani.ruПриложение Ollama, которое позволяет запускать модели искусственного интеллекта локально на устройствах с операционными системами Windows, macOS и Linux, теперь поддерживает аппаратное ускорение на процессорах Apple M5.
В отличие от облачных аналогов, таких как ChatGPT, Ollama дает возможность пользователям работать с моделями ИИ непосредственно на своих компьютерах без необходимости постоянного подключения к интернету. Открытые модели доступны на различных платформах или могут быть загружены непосредственно от разработчиков.
Тем не менее, запуск моделей ИИ на локальных машинах может сталкиваться с проблемами из-за высоких требований к оперативной и видеопамяти. Для решения этой задачи команда разработчиков внедрила в Ollama 0.19 поддержку фреймворка машинного обучения MLX от Apple и унифицированной архитектуры памяти. Это значительно увеличило скорость работы приложения на устройствах с чипами Apple.
На данный момент обновление касается лишь новейших процессоров Apple M5, M5 Pro и M5 Max. Ollama 0.19 использует нейроускорители платформы, что сокращает время до первой выдачи токена и увеличивает общую скорость генерации токенов. Это улучшение затрагивает как персональных ИИ-агентов, таких как OpenClaw, так и специализированные модели, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Однако стоит учитывать, что для корректной работы приложения необходимо наличие не менее 32 Гбайт унифицированной памяти на компьютере.