tasani.ruСпециалисты из Apple и Университета штата Огайо разработали инновационную диффузионную модель под названием Few-Step Discrete Flow-Matching (FS-DFM), которая способна генерировать текстовые фрагменты в 128 раз быстрее, чем ее предшественники. По данным исследования, опубликованного на 9to5mac.com, для написания целого текста FS-DFM требуется всего восемь шагов уточнения, тогда как другим моделям диффузии необходимо более тысячи шагов.
Создание модели основано на трехступенчатом подходе: сначала она обучается различным итерациям, затем применяется направляющая модель «учителя» для более точных обновлений, и, наконец, осуществляется коррекция каждого шага для достижения стабильного результата с минимальным количеством итераций.
FS-DFM продемонстрировала высокие результаты по метрикам перплексии и энтропии, что свидетельствует о качестве и уверенности в выборе слов. В отличие от более крупных моделей, таких как Dream и LLaDA, FS-DFM с меньшим количеством параметров продемонстрировала более низкую перплексию и стабильную энтропию. Разработчики планируют поделиться кодом и контрольными точками модели для дальнейших исследований.