tasani.ruОснователь Keen Technologies Джон Кармак выдвинул оригинальную альтернативу DRAM для инференса нейросетей. Вместо хранения весов модели в микросхемах памяти, он предлагает использовать оптоволоконную петлю, через которую данные будут передаваться в виде световых импульсов. По его оценкам, скорости 256 Тб/с на расстоянии 200 км по одномодовому волокну способны обеспечить 32 ГБ данных «в полёте» с пропускной способностью 32 ТБ/с.
Кармак заметил, что при инференсе обращение к весам строго детерминировано, что позволяет передавать их прямо из оптоволоконного кольца в кэш L2 процессора, тем самым исключая необходимость в DRAM. Он сравнил это решение с ртутными линиями задержки – одной из первых технологий компьютерной памяти.
Несмотря на то, что для современных моделей по миллиардам параметров потребуется множество таких петель, Кармак подчёркивает, что скорость оптоволокна растёт быстрее, чем у DRAM, что делает идею более жизнеспособной в будущем. Более практичным решением он считает использование дешёвых флеш-чипов, которые могут обеспечить необходимую пропускную способность при высокоскоростном интерфейсе.
Тем временем, его пост о новой концепции стал популярным, собрав 1,3 млн просмотров за два дня, что подчеркивает актуальность поиска альтернатив памяти на фоне дефицита HBM.