Основатель Keen Technologies и известный разработчик игры Doom, Джон Кармак, выдвинул инновационную идею замены традиционной DRAM в инференсе нейросетей. Он предложил хранить веса моделей в оптоволоконной петле, где информация перемещается в форме световых импульсов. По его расчетам, с учетом достигнутых скоростей передачи в 256 Тб/с на расстоянии до 200 км, можно обеспечить 32 ГБ данных с пропускной способностью 32 ТБ/с. Кармак заметил, что паттерны обращения к весам при инференсе предсказуемы, что позволяет подавать данные из оптоволоконного кольца прямо в кэш L2 процессора, обходя DRAM. Это он сравнил с ранними технологиями компьютерной памяти, где данные циркулировали в ртутных трубках. Хотя для крупных моделей потребуется множество таких петель, Кармак отмечает, что пропускная способность оптоволокна растет быстрее, чем у DRAM, что делает этот подход перспективным. Также он предложил комбинировать недорогие чипы флеш-памяти для достижения нужной пропускной способности, при условии развития высокоскоростных интерфейсов.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Интернет-магазин профессиональной косметики и БАД В современном мире ухоженная внешность стала не только признаком
Услуги по пошиву штор на заказ в Орле Современный интерьер невозможно представить без красивых
Игровая зависимость давно перестала быть проблемой узкого круга людей. Она затрагивает подростков, взрослых, состоявшихся
Чистая питьевая вода — один из базовых элементов комфортной жизни, о котором задумываются далеко
Покупка квартиры в новостройках Севастополя При наличии желания стать обладателем квартиры в красивом и
В последние годы мировой и локальный рынки претерпели значительные изменения, что напрямую отразилось на