19.10.2021, 10:57
Исследователи создали особый тип нейронной сети, который позволяет преодолеть проблему так называемого «бесплодного плато», не позволяющего обучать программу. Созданную авторами нейросеть можно запустить на квантовом компьютере.
Los Alamos National Laboratory
«Бесплодные плато» не позволяют обучать нейросети и масштабировать их. Ученые нашли способ обойти эту проблему и создать алгоритм, который можно запустить даже на мощном квантовом компьютере будущего
Суть проблемы «бесплодного плато» заключается в исчезающем градиенте в ландшафте оптимизации. Ландшафт оптимизации нейросети состоит из холмов и долин, высота которых отражает «сложность» пути решения задачи. Самый оптимальный путь обычно находится на дне самой низкой долины. Но если ландшафт плоский, он не позволяет тренировать параметры, потому что становится невозможно определить, в каком направлении двигаться для улучшения решения.
Эта проблема становится особенно актуальной, когда увеличивается количество функций данных. Фактически, ландшафт стремится к плоской форме по закону экспоненты с увеличением размера сети. Следовательно, при наличии такого «бесплодного плато» квантовую нейронную сеть нельзя масштабировать.
Команда исследователей из Лос-Аламосской Национальной лаборатории разработала новый графический подход для анализа масштабирования квантовой нейронной сети. Авторы показали, что определенная конструкция сверточной нейросети позволяет избежать проблемы бесплодного плато при ее масштабировании.
Квантовые сверточные нейронные сети основаны на структуре зрительной коры головного мозга. Они включают в себя ряд сверточных слоев или фильтров, чередующихся со слоями объединения, которые уменьшают размер хранимой информации, сохраняя при этом важные функции набора данных.
Эти нейронные сети можно использовать для решения целого ряда задач, от распознавания изображений до обнаружения материалов. Преодоление бесплодных плато является ключом к раскрытию всего потенциала квантовых компьютеров в приложениях искусственного интеллекта и демонстрации их превосходства над классическими компьютерами.
Ожидается, что тип квантовой сверточной нейронной сети, надежность которой доказали исследования в Лос-Аламосе, найдет полезное применение при анализе данных квантового моделирования. Используя масштабируемую квантовую нейронную сеть, квантовый компьютер мог бы просеять большой набор данных о различных состояниях материала и сопоставить эти состояния с фазами, чтобы определить оптимальную внутреннюю структуру вещества, например, для появления у него высокотемпературной сверхпроводимости.
Статья опубликована в журнале Physical Review X.
