Нанопроводная «мозговая» сеть учится и запоминает «на лету»
Впервые было показано, что физическая нейронная сеть обучается и запоминает «на лету», подобно тому, как работают нейроны мозга. Результат открывает путь к разработке эффективного и энергосберегающего машинного интеллекта для более сложных реальных задач обучения и запоминания.
Исследование, опубликованное в журнале Nature Communications, представляет собой результат сотрудничества ученых из Сиднейского университета и Калифорнийского университета в Лос-Анджелесе.
«Результаты демонстрируют, как мозговые функции обучения и памяти с использованием нанопроводных сетей могут быть использованы для обработки динамических потоковых данных», - объясняет ведущий автор исследования Руомин Чжу из Сиднейского университета.
Нанопроводные сети состоят из крошечных проводов диаметром всего в миллиардные доли метра. Провода выстраиваются в узоры, имитируя нейронные сети, подобные тем, что есть в нашем мозгу. Эти сети могут использоваться для выполнения конкретных задач по обработке информации.
Задачи памяти и обучения решаются с помощью простых алгоритмов, которые реагируют на изменения электронного сопротивления в местах перекрытия нанопроводов. Эта функция, известная как «резистивное переключение памяти», создается, когда электрические входы сталкиваются с изменениями проводимости, подобно тому, что происходит с синапсами в нашем мозге.
В этом исследовании исследователи использовали сеть для распознавания и запоминания последовательностей электрических импульсов, соответствующих изображениям, вдохновленным тем, как человеческий мозг обрабатывает информацию.
Руководитель исследования, профессор Зденка Кунчич, сказала, что задача на запоминание была похожа на запоминание номера телефона. Сеть также использовалась для выполнения эталонной задачи по распознаванию изображений с доступом к изображениям в базе данных рукописных цифр MNIST — коллекции из 70 000 небольших изображений в оттенках серого, используемых в машинном обучении.
«Наше предыдущее исследование установило способность сетей нанопроводов запоминать простые задачи. Эта работа расширила эти результаты, показав, что задачи могут выполняться с использованием динамических данных, доступных в Интернете», — сказала она. «Это значительный шаг вперед, поскольку достижение возможности онлайн-обучения является сложной задачей при работе с большими объемами данных, которые могут постоянно меняться. Стандартный подход заключается в хранении данных в памяти, а затем в обучении модели машинного обучения с использованием этой сохраненной информации. Но для широкого применения это потребовало бы слишком много энергии. Наш новый подход позволяет нейронной сети нанопроволоки обучаться и запоминать «на лету», образец за образцом, извлекая данные в режиме онлайн, тем самым избегая перегрузки памяти и энергопотребления».
При этом обработка информации онлайн имеет и другие преимущества.
«Если данные передаются непрерывно, например, от датчика, машинное обучение, основанное на искусственных нейронных сетях, должно будет иметь возможность адаптироваться в режиме реального времени , для чего они в настоящее время не оптимизированы», - говорит Чжу.
В этом исследовании нейронная сеть нанопроволоки показала эталонные возможности машинного обучения, набрав 93,4 процента при правильной идентификации тестовых изображений. Задача на запоминание включала в себя запоминание последовательностей длиной до восьми цифр. Для обеих задач данные передавались в сеть, чтобы продемонстрировать ее способность к онлайн-обучению и показать, как память улучшает это обучение.
Обсудим?
Смотрите также:
