Численное моделирование и экспериментальное исследование аппаратной импульсной нейросети с мемристорными синапсами

Об авторах:

Бусыгин Александр Николаевич, кандидат физико-математических наук, доцент кафедры прикладной и технической физики, Школа естественных наук, Тюменский государственный университет, Тюмень, Россия; старший научный сотрудник, лаборатория мемристорных материалов, Центр природовдохновленного инжиниринга, Тюменский государственный университет, Тюмень, Россия; a.n.busygin@utmn.ru, https://orcid.org/0000-0002-3439-8067

Бобылев Андрей Николаевич, заведующий лабораторией электронной и зондовой микроскопии НОЦ «Нанотехнологии», Тюменский государственный университет; eLibrary AuthorID, ScopusID, andreaubobylev@gmail.com; ORCID: 0000-0001-5488-8736

Губин Алексей Александрович, аспирант кафедры прикладной и технической физики, инженер НОЦ «Нанотехнологии», Тюменский государственный университет; a.a.gubin@utmn.ru

Писарев Александр Дмитриевич, кандидат технических наук, доцент кафедры прикладной и технической физики, Школа естественных наук, Тюменский государственный университет, Тюмень, Россия; старший научный сотрудник, лаборатория мемристорных материалов, Центр природовдохновленного инжиниринга, Тюменский государственный университет, Тюмень, Россия; spcb.doc@utmn.ru, https://orcid.org/0000-0002-5602-3880

Удовиченко Сергей Юрьевич, доктор физико-математических наук, профессор кафедры прикладной и технической физики, Школа естественных наук, Тюменский государственный университет, Тюмень, Россия; научный руководитель лаборатории мемристорных материалов, Центр природовдохновленного инжиниринга, Тюменский государственный университет, Тюмень, Россия; udotgu@mail.ru, https://orcid.org/0000-0003-3583-7081

Аннотация:

Представлены результаты численного моделирования и экспериментального исследования электрической схемы аппаратного импульсного персептрона на основе мемристорно-диодного кроссбара. Для этого разработан и изготовлен измерительный стенд, электрическая схема которого состоит из схемы аппаратного персептрона и входной периферийной электрической схемы для реализации активационной функции нейрона и обеспечения работы запоминающей матрицы в импульсном режиме. Проведено исследование работы аппаратной импульсной нейросети с мемристорными синапсами в виде запоминающей матрицы в режиме расчета синапсов однослойного персептрона. Персептрон может рассматриваться в качестве первого слоя биоморфной нейросети, выполняющего первичную обработку поступающей информации в биоморфном нейропроцессоре. Получены экспериментальная и модельная кривые обучения, показывающие ожидаемое увеличение доли правильных классификаций с ростом числа эпох обучения. Продемонстрирована генерация новой ассоциации при переобучении, вызванном поступлением новой входной информации. Сравнение результатов моделирования и эксперимента по обучению небольшой нейросети с малым кроссбаром позволит создавать адекватные модели аппаратных нейросетей с мемристорно-диодным кроссбаром большой размерности. Поступление новой неизвестной информации на вход аппаратной импульсной нейросети можно отожествлять с генерацией новых ассоциаций в биоморфном нейропроцессоре, а в дальнейшем при совершенствовании нейросети научиться осмысливать эту информацию и, следовательно, совершить переход от слабого искусственного интеллекта к сильному.

Список литературы:

1. Писарев А. Д. Исследование электрофизических свойств комбинированного мемристорно-диодного кроссбара, являющегося основой для аппаратной реализации биоморфного нейропроцессора / А. Д. Писарев, А. Н. Бусыгин, А. Н. Бобылев, А. А. Губин, С. Ю. Удовиченко // Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2020. Том 6. № 3. С. 93-109. DOI: 10.21684/2411-7978-2020-6-3-93-109

2. Biolek D., Di Ventra M., Pershin Y.V. Reliable SPICE simulations of memristors, memcapacitors and meminductors / D. Biolek, M. Di Ventra, Y. V. Pershin // Radioengineering. 2013. Vol. 22. No. 4. Pp. 945-968. URL: https://arxiv.org/abs/1307.2717

3. Cai  F., Power-efficient combinatorial optimization using intrinsic noise in memristor Hopfield neural networks / F. Cai, S. Kumar, T. Van Vaerenbergh et al. // Nature Electronics. 2020. Vol. 3. Pp. 409-418. DOI: 10.1038/s41928-020-0436-6

4. Demin V. A. Necessary conditions for STDP-based pattern recognition learning in a memristive spiking neural network / V. A. Demin, D. V. Nekhaev, I. A. Surazhevsky et al.// Neural Networks. 2021. Vol. 134. Pp. 64-75. DOI: 10.1016/j.neunet.2020.11.005

5. Filippov V. A. A biomorphic neuron model and principles of designing a neural network with memristor synapses for a biomorphic neuroprocessor / V. A. Filippov, A. N. Bobylev, A. N. Busygin, A. D. Pisarev, S. Yu. Udovichenko // Neural Computing and Applications. 2020. Vol. 32. Pp. 2471-2485. DOI: 10.1007/s00521-019-04383-7

6. Khacef L. Confronting machine-learning with neuroscience for neuromorphic architectures design / L. Khacef, N. Abderrahmane, B. Miramond // International Joint Conference on Neural Networks (IJCNN), 2018. DOI: 10.1109/IJCNN.2018.8489241

7. Lobo J. L. Spiking Neural Networks and online learning: An overview and perspectives / J. L. Lobo, J. D. Ser, A. Bifet, N. Kasabov // Neural Networks. 2020. Vol. 121. Pp. 88-100. DOI: 10.13140/RG.2.2.19696.20481

8. Miao H. Memristor-based analog computation and neural network classification with a dot product engine / H. Miao, C. E. Graves, C. Li et al. // Advanced Materials. 2018. Vol. 30. No. 9. Art. 1705914. DOI: 10.1002/adma.201705914

9. Minnekhanov A. A. Parylene based memristive devices with multilevel resistive switching for neuromorphic applications / A. A. Minnekhanov, A. V. Emelyanov, D. A. Lapkin et al. // Scientific Reports. 2019. Vol. 9. Art. 10800. DOI: 10.1038/s41598-019-47263-9

10. Pershin Y. V. Experimental demonstration of associative memory with memristive neural networks / Y. V. Pershin, M. Di Ventra // Neural Networks. 2010. Vol. 23. No. 7. Pp. 881‑886. DOI: 10.1016/j.neunet.2010.05.001

11. Pisarev A. Fabrication technology and electrophysical properties of a composite memristor-diode crossbar used as a basis for hardware implementation of a biomorphic neuroprocessor / A. Pisarev, A. Busygin, A. Bobylev, A. Gubin, S. Udovichenko // Microelectronic Engineering. 2021. Vol. 236. Art. 111471. DOI: 10.1016/j.mee.2020.111471

12. Pisarev A. D. A biomorphic neuroprocessor based on a composite memristor-diode crossbar / D. A. Pisarev, A. N. Busygin, S. Yu. Udovichenko, O. V. Maevsky // Microelectronics Journal. 2020. Vol. 102. Art. 104827. DOI: 10.1016/j.mejo.2020.104827

13. Prezioso M. Training and operation of an integrated neuromorphic network based on metal-oxide memristors / M. Prezioso, F. Merrikh-Bayat, B. D. Hoskins et al. // Nature. 2015. Vol. 521. Pp. 61-64. DOI: 10.1038/nature14441

14. Wang Z. Capacitive neural network with neuro-transistors / Z. Wang, M. Rao, J.-W. Han et al. // Nature Communications. 2018. Vol. 9. Art. 3208. DOI: 10.1038/s41467-018-05677-5

15. Wang Z. A Novel Memristor-Based Circuit Implementation of Full-Function Pavlov Associative Memory Accorded with Biological Feature / Z. Wang, X. Wang, // IEEE Transactions on Circuits and Systems I: Regular Papers. 2018. Vol. 65. No. 7. Pp. 2210‑2220. DOI: 10.1109/TCSI.2017.2780826

16. Yang L. Memristor-based circuit implementations of recognition network and recall network with forgetting stages / L. Yang, Z. Zeng, Y. Huang, S. Wen // IEEE Transactions on Cognitive and Developmental Systems. 2018. Vol. 10. No. 4. Pp. 1133-1142. DOI: 10.1109/TCDS.2018.2859303

17. Zhang X. Improved learning experience memristor model and application as neural network synapse / X. Zhang, K. Long // IEEE Access. 2019. Vol. 7. Pp. 15262-15271. DOI: 10.1109/ACCESS.2019.2894634