Энергоэффективное биоморфное импульсное кодирование информации в электронных нейронах для входного блока нейропроцессора

Об авторе:

Писарев Александр Дмитриевич, кандидат технических наук, доцент кафедры прикладной и технической физики, Школа естественных наук, Тюменский государственный университет, Тюмень, Россия; старший научный сотрудник, лаборатория мемристорных материалов, Центр природовдохновленного инжиниринга, Тюменский государственный университет, Тюмень, Россия; spcb.doc@utmn.ru, https://orcid.org/0000-0002-5602-3880

Аннотация:

Статья посвящена реализации во входном блоке нейропроцессора некоторых известных принципов информационной работы биологических систем, в том числе спайкового кодирования информации, применяемого в моделях нейронных сетей последнего поколения.

Развитие современных нейросетевых ИТ порождает ряд актуальных задач, находящихся на стыке нескольких научных дисциплин. Одна из них заключается в создании аппаратной платформы — нейропроцессора для энергоэффективной работы нейросетей. Разработка нанотехнологии основных блоков нейропроцессора в последнее время ведется на основе комбинированных мемристорных сверхбольших логических и запоминающих матриц. Топология матриц построена по принципу максимальной интеграции программируемых связей между узлами. В настоящей статье описан способ реализации биоморфной нейронной функциональности на базе программируемых связей высокоинтегрированной 3D-логической матрицы.

Во введении статьи основное внимание сконцентрировано на проблеме достижения энергоэффективности работы аппаратных средств, применяемых для моделирования нейронных сетей. В основной части исследования проанализированы известные факты принципов передачи и обработки информации в биологических системах с точки зрения реализации их во входном блоке нейропроцессора. В тексте рассмотрена схема электронного нейрона, реализуемая на базе элементов 3D-логической матрицы. Представлен импульсный способ кодирования входной информации, который наиболее реалистично отражает принцип работы сенсорной биологической нейронной системы. Проанализирована модель электронного нейрона для выбора диапазонов технологических параметров в реальной схеме 3D-логической матрицы. Показана реализация дизъюнктивных нормальных форм на примере работы логической функции во входном блоке нейропроцессора. Представлены результаты моделирования фрагментов электрических цепей с мемристорами 3D-логической матрицы в режиме программирования.

Биоморфное импульсное кодирование стандартных цифровых сигналов позволяет достичь высокой степени энергоэффективности работы логических элементов нейропроцессора за счет уменьшения количества срабатываний вентилей. Энергоэффективность дает возможность преодолеть тепловое ограничение масштабируемой технологии трехмерной компоновки элементов в мемристорных кроссбарах.

Список литературы:

1. Барский А. Б. Нейронные сети: распознавание, управление, принятие решений / А. Б. Барский. М.: Финансы и статистика, 2004. 176 с.
2. Блум Ф. Мозг, разум и поведение / Ф. Блум, Α. Лейзерсон, Л. Хофстедтер; пер. с англ. М.: Мир, 1988. 248 с.
3. Бобылев А. Н. Увеличение диапазона резистивного переключения мемристора для реализации большего числа синаптических состояний в нейропроцессоре / А. Н. Бобылев, С. Ю. Удовиченко, А. Н. Бусыгин, А. Х. Ибрагим // Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2019. Том 5. № 2. С. 124-136. DOI: 10.21684/2411-7978-2019-5-2-124-136
4. Бэкус Дж. Можно ли освободить програмирование от стиля фон-Неймана? Функциональный стиль и соответствующая алгебра программ / Дж. Бэкус // Лекции лауреатов премии Тьюринга. М.: Мир, 1993. 560 с.
5. Глобальное будущее 2045. Конвергентные технологии (НБИКС) и трансгуманистическая эволюция / под ред. Д. И. Дубровского. М.: Изд-во МБА, 2013. 272 с.
6. Гусев А. В. Перспективы нейронных сетей и глубокого машинного обучения в создании решений для здравоохранения / А. В. Гусев // Врач и информационные технологии. 2017. № 3. С. 92-105. 
7. Каличкин В. К. Применение нейронной экспертной системы для классификации эрозионных земель / В. К. Каличкин, А. И. Павлова // Сибирский вестник с.-х. науки. 2014. № 6. С. 5-11.
8. Многослойная логическая матрица на основе мемристорной коммутационной ячейки: заявка на изобретение № 2017122704 / А. Д. Писарев, О. В. Маевский, А. Н. Бусыгин, С. Ю. Удовиченко; заявл. 27.06.2017; решение о выдаче патента 10.04.2018.
9. Писарев А. Д. Комбинированный мемристорно-диодный кроссбар как основа запоминающего устройства / А. Д. Писарев, А. Н. Бусыгин, А. Н. Бобылев, С. Ю. Удовиченко // Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2017. Том 3. № 4. С. 142-149. DOI: 10.21684/2411-7978-2017-3-4-142-149
10. Писарев А. Д. Реализация дискретного косинусного преобразования во входном блоке мемристорного нейропроцессора / А. Д. Писарев // Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2019. Том 5. № 1. С. 147-161. DOI: 10.21684/2411-7978-2019-5-1-147-161
11. Писарев А. Д. SPICE-моделирование процессов ассоциативного самообучения и безусловного разобучения в логическом блоке нейропроцессора / А. Д. Писарев // Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2018. Том 4. № 3. С. 132-145. DOI: 10.21684/2411-7978-2018-4-3-132-145
12. Трофимова Е. А. Нейронные сети в прикладной экономике: учеб. пособие / Е. А. Трофимова, В. Д. Мазуров, Д. В. Гилёв; под общ. ред. Е. А. Трофимовой; М-во образования и науки Рос. Федерации, Урал. федер. ун-т. Екатеринбург: Изд-во Урал. ун-та, 2017. 96 с.
13. Удовиченко С. Ю. Нейропроцессор на основе комбинированного мемристорно-диодного кроссбара / С. Ю. Удовиченко, А. Д. Писарев, А. Н. Бусыгин, О. В. Маевский // Наноиндустрия. 2018. № 5 (84). С. 344-355. DOI: 10.22184/1993-8578.2018.84.5.344.355
14. Удовиченко С. Ю. 3D КМОП-мемристорная нанотехнология создания логической и запоминающей матриц нейропроцессора / С. Ю. Удовиченко, А. Д. Писарев, А. Н. Бусыгин, О. В. Маевский // Наноиндустрия. 2017. № 5 (76). С. 26-34. DOI: 10.22184/1993-8578.2017.76.5.26.34
15. Biolek D. Reliable SPICE simulations of memristors, memcapacitors and meminductors / D. Biolek, M. Di Ventra, Y. V. Pershin // Radioengineering. 2013. Vol. 22. № 4. Pp. 945-968.
16. Bobylev A. N. Neuromorphic coprocessor prototype based on mixed metal oxide memristors / A. N. Bobylev, A. N. Busygin, A. D. Pisarev, S. Yu. Udovichenko, V. A. Filippov // International Journal of Nanotechnology. 2017. Vol. 14. No 7/8. Pp. 698-704. DOI: 10.1504/IJNT.2017.083444
17. Bobylev A. N. The electrical properties of memristor devices TiN/TixAl1−xOy/TiN produced by magnetron sputtering / A. N. Bobylev, S. Yu. Udovichenko // Russian Microelectronics. 2016. Vol. 45. № 6. Pp. 396-401. DOI: 10.1134/S1063739716060020
18. Chen Y.-H. Eyeriss: an energy-efficient reconfigurable accelerator for deep convolutional neural networks / Y.-H. Chen, T. Krishna, J. S. Emer, V. Sze // IEEE Journal of Solid-State Circuits. 2017. Vol. 52. № 1. Pp. 127-138. DOI: 10.1109/JSSC.2016.2616357
19. Filippov V. A. A biomorphic neuron model and principles of designing a neural network with memristor synapses for a biomorphic neuroprocessor / V. A. Filippov, A. N. Bobylev, A. N. Busygin, A. D. Pisarev, S. Yu. Udovichenko // Neural Computing and Applications. 2019. DOI: 10.1007/s00521-019-04383-7
20. Gardner B. Supervised learning in spiking neural networks for precise temporal encoding / B. Gardner, A. Grüning // PLoS ONE. 2016. Vol. 11. № 8. Article e0161335. Pp. 1-28. DOI: 10.1371/journal.pone.0161335
21. Gollisch T. Rapid neural coding in the retina with relative spike latencies / T. Gollisch, M. Meister // Science. 2008. Vol. 319. № 5866. Pp. 1108-1111. DOI: 10.1126/science.1149639
22. Gütig R. To spike, or when to spike? / R. Gütig // Current Opinion in Neurobiology. 2014. Vol. 25. Pp. 134-139. DOI: 10.1016/j.conb.2014.01.004
23. Hadiyawarman. Recent progress on fabrication of memristor and transistor-based neuromorphic devices for high signal processing speed with low power consumption / Hadiyawarman, F. Budiman, D. G. O. Hernowo, R. R. Pandey, H. Tanaka // Japanese Journal of Applied Physics. 2018. Vol. 52. № 3S2. Article 03EA06. DOI: 10.7567/JJAP.57.03EA06
24. Hodgkin A. L. A quantitative description of membrane current and its application to conduction and excitation in nerve / A. L. Hodgkin, A. F. Huxley // The Journal of Physiology. 1952. Vol. 117. № 4. Pp. 500-544. DOI: 10.1113/jphysiol.1952.sp004764
25. Johansson R. S. First spikes in ensembles of human tactile afferents code complex spatial fingertip events / R. S. Johansson, I. Birznieks // Nature Neuroscience. 2004. Vol. 7. № 2. Pp. 170-177. DOI: 10.1038/nn1177
26. Kasinski A. Comparison of supervised learning methods for spike time coding in spiking neural networks / A. Kasinski, F. Ponulak // International Journal of Applied Mathematics and Computer Science. 2006. Vol. 16. № 1. Pp. 101-113.
27. Larkum M. E. Dendritic mechanisms underlying the coupling of the dendritic with the axonal action potential initiation zone of adult rat layer 5 pyramidal neurons / M. E. Larkum, J. J. Zhu, B. Sakmann // The Journal of Physiology. 2001. Vol. 533. № 2. Pp. 447-466. DOI: 10.1111/j.1469-7793.2001.0447a.x
28. Mainen Z. F. Reliability of spike timing in neocortical neurons / Z. F. Mainen, T. J. Sejnowski // Science. 1995. Vol. 268. № 5216. Pp. 1503-1506. DOI: 10.1126/science.7770778
29. Mohemmed A. SPAN: Spike pattern association neuron for learning spatio-temporal spike patterns / A. Mohemmed, S. Schliebs, S. Matsuda, N. Kasabov // International Journal of Neural Systems. 2012. Vol. 22. № 04. Article 1250012. DOI: 10.1142/S0129065712500128
30. Pavlova A. I. The use of neural networks in forecasting the load of the call-center / A. I. Pavlova, D. A. Morozov // International Journal of Advanced Studies. 2017. Vol. 7. № 2-2. Pp. 108-112. DOI: 10.12731/2227-930X-2017-2-2-108-112
31. Peng C.-S. Improvement of resistive switching stability of HfO2 films with Al doping by atomic layer deposition / C.-S. Peng, W.-Y. Chang, Y.-H. Lee, M.-H. Lin, F. Chen, M.-J. Tsai // Electrochemical and Solid-State Letters. 2012. Vol. 15. № 4. Pp. H88-H90. DOI: 10.1149/2.011204esl
32. Pisarev A. D. 3D memory matrix based on a composite memristor-diode crossbar for a neuromorphic processor / A. D. Pisarev, A. N. Busygin, S. Yu. Udovichenko, O. V. Maevsky // Microelectronic Engineering. 2018. Vol. 198. Pp. 1-7. DOI: 10.1016/j.mee.2018.06.008
33. Reich D. S. Response variability and timing precision of neuronal spike trains in vivo / D. S. Reich, J. D. Victor, B. W. Knight, T. Ozaki, E. Kaplan // Journal of Neurophysiology. 1997. Vol. 77. № 5. Pp. 2836-2841. DOI: 10.1152/jn.1997.77.5.2836
34. Takeuchi T. The synaptic plasticity and memory hypothesis: encoding, storage and persistence / T. Takeuchi, A. J. Duszkiewicz, R. G. M. Morris // Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences. 2014. Vol. 369. № 1633. DOI: 10.1098/rstb.2013.0288
35. Uzzell V. J. Precision of spike trains in primate retinal ganglion cells / V. J. Uzzell, E. J. Chichilnisky // Journal of Neurophysiology. 2004. Vol. 92. № 2. Pp. 780-789. DOI: 10.1152/jn.01171.2003
36. Van Rullen R. Spike times make sense / R. Van Rullen, R. Guyonneau, S. J. Thorpe // Trends in Neurosciences. 2005. Vol. 28. № 1. Pp. 1-4. DOI: 10.1016/j.tins.2004.10.010
37. Yu Q. Precise-spike-driven synaptic plasticity: learning hetero-association of spatiotemporal spike patterns / Q. Yu, H. Tang, K. C. Tan, H. Li // PLoS ONE. 2013. Vol. 8. № 11. Article e78318. DOI: 10.1371/journal.pone.0078318