УДК 004.032.26
DOI: 10.36871/2618-9976.2021.11.004
Авторы
Ерохин В.В.
Доктор технических наук, профессор кафедры математических методов и бизнес-информатики Московского государственного института международных отношений (университет) Министерства иностранных дел РФ, Москва, Россия
Аннотация
Послойное обучение представляет собой альтернативный подход к сквозному обратному распространению для обучения глубоких сверточных нейронных сетей. Послойное обучение на конкретных архитектурах может дать весьма конкурентоспособные результаты. В базе данных ImageNet (www.image-net.org) послойно обученные сети могут работать сравнимо со многими современными сквозными обученными сетями. В этой статье сравнивается разрыв в производительности между двумя процедурами обучения в широком диапазоне сетевых архитектур и далее анализируются возможные ограничения послойного обучения. Полученные результаты показывают, что послойное обучение быстро насыщается после определенного критического уровня из-за переобучения ранних уровней в нейронных сетях. Обсуждаются несколько подходов, которые использовались для решения этой проблемы, и рассматривается методика по улучшению послойного обучения в различных архитектурах нейронных сетей. С фундаментальной точки зрения, это исследование подчеркивает необходимость открыть черный ящик, который представляет собой современные глубокие нейронные сети, и исследовать послойное взаимодействие между промежуточными скрытыми слоями внутри глубоких сетей через призму послойного обучения.
Ключевые слова
нейронные сети
искусственный интеллект
сверточные нейронные сети
глубокое обучение
