УДК 004.67:681.3
DOI: 10.36871/ek.up.p.r.2025.02.13.019
Авторы
Андрей Юрьевич Гришин,
Московский физико-технический институт (национальный исследовательский университет), Московская область, Долгопрудный, Российская Федерация; Отдел по борьбе с недобросовестным использованием инсайдерской информации и манипулированием рынком Московской биржи, Москва, Российская Федерация
Аннотация
В настоящей статье предлагается переосмысление архитектуры Трансформера в контексте формирования удобного признакового пространства. Применение рассматриваемой модели в данном случае универсально и может быть распространено на любые данные, обладающие панельной структурой. Согласно полученным результатам обучения модели, векторные образы (эмбеддинги) соотносящихся объектов, описываемых панельными данными, в новом пространстве расположены ближе друг к другу, тогда как наблюдения, соответствующие другим, несвязанным объектам, располагаются дальше. Использование подобного нововведения направлено на повышение удобства взаимодействия с панельными структурами на всех этапах исследования, поскольку зачастую из-за сложности первоначального распределения информации перед подгонкой выбранной модели требуется выполнить трудоемкую предварительную обработку. Более того вся процедура создания нового пространства признаков подразумевает упрощение задачи, связанной с выявлением скрытых взаимосвязей внутри исходных данных, для последующего применения алгоритмов статистического обучения.
Ключевые слова
представление последовательности, нейронные сети, обработка естественного языка, трансформер, панельные данные
