УДК 004.8:332
DOI: 10.36871/26189976.2026.04-4.020

Авторы

Тхи Ань Тует Нгуен,
Университет Шао-До, Чу Ван Ан, Хайфон, Вьетнам
Фук Хау Нгуен,
Университет Электроэнергетики, Ханой, Вьетнам
Андрей Викторович Чупаев,
Казанский национальный исследовательский технологический университет, Казань, Россия

Аннотация

В контексте систем «умного города», генерирующих большие объемы распределенных данных, обеспечение эффективного анализа данных при сохранении конфиденциальности стало критически важной задачей. В данной статье предлагается структура анализа больших данных на основе федеративного обучения (FL), позволяющая проводить распределенное обучение моделей без обмена исходными данными. Предложенная архитектура интегрирует устройства IoT, граничные вычисления и федеративный сервер, а также улучшенный алгоритм FedAvg для решения проблемы гетерогенности данных. Для усиления защиты данных включены механизмы сохранения конфиденциальности, такие как дифференциальная конфиденциальность и безопасная агрегация. Экспериментальные результаты на наборах данных IoT и «умного города» демонстрируют, что предложенная модель достигает производительности, сопоставимой с централизованными подходами, при сохранении надежных гарантий конфиденциальности. Подход демонстрирует высокий потенциал для практического применения в распределенных средах больших данных.

Ключевые слова

большие данные
федеративное обучение
умный город
IoT
сохранение конфиденциальности
граничные вычисления
дифференциальная конфиденциальность

Список литературы

[1] Akavova A. How AI and machine learning can drive sustainable development / A. Akavova, S. Beguyev, R. Zaripova // E3S Web of Conferences, St. Petersburg, 2023. Vol. 460. St. Petersburg: EDP Sciences, 2023. P. 04018. DOI 10.1051/e3sconf/202346004018. EDN VVTJFB.

[2] Bonawitz K. et al. Practical Secure Aggregation for Privacy-Preserving Machine Learning // Proc. CCS. Association for Computing Machinery, New York, NY, USA, pp. 1175–1191. DOI 10.1145/3133956.3133982 2017.

[3] Dean J., Ghemawat S. MapReduce: Simplified data processing on large clusters // Proc. OSDI, 2004, pp. 137–150. URL: https://dblp.org/rec/conf/osdi/DeanG04.html.

[4] Dwork C. Differential privacy // Encyclopedia of Cryptography and Security. Springer, Boston, MA, 2011, pp. 338–340. DOI 10.1007/978-1-4419-5906-5_752.

[5] Gandomi A., M. Haider. Beyond big data: Concepts and analytics // Int. J. Information Management, 2015. Vol. 35, № 2, pp. 137–144. DOI 10.1016/j.ijinfomgt.2014.10.007.

[6] Kairouz P. et al. Advances and open problems in federated learning // Foundations and Trends in ML, 2021. Vol. 14, №1, pp. 1–210. DOI 10.48550/arXiv.1912.04977.

[7] Katasev A. S. Neural network model for information security incident forecasting / A. S. Katasev, D. V. Kataseva, L. Y. Emaletdinova // Proceedings — 2018 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2018. Moscow, 2018. P. 8728734. DOI 10.1109/ICIEAM.2018.8728734. EDN GQEXOY.

[8] Khusainova E. Prospects for the IoT in the Electricity Industry / E. Khusainova, L. Urazbahtina, N. Serkina [et al.] // E3S Web of Conferences. 2021. Vol. 288. P. 01017. DOI 10.1051/e3sconf/202128801017. EDN GAWWAS.

[9] Konečný J. et al. Federated optimization: Distributed machine learning // arXiv:1610.02527, 2016. 38 р. DOI 10.48550/arXiv.1610.02527.

[10] Li T. et al. Federated optimization in heterogeneous networks // Proc. MLSys, 2020. DOI 10.48550/arXiv.1812.06127.

[11] McMahan H. B. et al. Communication-efficient learning of deep networks from decentralized data // Proc. AISTATS, 2017, pp. 1273–1282. DOI 10.48550/arXiv.1602.05629.

[12] Nuriev M. The 5G revolution transforming connectivity and powering innovations / M. Nuriev, A. Kalyashina, Yu. Smirnov [et al.] // E3S Web of Conferences. 2024. Vol. 515. P. 04008. DOI 10.1051/e3sconf/202451504008. EDN XIHEMB.

[13] Shi W. et al. Edge computing: Vision and challenges // IEEE Internet of Things Journal, 2016. Vol. 3, №5, pp. 637–646. DOI 10.1109/JIOT.2016.2579198.

[14] Smart city big data analytics: An advanced review / K. Soomro, Z. Khan, M. N. M. Bhutta, M. A. Tahir // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2019. Vol. 9, №5. P. e1319. DOI 10.1002/widm.1319. EDN CZCBMO.

[15] Xu L., He W., Li S. Internet of Things in industries: A survey // IEEE Transactions on Industrial Informatics, 2014. Vol. 10, № 4, pp. 2233-2243. DOI 10.1109/TII.2014.2300753.

[16] Zaharia M. et al. Apache Spark: A unified engine for big data processing // Communications of the ACM, 2016. Vol. 59. №11, pp. 56–65. DOI 10.1145/2934664.

[17] Zaripova R. Unlocking the potential of artificial intelligence for big data analytics / R. Zaripova, V. Kosulin, M. Shkinderov, I. Rakhmatullin // E3S Web of Conferences, St. Petersburg, 2023. Vol. 460. St. Petersburg: EDP Sciences, 2023. P. 04011. DOI 10.1051/ e3sconf/202346004011. EDN LTBFXJ.

[18] Zhao Y. et al. Federated learning with non-IID data // arXiv:1806.00582, 2018. DOI 10.48550/arXiv.1806.00582.