МЕТОД ПОЛУЧЕНИЯ ФОНЕТИЧЕСКОЙ ИНФОРМАЦИИ ИЗ АУДИОСИГНАЛА ДЛЯ ИНФОРМАЦИОННО‑ИЗМЕРИТЕЛЬНОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПРОИЗНОШЕНИЯ

УДК 004.934.2
DOI: 10.36871/26189976.2026.03-5.011

Авторы

Максим Дмитриевич Зайцев,
Федеральное государственное автономное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский университет)», институт «Системы управления, информатика и электроэнергетика», кафедра «Цифровые технологии и информационные системы», Москва, Россия
Ольга Владиславовна Хомутская,
Федеральное государственное автономное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский университет)», институт «Системы управления, информатика и электроэнергетика», кафедра «Цифровые технологии и информационные системы», Москва, Россия

Аннотация

В работе представлен метод получения фонетической информации из аудиосигнала для информационно-измерительной системы оценки качества произношения. Метод основан на нейросетевой дискриминативной модели классификации фонем и переносе представлений из предобученной акустической модели WavLM. Предложенный подход обеспечивает значение метрики макро-F1 до 0,72 при коэффициенте реального времени 0,055 и может быть использован в задачах обработки аудиосигнала в темпе его поступления.

Ключевые слова

анализ аудиосигнала,
классификация фонем, нейронная
сеть, перенос представлений.

Список литературы

[1] Зайцев М. Д. Разработка специального программного обеспечения по работе над произношением детей с нарушением слуха / М. Д. Зайцев, И. В. Рачков, В. О. Золотова, Е. П. Веселовская // Материалы Международной научно-практической конференции «Наука и образование: векторы развития». – Чебоксары : Экспертно-методический центр, 2021. – С. 122–125.

[2] Зеленская Ю. Б. Использование компьютерной программы SpeechViewer («Видимая речь») в процессе логопедического воздействия : дис. … канд. пед. наук / Ю. Б. Зеленская. – Мурманск : Мурманский государственный педагогический университет, 2003. – 163 с.

[3] Зеленская Ю. Б. Эволюция технических средств формирования и коррекции произносительной стороны речи у детей // Дефектология. – 2003. – № 2. – С. 76–87.

[4] Кнеллер Э. Г. Устройство для обучения разговорной (устной) речи с визуальной обратной связью : пат. WO2016053141 A1 / Э. Г. Кнеллер, Д. В. Караульных ; заявка PCT/ RU2015/000583 от 17.09.2015.

[5] Кузьмичева Е. П. Обучение глухих детей восприятию и воспроизведению устной речи / Е. П. Кузьмичева, Е. З. Яхнина. – Москва : Академия, 2011. – 352 с.

[6] Кукушкина О. И. Использование информационных технологий в различных областях специального образования : дис. … д-ра пед. наук / О. И. Кукушкина. – Москва : Институт коррекционной педагогики РАО, 2005. – 381 с.

[7] Новохрестова Д. И. Методики и алгоритм анализа данных при оценке качества произношения слогов в процессе речевой реабилитации : дис. … канд. наук / Д. И. Новохрестова. – Томск : Томский государственный университет систем управления и радиоэлектроники, 2022. – 171 с.

[8] Савченко В. В. Информационная теория качества речи // Известия высших учебных заведений России. Радиоэлектроника. – 2011. – № 1. – С. 17–27.

[9] Савченко В. В. Теоретико-информационное обоснование и анализ эффективности метода фонетического кодирования-декодирования в задаче автоматического распознавания речи / В. В. Савченко, А. В. Савченко // Радиотехника и электроника. – 2016. – Т. 61, № 4. – С. 373.

[10] Савченко Л. В. Оценка качества произношения на основе метода нечеткого фонетического кодирования // Телекоммуникации. – 2017. – № 5. – С. 42–48.

[11] Туфатулин Г. Ш. Эпидемиология нарушений слуха у детей: распространенность, структура, аспекты слухопротезирования и социальные факторы / Г. Ш. Туфатулин, И. В. Королева, Е. К. Мефодовская // Вестник оториноларингологии. – 2021. – Т. 86, № 3. – С. 28–35. – DOI: 10.36871/26189976.2026.03-5.011

[12] Cao X. Segmentation-free Goodness of Pronunciation / X. Cao, Z. Fan, T. Svendsen, G. Salvi // arXiv preprint. – 2025. – arXiv:2507.16838. – DOI: 10.48550/arXiv.2507.16838.

[13] Chen S. WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing / S. Chen, C. Wang, Z. Chen, Y. Wu, S. Liu, Z. Chen, J. Li, N. Kanda, T. Yoshioka, X. Xiao, J. Wu, L. Zhou, S. Ren, Y. Qian, Y. Qian, J. Wu, M. Zeng, X. Yu, F. Wei // IEEE Journal of Selected Topics in Signal Processing. – 2022. – Vol. 16, No. 6. – P. 1505–1518. – DOI: 10.1109/ JSTSP.2022.3188113.

[14] Ericsson L. Self-Supervised Representation Learning: Introduction, Advances and Challenges / L. Ericsson, H. Gouk, C. C. Loy, T. M. Hospedales // IEEE Signal Processing Magazine. – 2022. – Vol. 39, No. 3. – P. 42–62. – DOI: 10.1109/MSP.2021.3134634.

[15] Kheir Y. E. Automatic Pronunciation Assessment: A Review / Y. E. Kheir, A. Ali, S. A. Chowdhury // arXiv preprint. – 2023. – arXiv:2310.13974. – DOI: 10.48550/arXiv.2310.13974.

[16] Latif S. Transformers in Speech Processing: A Survey / S. Latif, A. Zaidi, H. Cuayahuitl, F. Shamshad, M. Shoukat, J. Qadir // arXiv preprint. – 2023. – arXiv:2303.11607. – DOI: 10.48550/arXiv.2303.11607.

[17] Liu S. Audio Self-supervised Learning: A Survey / S. Liu, A. Mallol-Ragolta, E. ParadaCabeleiro, K. Qian, X. Jing, A. Kathan, B. Hu, B. W. Schuller // arXiv preprint. – 2022. – arXiv:2203.01205. – DOI: 10.48550/arXiv.2203.01205.

[18] Radford A. Robust Speech Recognition via Large-Scale Weak Supervision / A. Radford, J. W. Kim, T. Xu, G. Brockman, C. McLeavey, I. Sutskever // arXiv preprint. – 2022. – arXiv:2212.04356. – DOI: 10.48550/arXiv.2212.04356.

[19] Shim K. A Comparison of Transformer, Convolutional, and Recurrent Neural Networks on Phoneme Recognition / K. Shim, W. Sung // arXiv preprint. – 2022. – arXiv:2210.00367. – DOI: 10.48550/arXiv.2210.00367.

[20] Uelwer T. A Survey on Self-Supervised Representation Learning / T. Uelwer, J. Robine, S. S. Wagner, M. Höftmann, E. Upschulte, S. Konietzny, M. Behrendt, S. Harmeling // arXiv preprint. – 2023. – arXiv:2308.11455. – DOI: 10.48550/arXiv.2308.11455.

[21] Xu Q. Simple and Effective Zero-shot Cross-lingual Phoneme Recognition / Q. Xu, A. Baevski, M. Auli // arXiv preprint. – 2021. – arXiv:2109.11680. – DOI: 10.48550/arXiv.2109.11680.

[22] Zhao Z. A comparison review of transfer learning and self-supervised learning: Definitions, applications, advantages and limitations / Z. Zhao, L. Alzubaidi, J. Zhang, Y. Duan, G. Yu // Expert Systems with Applications. – 2024. – Vol. 242. – Article 122807. – DOI: 10.1016/j. eswa.2023.122807.

[23] Zuazo X. de. MEGConformer: Conformer-Based MEG Decoder for Robust Speech and Phoneme Classification / X. de Zuazo, I. Saratxaga, E. Navas // arXiv preprint. – 2025. – arXiv:2512.01443. – DOI: 10.48550/arXiv.2512.01443.