SCR-АНАЛИЗ СКВОЗНОЙ ОБЪЯСНИМОСТИ В AUTOML И AUTOXAI И СИНЕРГИЧЕСКОЕ ОБОСНОВАНИЕ АРХИТЕКТУРНОЙ ИНТЕГРАЦИИ

УДК 004.891.3
DOI: 10.36871/26189976.2026.01-2.005

Авторы

Юрий Владиславович Трофимов,
Объединенный институт ядерных исследований, Дубна, Россия; Государственный университет «Дубна», Дубна, Россия
Алексей Николаевич Аверкин,
Государственный университет «Дубна», Дубна, Россия
Елизавета Сергеевна Кондрашова,
Государственный университет «Дубна», Дубна, Россия
Александр Дмитриевич Лебедев,
Государственный университет «Дубна», Дубна, Россия
Михаил Дмитриевич Лебедев,
Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский технологический университет «МИСИС», Москва, Россия

Аннотация

Автоматизированное машинное обучение (AutoML) в последние годы активно развивается и расширяет область практического применения, однако рост уровня автоматизации сопровождается усилением проблемы прозрачности, формируя феномен «двойной непрозрачности» — модели и процедуры её выбора. Методы объяснимого искусственного интеллекта (XAI) преимущественно применяются постфактум и не интегрированы в оптимизационный контур AutoM L. В работе выполнен структурированный обзор исследований на пересечении AutoML и XAI, направленный на систематизацию существующих интеграций и выявление архитектурных ограничений. Поиск публикаций за 2015–2026 гг. проведён в базах Scopus, Web of Science, eLibrary, IEEE Xplore, ACM Digital Library, PubMed и arXiv в соответствии с PRISMA-ScR. Показано, что доминирует последовательная схема «AutoML → модель → XAI», в которой интерпретируемость не участвует в управлении оптимизацией. Выделены ключевые пробелы: отсутствие синергетической оркестрации, невключение объяснимости в целевую функцию и отсутствие механизма обратной связи. Сформулированы архитектурные требования к системам AutoXAI, предполагающие многокритериальную оптимизацию, двунаправленную связность компонентов, учёт вычислительной стоимости объяснений и обеспечение трассируемости решений.

Ключевые слова

автоматизированное машинное обучение
объяснимый искусственный интеллект
AutoXAI
двойная непрозрачность
многокритериальная оптимизация
синергетическая оркестрация
обратная связь
интерпретируемость моделей

Список литературы

[1] Aliev R. A., Averkin A. About Valery Borisovich Tarasov (16.02.1955–22.07.2021) // Lecture Notes in Networks and Systems: 11th International Conference on Theory and Application of Soft Computing, Computing with Words and Perceptions (ICSCCW‑2021). — Cham: Springer, 2022. — Vol. 362. — P. 3–5. — DOI: 10.1007/978- 3-030-92127-9_3. — URL: https://doi.org/10.1007/978–3–030–92127–9_3 (дата обращения: 20.02.2026).
[2] Alsharef A. et al. Automated Machine Learning: A Survey of Tools and Techniques // Journal of Industrial Engineering and Applied Science.—2024.—Vol. 2, No. 6.—P. 71–76.—DOI: 10.70393/6a69656173.323336.—URL: https://doi.org/10.70393/6a69656173.323336 (дата обращения: 20.02.2026).
[3] Alvarez-Melis D., Jaakkola T. S. On the Robustness of Interpretability Methods // arXiv. — 2018.—arXiv:1806.08049.—URL: https://arxiv.org/abs/1806.08049 (дата обращения: 20.02.2026).
[4] Bahador T. et al. xAutoML: Explainable Automated Machine Learning for Smart Manufacturing // arXiv. — 2024. — arXiv:2403.12381. — URL: https://arxiv.org/abs/2403.12381 (дата обращения: 18.02.2026).
[5] Balluff B. et al. Automated Machine Learning and Explainable AI (AutoML–XAI) for Metabolomics // Journal of the American Society for Mass Spectrometry.—2024.—PMCID: PMC11157651.—URL: https://pmc.ncbi.nlm.nih.gov/articles/PMC11157651/ (дата обращения: 18.02.2026).
[6] Bhatt U. et al. Explainable Machine Learning in Deployment // Proceedings of the ACM Conference on Fairness, Accountability, and Transparency (FAccT).—2020.—P. 648–657.— URL: https://arxiv.org/abs/2106.07758 (дата обращения: 18.02.2026).
[7] Cofaru C., Loeckx J. A Knowledge-Driven AutoML Architecture // arXiv. — 2023.—arXiv:2311.17124.—URL: https://arxiv.org/abs/2311.17124 (дата обращения: 20.02.2026).
[8] Cugny R., Aligon J., Chevalier M., Roman Jimenez G., Teste O. Why Should I Choose You? AutoXAI: A Framework for Selecting and Tuning eXplainable AI Solutions // Proceedings of the 31st ACM International Conference on Information & Knowledge Management (CIKM). — 2022. — P. 3429–3433. — DOI: 10.1145/3511808.3557247. — URL: https://doi.org/10.1145/3511808.3557247 (дата обращения: 20.02.2026).
[9] Dhiman A. et al. Automated Machine Learning in Medical Research: A Systematic Review // Artificial Intelligence in Medicine. — 2025. — DOI: 10.1016/j.artmed.2025.102994. — URL: https://www.sciencedirect.com/science/article/abs/pii/S0933365725002374 (дата обращения: 18.02.2026).
[10] Doshi-Velez F., Kim B. Towards a rigorous science of interpretable machine learning // arXiv preprint. 2017. arXiv:1702.08608. https://doi.org/10.48550/arXiv.1702.08608.
[11] Eldeeb T. et al. AutoMLBench: A Comprehensive Experimental Evaluation of Automated Machine Learning Frameworks // Expert Systems with Applications. — 2023. — DOI: 10.1016/j.eswa.2023.122679. — URL: https://arxiv.org/abs/2204.08358 (дата обращения: 18.02.2026).
[12] Elsken T., Metzen J. H., Hutter F. Neural Architecture Search: A Survey // Journal of Machine Learning Research.—2019.—Vol. 20, No. 55.—P. 1–21.—URL: https://jmlr.org/papers/ v20/18–598.html (дата обращения: 20.02.2026).
[13] Erickson N., Mueller J., Shirkov A., Zhang H., Larroy P., Li M., Smola A. AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data // arXiv.—2020.—arXiv:2003.06505.— URL: https://arxiv.org/abs/2003.06505 (дата обращения: 20.02.2026).
[14] FEDOT. Welcome to FEDOT’s documentation! [Электронный ресурс].—Режим доступа: https://fedot.readthedocs.io/en/latest/ (дата обращения: 25.02.2026).
[15] Fel T. et al. A Framework for Systematic Assessment of XAI Methods // arXiv. — 2025.—arXiv:2506.13917.—URL: https://arxiv.org/abs/2506.13917 (дата обращения: 18.02.2026).
[16] Gulum M., Trombley C., Kantardzic M. Unlocking the Black Box: A Comprehensive Visualization and Explainability Review for Deep Learning Models in Medical Imaging // Neural Computing and Applications. — 2024. — DOI: 10.1007/s00521-024-10437-2. — URL: https://doi.org/10.1007/s00521–024–10437–2 (дата обращения: 20.02.2026).
[17] H2O.ai. Generate Model Explanations—h2o.explain (R API reference) [Электронный ресурс]. — Режим доступа: https://docs.h2o.ai/h2o/latest-stable/h2o-r/docs/reference/ h2o.explain.html (дата обращения: 25.02.2026).
[18] H2O.ai. H2O AutoML: Automatic Machine Learning [Электронный ресурс].—Режим доступа: https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html (дата обращения: 25.02.2026).
[19] H2O.ai. Model Explainability (Explainability Interface) [Электронный ресурс]. —Режим доступа: https://docs.h2o.ai/h2o/latest-stable/h2o-docs/explain.html (дата обращения: 25.02.2026).
[20] Hutter F., Kotthoff L., Vanschoren J. Automated Machine Learning: Methods, Systems, Challenges. — Springer, 2019. — URL: https://arxiv.org/abs/1810.13306 (дата обращения: 18.02.2026).
[21] Jansen L. et al. XAutoML: A Visual Analytics Tool for Understanding and Validating Automated Machine Learning // arXiv. — 2022. — arXiv:2202.11954. — URL: https://arxiv.org/ abs/2202.11954 (дата обращения: 18.02.2026).
[22] Karpov V. E., Tarassov V. B. Synergetic Artificial Intelligence and Social Robotics // Proceedings of the Russian Conference on Artificial Intelligence. — Москва: Курчатовский институт; МГТУ им. Баумана, 2017. — URL: https://docslib.org/doc/1723900/ synergetic-artificial-intelligence-and-social-robotics (дата обращения: 18.02.2026).
[23] Kozodoi N. et al. Explainable Automated Machine Learning for Credit Decisions // arXiv.— 2024.—arXiv:2402.03806.—URL: https://arxiv.org/abs/2402.03806 (дата обращения: 18.02.2026).
[24] Lipton Z. C. The mythos of model interpretability // Communications of the ACM. 2018. Vol. 61, no. 10. P. 36–43. https://doi.org/10.1145/3233231.
[25] Liu H., Simonyan K., Yang Y. DARTS: Differentiable Architecture Search // arXiv. — 2018.—arXiv:1806.09055.—URL: https://arxiv.org/abs/1806.09055 (дата обращения: 20.02.2026).
[26] Lundberg S. M., Lee S.-I. A Unified Approach to Interpreting Model Predictions // Advances in Neural Information Processing Systems (NeurIPS).—2017.—Vol. 30.—URL: https:// arxiv.org/abs/1705.07874 (дата обращения: 18.02.2026).
[27] Mumuni F., Mumuni A. Explainable Artificial Intelligence (XAI): From Inherent Explainability to Large Language Models // arXiv. — 2025. — arXiv:2501.09967. — URL: https://arxiv. org/abs/2501.09967 (дата обращения: 18.02.2026).
[28] Nararatwong R. et al. Democratize with Care: The Need for Fairness-Specific Features in Open Source AutoML Tools // arXiv. — 2023. — arXiv:2312.12460. — URL: https://arxiv. org/abs/2312.12460 (дата обращения: 18.02.2026).
[29] Pereira A. C. G. F., Maciel A. M. A. Integration of an Explainable Dashboard to Enhance AutoML Transparency // Proceedings of 20th Iberian Conference on Information Systems and Technologies (CISTI 2025). Lecture Notes in Networks and Systems. — Cham: Springer, 2026.—Vol. 1717.—P. 725–736.—DOI: 10.1007/978-3-032-10721-3_62.—URL: https:// doi.org/10.1007/978–3–032–10721–3_62 (дата обращения: 18.02.2026).
[30] Pham H., Guan M. Y., Zoph B., Le Q. V., Dean J. Efficient Neural Architecture Search via Parameter Sharing // Proceedings of the 35th International Conference on Machine Learning (ICML 2018). — 2018. — P. 4095–4104. — URL: https://proceedings.mlr.press/ v80/pham18a.html (дата обращения: 20.02.2026).
[31] Real E., Aggarwal A., Huang Y., Le Q. V. Regularized Evolution for Image Classifier Architecture Search // Proceedings of the AAAI Conference on Artificial Intelligence (AAAI). — 2019.—URL: https://ojs.aaai.org/index.php/AAAI/article/view/4405 (дата обращения: 20.02.2026).
[32] Renda A. et al. eXplainable Artificial Intelligence: A Systematic Review of Q1 Publications // PubMed Central (PMC). — 2025. — PMCID: PMC12609895. — URL: https://pmc.ncbi. nlm.nih.gov/articles/PMC12609895/ (дата обращения: 18.02.2026).
[33] Ribeiro M. T., Singh S., Guestrin C. “Why Should I Trust You?” Explaining the predictions of any classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. P. 1135–1144. https://doi. org/10.1145/2939672.2939778.
[34] Rinaldi A. et al. Automated Machine Learning and Explainable AI for Cancer Metabolomics // PubMed Central (PMC). — 2023. — PMCID: PMC10634896. — URL: https://pmc.ncbi. nlm.nih.gov/articles/PMC10634896/ (дата обращения: 18.02.2026).
[35] Rudin C. et al. Interpretable Machine Learning: Fundamental Principles and 10 Grand Challenges // Statistics Surveys.—2022.—Vol. 16.—P. 1–85.—DOI: 10.1214/21-SS133.— URL: https://doi.org/10.1214/21-SS133 (дата обращения: 20.02.2026).
[36] Rudin C. Stop explaining black box machine learning models for high- stakes decisions and use interpretable models instead // Nature Machine Intelligence. 2019. Vol. 1, No. 5. P. 206–215. https://doi.org/10.1038/s42256–019–0048‑x.
[37] Saborido J. R. et al. AutoXAI4Omics: An Automated Explainable AI Tool for Omics and Tabular Data // Briefings in Bioinformatics.—2025.—Vol. 26, No. 1.—DOI: 10.1093/bib/ bbae593.—URL: https://doi.org/10.1093/bib/bbae593 (дата обращения: 20.02.2026).
[38] Sakpere A. B., Aworinde H. O., Afe O. F., Adebayo S., Adeniyi A. E., Aroba O. J. Exploring User Adoption and Experience of Automated Machine Learning Platforms with a Focus on Learning Curves, Usability, and Design Considerations // The Open Biomedical Engineering Journal. — 2025. — Vol. 19. — DOI: 10.2174/0118741207395767250818130213. — URL: https://doi.org/10.2174/0118741207395767250818130213 (дата обращения: 20.02.2026).
[39] Salih A. et al. A Perspective on Explainable Artificial Intelligence Methods: SHAP and LIME // Advanced Intelligent Systems.—2024.—DOI: 10.1002/aisy.202400304.—URL: https:// arxiv.org/abs/2305.02012 (дата обращения: 18.02.2026).
[40] Schnake T. et al. Towards Symbolic XAI: Explanation Through Human Understandable Logical Relationships Between Features // arXiv. — 2024. — arXiv:2408.17198. — URL: https:// arxiv.org/abs/2408.17198 (дата обращения: 18.02.2026).
[41] Seifert M. et al. Explainable Artificial Intelligence in Bioinformatics: Applications, Evaluation, and Challenges // Briefings in Bioinformatics.—2025.—PMC11782883.—URL: https:// pmc.ncbi.nlm.nih.gov/articles/PMC11782883/ (дата обращения: 18.02.2026).
[42] Shawi R. E., Jamel L. AutoXAI: A Meta-Learning Approach for Recommendation of Explanation Techniques // Scientific Reports.—2025.—Vol. 15.—Art. 41912.—DOI: 10.1038/s41598- 025-25872-x.—URL: https://doi.org/10.1038/s41598–025–25872‑x (дата обращения: 20.02.2026).
[43] Shi X., Liang W., Wu A. AutoML in The Wild: Obstacles, Workarounds, and Expectations // Proceedings of the CHI Conference on Human Factors in Computing Systems. — 2023. — DOI: 10.1145/3544548.3581082.—URL: https://arxiv.org/abs/2302.10827 (дата обращения: 18.02.2026).
[44] Speith T., Langer M. A. Review of the Role of Causality in Developing Trustworthy AI Systems // International Journal of Information Management.—2022.—DOI: 10.48550/ arXiv.2206.10610. — URL: https://arxiv.org/abs/2206.10610 (дата обращения: 18.02.2026).
[45] Syed M. et al. Neuro-Symbolic Artificial Intelligence for IoT Applications: Trustworthy and Interpretable Systems // Sensors.—2025.—PMCID: PMC12663536.—URL: https://pmc. ncbi.nlm.nih.gov/articles/PMC12663536/ (дата обращения: 18.02.2026).
[46] Tricco A. C., Lillie E, Zarin W, et al. PRISMA Extension for Scoping Reviews (PRISMA-ScR): Checklist and Explanation. Ann Intern Med. 2018;169(7):467–473. Доступно онлайн: Scoping—PRISMA statement
[47] Trofimov Y. V., Averkin A. N. The Relationship between Trusted Artificial Intelligence and XAI 2.0: Theory and Frameworks // Soft Measurements and Computing. — 2025. — Vol. 90, No. 5. — P. 68–84. — DOI: 10.36871/2618-9976.2025.05.006. — URL: https://doi. org/10.36871/2618–9976.2025.05.006 (дата обращения: 20.02.2026).
[48] Zhang Z. et al. UniAutoML: A Human-Centered Framework for Unified Discriminative and Generative AutoML with Large Language Models // arXiv.—2024.—arXiv:2410.12841.— URL: https://arxiv.org/abs/2410.12841 (дата обращения: 18.02.2026).