Адаптивный метод выбора базисных функций сетей Колмогорова–Арнольда для задачи улучшения изображений магнитно-резонансной томографии

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

В данной работе исследуется возможность улучшения качества обработки изображений магнитно-резонансной томографии на основе использования сетей Колмогорова–Арнольда для фильтрации глобальных признаков сверточной нейронной сети. Недавно предложенные модели Колмогорова–Арнольда мотивированы одноименной теоремой из анализа действительного переменного и теории приближений о том, что каждая многомерная непрерывная функция на компакте может быть представлена в виде суперпозиции непрерывных функций одной переменной. Необходимость применения градиентного спуска при обучении накладывает ограничение дифференцируемости на параметризацию таких одномерных функций, так что на практике они часто ищутся в виде линейной комбинации B-сплайнов или других дифференцируемых базисных функций. В настоящем исследовании мы предлагаем метод адаптивного отбора базисных функций самой моделью в ходе обучения из заранее зафиксированной пользователем системы базисов. Предлагаемый подход основан на механизме внимания, успешно применяющемся в трансформерных сетях. В данной работе метод протестирован на задаче улучшения качества изображений магнитно-резонансной томографии на датасете IXI и демонстрирует лучшие средние значения PSNR и TV по тестовому набору данных. Не ограничивая общности, в систему базисных функций были включены: B-сплайны, полиномы Чебышева и функции Эрмита.

Полный текст

Доступ закрыт

Об авторах

М. А. Пенкин

Факультет вычислительной математики и кибернетики Московский государственный университет имени М. В. Ломоносова

Автор, ответственный за переписку.
Email: penkin97@gmail.com
Россия, 119991 Москва, Ленинские горы, д. 1, стр. 52

А. С. Крылов

Факультет вычислительной математики и кибернетики Московский государственный университет имени М. В. Ломоносова

Email: kryl@cs.msu.ru

лаборатория математических методов обработки изображений

Россия, 119991 Москва, Ленинские горы, д. 1, стр. 52

Список литературы

  1. Smith T. B. MRI Artifacts and Correction Strategies // Imaging in Medicine. 2010. V. 2. № 4. 445 p.
  2. Senyukova O., Zubov A. Full Anatomical Labeling of Magnetic Resonance Images of Human Brain by Registration with Multiple Atlases // Programming and Computer Software. 2016. V. 46. № 6. P. 356–360.
  3. Gray A., Pinsky M. Gibbs Phenomenon for Fourier-Bessel Series. Expos. Math. 11, 1993. 123 p.
  4. Penkin M., Krylov A., Khvostikov A. Hybrid Method for Gibbs-ringing Artifact Suppression in Magnetic Resonance Images // Programming and Computer Software. 2021. V. 47. № 3. P. 207–214.
  5. Penkin M., Khvostikov A., Krylov A. Automated Method for Optimum Scale Search when Using Trained Models for Histological Image Analysis // Programming and Computer Software. 2023. V. 49. № 3. P. 172–177.
  6. Zhang Y., Yu H. Convolutional Neural Network based Metal Artifact Reduction in X-Ray Computed Tomography // IEEE transactions on medical imaging. 2018. V. 37. № 6. P. 1370–1381.
  7. Penkin M., Krylov A. Medical Image Joint Deringing and Denoising using Fourier Neural Operator // Proceedings of the 2023 8th International Conference on Biomedical Imaging, Signal Processing. 2023. P. 40–45.
  8. Liu Z., Wang Y., Vaidya S., Ruehle F., Halverson J., Soljačić M., Hou T.Y., Tegmark M. KAN: Kolmogorov–Arnold Networks // arXiv preprint arXiv:2404.19756. 2024.
  9. Seydi S.T. Exploring the Potential of Polynomial Basis Functions in Kolmogorov–Arnold Networks: A Comparative Study of Different Groups of Polynomials // arXiv preprint arXiv:2406.02583. 2024.
  10. Vaswani A. Attention Is All You Need // Advances in Neural Information Processing Systems. 2017.
  11. Girosi F., Poggio T. Representation Properties of Networks: Kolmogorov’s Theorem is Irrelevant // Neural Computation. 1989. V. 1. № 4. P. 465–469.
  12. Somvanshi S., Javed S.A., Islam M.M., Pandit D., Das S. A Survey on Kolmogorov–Arnold Network // arXiv preprint arXiv:2411.06078. 2024.
  13. Li Z. Kolmogorov–Arnold Networks are Radial Basis Function Networks // arXiv preprint arXiv:2405.06721. 2024.
  14. Bozorgasl Z., Chen H. WAV–KAN: Wavelet Kolmogorov–Arnold Networks // arXiv preprint arXiv:2405.12832. 2024.
  15. Sidharth S.S., Keerthana A.R., Anas K.P. Chebyshev Polynomial-based Kolmogorov–Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation // arXiv preprint arXiv:2405.07200. 2024.
  16. Abueidda D.W., Pantidis P., Mobasher M.E. DeepOKAN: Deep Operator Network based on Kolmogorov–Arnold Networks for Mechanics Problems // Computer Methods in Applied Mechanics and Engineering. 2025. V. 436. № 4. 117699 p.
  17. Li C., Liu X., Li W., Wang C., Liu H., Liu Y., Chen Z., Yuan Y. U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation // arXiv preprint arXiv:2406.02918. 2024.
  18. Penkin M., Krylov A. Kolmogorov–Arnold Networks as Deep Feature Extractors for MRI Reconstruction // Proceedings of the 2023 8th International Conference on Biomedical Imaging, Signal Processing. ACM. 2024. P. 40–45.
  19. Lei Ba J., Kiros J.R., Hinton G.E. Layer Normalization // ArXiv e-prints. 2016. 1607 p.
  20. Duta I.C., Liu L., Zhu F., Shao L. Improved Residual Networks for Image and Video Recognition // 2020 25th International Conference on Pattern Recognition (ICPR). 2021. P. 9415–9422.
  21. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization // arXiv preprint arXiv:1412.6980. 2014.
  22. Kellner E., Dhital B., Kiselev V.G., Reisert M. Gibbs‐ringing artifact removal based on local subvoxel‐shifts // Magnetic resonance in medicine. 2016. V. 76. № 5. P. 1574–1581.
  23. Boyd J.P. Chebyshev and Fourier Spectral Methods // Courier Corporation. 2001.
  24. Krylov A., Korchagin D. Fast Hermite Projection Method // International Conference Image Analysis and Recognition. Springer. 2006. P. 329–338.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. (а) – Т1-взвешенное МРТ-изображение мозга в низком разрешении (64 × 64), (б) – результат работы алгоритма улучшения качества МРТ-изображений (подавление осцилляций Гиббса, размытия и шума), (в) – осцилляции Гиббса на ступенчатой функции, симулирующей резкий контур на изображении.

Скачать (916KB)
Метаданные
3. Рис. 2. Схема сети Колмогорова–Арнольда.

Скачать (1MB)
Метаданные
4. Рис. 3. Схема предлагаемой архитектуры с адаптивным выбором базисных функций сетей Колмогорова–Арнольда (MBA–KAN).

Скачать (1MB)
Метаданные
5. Рис. 4. Диаграмма рассеяния средних значений PSNR и полной вариации по 2617 тестовым изображениям в зависимости от выбранной архитектуры фильтра глубоких признаковых описаний сверточной нейронной сети.

Скачать (395KB)
Метаданные

© Российская академия наук, 2025