BACKGROUND: In recent years, neural networks have become an integral part of many fields, including medicine. However, the effectiveness of these models directly depends on the quality of the training data on which they are trained. Creating and maintaining a high-quality training dataset is a critical step in the development process of neural networks.
AIM: The aim of the research is to identify the key characteristics of the training database for the neural network that influence its subsequent sensitivity and specificity.
MATERIALS AND METHODS: A database of verified images of skin neoplasms was created to train a neural network to implement it in large-scale screening examinations. In the first phase of the study, a database was created to train a neural network to classify images of skin neoplasms (NSCa). Between 2017 and 2019, 7,680 digital images were collected from 6,892 patients with verified diagnoses: 5,316 (69,22%) confirmed by pathological examination, and 2,364 (30,78%)) confirmed clinically and dermatoscopically. A dataset containing 7,680 verified clinical images of skin neoplasms was created, and 1,680 images constituted the test sample for analyzing the model's effectiveness. The performance indicators of NSCa were as follows: sensitivity (Se): 70.47%; specificity (Sp): 79.86%; diagnostic accuracy (Ac): 74.68%. Due to the low sensitivity and specificity rates, the following steps were taken: (1) an additional round of training was conducted; (2) image quality control methods were developed; (3) a detection neural network was created, and (4) a new neural (NSCb) was established.
RESULTS: The neural network, trained on a verified dataset of clinical images of benign and malignant skin neoplasms and having undergone multiple rounds of training, operates with a sensitivity of 85.32–86.97% and a specificity of 87.59–88.92%. These rates exceed the sensitivity and specificity of skin neoplasm diagnoses made by non-oncological specialists using the naked eye, allowing for the use of this method in population screening. Following the retraining of the neural network and the establishment of NSCb, the creation of neural network, and the development of image quality control methods, an increase in the sensitivity and specificity of the neural network's performance was observed.
CONCLUSION: The use of artificial intelligence as a physician's assistant imposes quite high requirements on the performance parameters of the neural network. Mechanical learning, even on a large volume of verified data, did not achieve the desired results. The sequential work aimed at improving the parameters involved conducting an additional round of training, developing image quality control methods, and creating a detection neural network and a classification neural network. As a result, the trained neural network operates with a sensitivity of 85.32% to 86.97% and a specificity of 87.59% to 88.92%, which has enabled the use of the trained neural network as a tool for population screening.
Обоснование. В последние годы нейросети стали неотъемлемой частью многих областей, включая медицину, однако эффективность этих моделей напрямую зависит от качества базы, на которой они обучаются. Создание и поддержание качественной обучающей базы является критически важным этапом в процессе разработки нейросетей.
Цель исследования ― определить этапы обучения нейросетей для достижения высокой чувствительности и специфичности их работы в области распознавания новообразований кожи.
Материалы и методы. На первом этапе исследования сформирована база данных фотографических изображений новообразований кожи для первичного обучения нейросети классификации изображений. С этой целью в период с 2017 по 2019 год собрано 7680 цифровых изображений от 6892 пациентов с диагнозами, верифицированными с помощью патоморфологического исследования в 5316 (69,22%) случаях, с помощью дерматоскопического и клинического исследования ― в 2364 (30,78%). Создан массив данных (датасет) из 7680 верифицированных клинических изображений новообразований кожи, из них 1680 изображений составили тестовую выборку для анализа эффективности модели. Показатели эффективности нейросети классификации «а» (НСКа): чувствительность (Se) 70,47%; специфичность (Sp) 79,86%; диагностическая точность (Ac) 74,68%. В связи с низкими показателями чувствительности и специфичности был проведён дополнительный раунд обучения; разработаны методы контроля качества изображения; созданы нейросеть детекции и нейросеть классификации «б» (НСКб) после второго раунда обучения нейросети.
Результаты. Нейросеть, обученная на верифицированном наборе клинических изображений доброкачественных и злокачественных новообразований кожи и прошедшая раунды обучения, работает с чувствительностью 85,32–86,97% и специфичностью 87,59–88,92%, что превышает чувствительность и специфичность диагностики новообразований кожи врачами неонкологических специальностей при обследовании невооружённым глазом и позволяет предложить данный инструмент для проведения популяционного скрининга. После дообучения нейросети, создания НСКб и нейросети детекции, разработки методов контроля качества изображения наблюдался рост показателей чувствительности и специфичности работы нейросети.
Заключение. Использование искусственного интеллекта в качестве помощника врача предъявляет достаточно высокие требования к параметрам работы нейросети. Механическое обучение даже на большом объёме верифицированных данных не позволило достичь желаемых результатов. Для улучшения параметров выполнен дополнительный раунд обучения, разработаны методы контроля качества изображения, созданы нейросети детекции и второй НСКб. В результате обученная нейросеть имеет чувствительность 85,32–86,97% и специфичность 87,59–88,92%, что позволяет предложить её в качестве инструмента для популяционного скрининга.