Full Text

Введение Искусственные нейронные сети (ИНС) продолжают оставаться одними из наиболее популярных и эффективных средств моделирования и анализа сложных систем. Однако для достижения высокого уровня точности ИНС, несмотря на различные варианты их структур, от простого однослойного персептрона до сложной глубокой рекуррентной сети, необходим достаточно большой набор исходных данных для обучения, валидации и тестирования. На практике не всегда удается сформировать большой объем данных. Последнее обстоятельство наиболее часто встречается в медицинских исследованиях. Ограниченность исходных медицинских данных частично объясняется этическими требованиями, так как пациенты или их законные представители должны дать согласие на использование их медицинских данных для научных целей и публикации в открытой печати. Например, в работе [1] исследователям потребовалось пять лет на сбор данных о 81 пациенте, включая 59 больных с клинически подтвержденной болезнью Альцгеймера и 22 пожилых пациентах, не имеющим проблем с когнитивными способностями. Несмотря на сложность и высокую трудоемкость получения исходных медицинских данных, ИНС активно используются в этой области [2; 3], в частности для диагностики сердечно-сосудистых заболеваний [4-7], дисбактериоза кишечника [8], онкологических заболеваний и причин возникновения раковых опухолей [9-11], при моделировании прогноза исхода заболевания и вероятности рецидива опухоли [11-13]. В [14] предлагается использовать сверточные нейронные сети для автоматической сегментации отека у пациентов с внутримозговым кровоизлиянием. В [15] модели глубокого обучения используются для анализа осложнений отека мозга, вызванного лучевой терапией, у пациентов с внутричерепной опухолью. В [16] исследовался вопрос об эффективности предобработки данных для обучения ИНС, которая могла бы применяться при диагностике болезни Альцгеймера. Под предобработкой подразумевался выбор наиболее существенных переменных и идентификация корня принятия решений (КПР), который, в свою очередь, представим в нейросетевой интерпретации. С помощью методов системно-когнитивного анализа (СКА) из 10 вен головного мозга было выбрано четыре, которые использовались в качестве входных сигналов для обучения нейронных сетей. В результате исследования была получена серия нейронных сетей, обладающих высокой степенью достоверности. Нейронные сети отличались друг от друга количеством скрытых слоев и количеством нейронов на скрытых слоях. В ходе обсуждения этих результатов на научных семинарах и конференциях была высказана гипотеза о возможности обнаружения количественной связи между исследуемыми показателями без какой-либо предварительной обработки данных. Это обстоятельство определило цель настоящей работы - оценить качество ИНС, обученных на основе исходных данных всех 10 вен головного мозга и установить связь между болезнью Альцгеймера и величиной магнитной восприимчивости (MSV) вен головного мозга (на примере 81 пациента) при сохранении конфигурации скрытых слоев ИНС. Стоит отметить, что в работе [16] представлены только лучшие результаты обучения ИНС из многократно проведенных экспериментов с использованием нейронных сетей как с одним, так и с двумя скрытыми слоями. Поэтому в настоящей работе демонстрируются показатели качества всех 2400 ИНС, обученных с предварительной обработкой данных, среди которых было семь нейронных сетей с одним скрытым слоем и девять нейронных сетей с двумя скрытыми слоями, для каждой из которых проводилось по 150 экспериментов. Для достижения цели настоящей работы и сравнения результатов приводятся показатели качества 800 ИНС, обученных без предварительной обработки данных, среди которых было также семь ИНС с одним скрытым слоем и девять ИНС с двумя скрытыми слоями, для каждой из которых проводилось по 50 экспериментов. Для оценки качества ИНС использованы следующие показатели: средние квадратические ошибки обучения и обобщения (тестирования), коэффициенты детерминации (R2) на множествах значений, используемых при обучении и при обобщении (тестировании), а также число обученных ИНС, удовлетворяющих определенному значению использованных выше показателей. Для средней квадратической ошибки обучения и обобщения (тестирования) критерием качества выбрано 20 %, для R2 - 0,7. Данные и методы Исходными медицинскими данными стали сведения о 81 пациенте, приведенные в приложении к работе [1]. Пациенты были обследованы с помощью мини-тестирования психического состояния (MMSE), Монреальского когнитивного теста (MoCA), задачи рисования часов (CDT) и шкалы активности повседневной жизни (ADL). Болезнь Альцгеймера была клинически диагностирована у 59 человек (21 мужчина и 38 женщин), включенные в группу AD (пациенты, имеющие болезнь Альцгеймера). 22 пациента (12 мужчин, 10 женщин), не имеющие проблем с когнитивными способностями, были включены в контрольную группу (группа CON). В табл. 1 приведен фрагмент исходного набора данных, в котором содержатся значения MSV базальных вен левого и правого полушария головного мозга (L_BV и R_BV соответственно), внутренних мозговых вен левого и правого полушария головного мозга (L_ICV, R_ICV соответственно), вен таламуса левого и правого полушария головного мозга (L_TV, R_TV соответственно), перегородочных вен левого и правого полушария головного мозга (L_SV, R_SV соответственно), вен зубчатого ядра левого и правого полушария головного мозга (L_DNV, R_DNV). Таблица 1 Фрагмент исходных данных MSV головного мозга1 Субъект (пациент) Группа L_BV R_BV L_ICV R_ICV L_TV R_TV L_SV R_SV L_DNV R_DNV sub001 1 279 288 255 263 140 138 131 131 165 185 sub002 1 274 247 223 243 239 262 190 222 204 102 . . . sub080 0 249 232 221 232 154 142 165 151 161 143 sub081 0 300 259 295 299 216 197 163 131 162 129 Примечание: 1 - в этой таблице в столбце «Группа» 1 обозначает AD-группу, 0 - CON-группу. В текущей работе предложено оценить качество ИНС, обученных на основе всех исходных данных о 10 венах головного мозга (L_BV, R_BV, L_ICV, R_ICV, L_TV, R_TV, L_SV, R_SV, L_DNV, R_DNV) при сохранении конфигурации скрытых слоев ИНС и алгоритма обучения таких сетей, как и в работе [16]. Для построения архитектуры ИНС, обучения и тестирования был выбран «Нейросимулятор 5.0» [17]. Хочется отдельно отметить данный нейропакет ввиду его доступного для понимания пользовательского интерфейса и при этом достаточно хорошего функционала. Данный пакет позволяет без навыков программирования и знаний специализированных математических пакетов обработки информации (MATLAB, Maple, STATISTICA и др.) провести нейросетевое моделирование с выбором архитектуры ИНС (рис. 1) и алгоритма обучения. а б Рис. 1. Пример графического представления выбора структуры полносвязных ИНС, реализуемых в нейропакете «Нейросимулятор 5.0» с 10 входными сигналами и одним выходным сигналом: a - ИНС с одним скрытым слоем и 5 нейронами на скрытом слое, б - ИНС с двумя скрытыми слоями и 5 нейронами на первом и 10 нейронами на втором скрытых слоях Для ИНС с одним скрытым слоем и 5 нейронами на скрытом слое (см. рис. 1, а) общее число нейронов равняется 16, число связей определено на уровне 55 (+6 смещений), для ИНС с двумя скрытыми слоями и 5 нейронами на первом и 10 нейронами на втором скрытых слоях общее число нейронов на всех слоях равняется 25, число связей определено на уровне 110 (+ 16 смещений) (см. рис. 1, б). Однако «Нейросимулятор 5.0» не позволяет обеспечить неполносвязность в узлах ИНС, что является важным критерием при использовании ИНС класса Decision's-Root-based Neural Network [16]. Поэтому как отмечено в [16], ООО «Пермский центр поддержки принятия решений» разрабатывает компьютерное программное обеспечение типа SaaS, для анализа данных, в частности, для возможности нейросетевого моделирования сетей класса Decision's-Root-based Neural Network. Строгой теории выбора оптимального количества скрытых слоев и нейронов в скрытых слоях пока не существует. Поэтому выбор структур ИНС, что в работе [16], что в текущем исследовании, не противоречит тем подходам, в результате которых чаще всего используют персептроны, имеющие один или два скрытых слоя, причем количество нейронов в скрытых слоях обычно колеблется от до [18, с. 137]. Все множество исходных данных о 81 пациенте было разбито на тренировочное (65 примеров) и тестовое (16 примеров) множества в соотношении 80 : 20 %, что является приемлемым согласно [18, с. 143]. В качестве подбора и корректировки синаптических весов нейросетевой модели (цель обучения ИНС) был выбран алгоритм упругого распространения RPROP - Resilent back PROPagation, учитывающий только знак соответствующей составляющей градиента: За активационную функцию нейронов скрытых слоев, входного слоя и выходного слоя был выбран тангенс гиперболический. Результаты и их обсуждение Результаты обучения ИНС без предварительной обработки исходных данных Поскольку на первом шаге обучения синаптические коэффициенты генерируются случайным образом и корректируются в процессе обучения для повышения точности ИНС, качество обучения ИНС следует оценивать не только по лучшей ИНС, а смотреть на все попытки обучить ИНС в целом. Проведя серию из 800 экспериментов в попытке обучить без предварительной обработки данных ИНС на основе всех 10 вен головного мозга в условиях ограниченных данных (65 примеров), обнаружено, что ни одна из обученных на базе 10 вен головного мозга ИНС при тестировании (16 примеров) не соответствует критериям качества обучения ИНС. Ниже (табл. 2) представлены результаты обучения и тестирования ИНС с одним скрытым слоем, где использованы следующие обозначения: в столбце ИНС первое число означает число скрытых слоев, второе число - нейронов на скрытом слое. Таблица 2 Сводная таблица результатов обучения полносвязных нейронных сетей с одним скрытым слоем и десятью входными сигналами ИНС Кол-во ИНС Средняя кв. ошибка обучения (левая ось) Средняя кв. ошибка обобщения (правая ось) Кол-во ИНС, R2 Train > 0,7 Кол-во ИНС, R2 Test > 0,7 Кол-во ИНС, cредн. кв. отн._Train (%) < 20 % Кол-во ИНС, cредн. кв. отн._Test (%) <20 % 1-5 50 0,910 12,185 50 0 45 0 1-10 50 0,460 7,497 50 0 49 0 1-15 50 0,354 7,624 50 0 49 0 1-20 50 0,314 10,545 50 0 50 0 1-25 50 0,300 9,901 50 0 49 0 1-27 50 0,237 10,341 50 0 50 0 1-30 50 0,033 16,103 50 0 45 0 На рис. 2 видно, что при увеличении количества нейронов на единственном срытом слое ИНС обучалась лучше, при этом изменение средней квадратической ошибки обобщения (тестирования) ведет себя немонотонно. Рис. 2. Средние квадратические ошибки обучения и обобщения (тестирования) полносвязных ИНС с одним скрытым слоем с различным числом нейронов на скрытом слое Для наглядного представления результатов многократных экспериментов по обучению и тестированию ИНС предложен новый вид столбчатой диаграммы, позволяющей графически показать качество обучения ИНС. С одной стороны, предлагаемая диаграмма одновременно демонстрирует два показателя: ось значений средней квадратической ошибки обобщения (тестирования) соответствует левой оси, ось значений коэффициента детерминации (R2), используемых при обобщении (тестировании), соответствует правой оси. С другой стороны, диаграмма имеет цветовое форматирование: столбцы, соответствующие ИНС, удовлетворяющим критериям качества, выделяются зеленым цветом, не соответствующие - красным. Таким образом, аналитик данных сразу может видеть, насколько легко получить качественную ИНС при выбранной конфигурации. Предлагаемые столбчатые диаграммы для ИНС с одним скрытым слоем и с различным числом нейронов на скрытых слоях приведены ниже (рис. 3). Рис. 3. Графическое представление (а - ж) результатов нейросетевого моделирования полносвязных ИНС с одним скрытым слоем с различным числом нейронов на скрытом слое Из рис. 3 видно, что ни одна из 350 ИНС с одним скрытым слоем не удовлетворяет заданным критериям качества. Более того, с увеличением нейронов ошибка тестирования у ИНС 1-25, 1-27, 1-30 увеличивается, что видно из рис. 2. Здесь начинает проявляться эффект персонализации нейронов к исходным примерам, поскольку становится сопоставимо количество нейронов на скрытом слое и количество примеров для обучения. Результаты нейросетевого моделирования второй группы ИНС с двумя скрытыми слоями и разным количеством нейронов представлены в табл. 3. В столбце ИНС и далее по тексту используются следующие обозначения: первое число определяет число скрытых слоев, второе число определяет количество нейронов на первом слое, второе число количество нейронов на втором слое. Всего было проведено девять серий экспериментов, в каждом из которых также осуществлялось по 50 попыток обучить ИНС, в которых шаг между количеством нейронами на скрытых слоях разных конфигураций ИНС был выбран на уровне пяти. Таблица 3 Сводная таблица результатов обучения полносвязных нейронных сетей с двумя скрытыми слоями и десятью входными сигналами ИНС Кол-во ИНС Средняя кв. ошибка обучения (левая ось) Средняя кв. ошибка обобщения (правая ось) Кол-во ИНС, R2 Train > 0,7 Кол-во ИНС, R2 Test > 0,7 Кол-во ИНС, cредн. кв. отн._Train (%) < 20 % Кол-во ИНС, cредн. кв. отн._Test (%) < 20 % 2-5-5 50 0,087 11,852 50 0 50 0 2-5-10 50 0,133 8,796 50 0 50 0 2-5-15 50 0,148 8,360 50 0 50 0 2-10-5 50 0,013 11,580 50 0 50 0 2-10-10 50 0,002 8,572 50 0 50 0 2-10-15 50 0,003 8,165 50 0 50 0 2-15-5 50 0,007 11,230 50 0 50 0 2-15-10 50 0,005 8,219 50 0 50 0 2-15-15 50 0,004 7,811 50 0 50 0 На рисунках ниже представлены зависимости средней квадратической ошибки обучения (рис. 4, а) и обобщения (тестирования) (рис. 4, б) ИНС с двумя скрытыми слоями с различным числом нейронов на скрытом слое. Графики представляют собой зависимости изменения средней квадратической ошибки при фиксированном числе нейронов на первом скрытом слое от числа нейронов на втором скрытом слое. Например, график 2-15-N, соответствующий значению по оси абсцисс 2-N-10, соответствует структуре ИНС 2-15-10. а б Рис. 4. Средние квадратические ошибки обучения и обобщения (тестирования) полносвязных ИНС с двумя скрытыми слоем в зависимости от числа нейронов на первом скрытом слое На рис. 5 представлены столбчатые диаграммы для наглядного представления результатов 450 попыток обучить ИНС с двумя скрытыми слоями. Рис. 5. Графическое представление (а - к) результатов нейросетевого моделирования полносвязных ИНС с двумя скрытыми слоями с различным числом нейронов на скрытых слоях Из рисунка (см. рис. 4, б) видно, что при увеличении числа нейронов на втором скрытом слое ошибка обобщения (тестирования) снижается практически одинаково при любом числе нейронов на первом слое. При этом на рисунке (см. рис. 4, а) видно, что при недостаточном числе нейронов на первом скрытом слое ошибка может возрастать даже при обучении. Из рис. 5 видно, что ни одна из 450 ИНС с двумя слоями не удовлетворяет заданным критериям качества, несмотря на их довольно «мягкие» значения. Таким образом, всего из 800 ИНС, обученных без предварительной обработки данных, не удалось получить ни одной ИНС, у которой среднеквадратическая ошибка была бы меньше 20 %, а коэффициент детерминации был бы больше 70 %. Следовательно, высказанная в ходе научных семинаров гипотеза о возможности обучения качественной нейронной сети на основе всех исходных данных без их предварительной обработки не подтвердилась. С другой стороны, напомним: в работе [16] представлены результаты успешного обучения нейронных сетей на этих же исходных данных, которые были предварительно обработаны путем отбора наиболее значимых показателей и определения числа синаптических связей в нейронной сети, основанной на корне принятия решений, который идентифицировался после интервального кодирования исходных данных, что позволило определить конфигурацию полносвязных ИНС с сопоставимым числом синаптических коэффициентов. Нельзя не забыть и тот факт, что в [16] представлены только лучшие результаты обучения, но сохраняется вопрос, насколько легко такие ИНС получить? Поскольку в настоящей работе представлена новая диаграмма, позволяющая наглядно показать результаты многократных обучений, то стоит привести все результаты, а не только лучшие. Это позволит сравнить результаты ИНС и оценить качество получаемых моделей в зависимости от того, была ли проведена предобработка данных или нет. Результаты обучения ИНС с предварительной обработкой исходных данных Ниже демонстрируются показатели качества 2450 обученных ИНС, среди которых было семь нейронных сетей с одним скрытым слоем (табл. 4) и девять нейронных сетей с двумя скрытыми слоями (табл. 5), для каждой из которых проводилось по 150 экспериментов. Таблица 4 Сводная таблица результатов обучения полносвязных нейронных сетей с одним скрытым слоем с четырьмя входными сигналами ИНС Кол-во ИНС Средняя кв. ошибка обучения (левая ось) Средняя кв. ошибка обобщения (правая ось) Кол-во ИНС, R2 Train >0,7 Кол-во ИНС, R2 Test >0,7 Кол-во ИНС, cредн. кв. отн._Train (%) < 20 % Кол-во ИНС, cредн. кв. отн._Test (%) < 20 % 1-5 150 5,399 23,998 18 16 9 8 1-10 150 1,904 21,541 149 13 148 5 1-15 150 1,205 17,682 150 32 150 4 1-20 150 1,001 15,158 150 40 150 14 1-25 150 0,880 16,491 150 33 150 8 1-27 150 0,310 17,626 150 26 150 6 1-30 150 0,388 18,079 150 24 150 1 Из табл. 4 видно, что для каждой конфигурации одного скрытого слоя находятся ИНС, удовлетворяющие заданным в начале исследования критериям качества. Вероятность качественно обучить ИНС с одним скрытым слое выше при 20 нейронах, где также достигается минимальное значение средней квадратической ошибки при обобщении (тестировании), что можно заметить на рис. 6. Там же видно, что средняя квадратическая ошибка обучения снижается по мере роста числа нейронов, что свидетельствует уже о переобучении. Из табл. 5 видно, что для каждой конфигурации двух скрытых слоев также находятся ИНС, удовлетворяющие заданным критериям качества. Вероятность качественно обучить ИНС с двумя скрытыми слоями выше также при 20 нейронах по количеству ИНС удовлетворяющих требованию; по коэффициенту детерминации лидирует ИНС 2-10-10, незначительно ей уступает ИНС 2-5-15, которая, в свою очередь, занимает одну из лидирующих позиций по числу ИНС, удовлетворяющих критерию по среднеквадратической ошибке при обобщении (тестировании), среднее значение которой также одно из самых малых. Рис. 6. Средние квадратические ошибки обучения и обобщения (тестирования) полносвязных ИНС с одним скрытым слоем и четырьмя входными сигналами в зависимости от числа нейронов на скрытом слое Таблица 5 Сводная таблица результатов обучения полносвязных нейронных сетей с двумя скрытыми слоями с четырьмя входными сигналами ИНС Кол-во ИНС Средняя кв. ошибка обучения (левая ось) Средняя кв. ошибка обобщения (правая ось) Кол-во ИНС, R2 Train > 0,7 Кол-во ИНС, R2 Test > 0,7 Кол-во ИНС, cредн. кв. отн._Train (%) < 20 % Кол-во ИНС, cредн. кв. отн._Test (%) < 20 % 2-5-5 150 1,355 22,081 18 18 9 9 2-5-10 150 0,716 24,733 150 14 150 7 2-5-15 150 0,509 23,325 150 17 150 5 2-10-5 150 0,543 23,421 149 21 148 11 2-10-10 150 0,132 17,886 150 26 150 8 2-10-15 150 0,060 20,492 149 21 145 7 2-15-5 150 0,173 17,049 150 24 150 11 2-15-10 150 0,057 17,221 150 16 150 6 2-15-15 150 0,020 16,649 150 19 150 5 Сравнивая данные табл. 4 и 5, видим, что вероятность получить качественно обученную ИНС с одним скрытым слоем выше, нежели обучать ИНС с двумя скрытыми слоями. Это может свидетельствовать о качественном отборе наиболее значимых показателей. К аналогичным выводам можно прийти, глядя на диаграммы ниже, где приведены результаты обучения ИНС с одним скрытым слоем и четырьмя входными сигналами (рис. 7), а на следующем рисунке (рис. 8) приведены девять ИНС с двумя скрытыми слоями и также четырьмя входными сигналами. Из рис. 7 видно, что зеленые столбцы чаще встречаются на четвертой диаграмме (см. рис. 7, г), что согласуется с выводом выше о наибольшем качестве обучения ИНС при 20 нейронах на одном скрытом слое. Это свидетельствует о наглядности предложенной диаграммы, особенно когда они сопоставляются вместе. На рис. 8 визуально выделяются две диаграммы, соответствующие ИНС 2-10-10 (см. рис. 8, д) и ИНС 2-5-15 (см. рис. 8, ж), среди которых преимущество ИНС 2-5-15 перед ИНС 2-10-10 еле заметно, но все же видно. Это еще раз подтверждает наглядность предложенной диаграммы. Рис. 7. Графическое представление (а - ж) результатов нейросетевого моделирования полносвязных ИНС с одним скрытым слоем в зависимости от числа нейронов на скрытом слое Заключение Несмотря на то, что с увеличением количества нейронов на скрытых слоях, как для ИНС с одним скрытым слоем, так и для ИНС с двумя скрытыми слоями, модель обучается лучше, что также находит подтверждение в других исследованиях, например, в [18, с. 134], говорить о точности и адекватности ИНС, обученных без предварительной обработки исходных данных, невозможно, так как средняя квадратическая ошибка обобщения (тестирования) превышает 20 %, а R2 на тестирующем множестве не достигает уровня 0,7, и даже наоборот: в некоторых случаях увеличение количества нейронов худшим образом сказывается на средней квадратической ошибке обобщения (тестирования). Исходя из проведенных 3200 экспериментов (2400 с предобработкой данных и 800 без предобработки), можно заключить, что экспериментально доказано, что гипотеза о наличии возможности обнаружения количественной связи между исследуемыми показателями без какой-либо предварительной обработки данных оказалась несостоятельной. Ни одна из обученных ИНС без предварительной обработки исходных данных не соответствовала установленным критериям качества. Рис. 8. Графическое представление (а - к) результатов нейросетевого моделирования полносвязных ИНС с двумя скрытыми слоями с различным числом нейронов на скрытых слоях При всех конфигурациях ИНС с четырьмя входными сигналами (см. табл. 4, 5) удается обучить ИНС с заданными критериям качества, что в графическом представлении отображается зелеными столбцами на диаграммах (см. рис. 7, 8), что подтверждает необходимость предварительной обработки данных и сокращение числа учитываемых переменных. Для достижения высокой точности результатов нейросетевого моделирования необходимо экспериментально подбирать конфигурацию нейронной сети. В эти эксперименты дополнительно стоит включать такие этапы, как контроль переобучения сети (например, применение методов регуляризации весов или кросс-валидации), выбор алгоритма обучения (например, с применением адаптивного параметра обучения - скорости обучения для каждого веса или без адаптивного параметра), нейросетевую фильтрацию [19] для исключения выбросов в статистической информации, и многие другие тонкости, что является очень трудоемким исследованием. Необходимость в предварительной обработке исходного набора данных имеет свое подтверждение. Методы и алгоритмы предобработки данных успешно себя показали в работе [16], когда были получены ИНС приемлемого уровня в тех же экспериментальных условиях, что и ИНС, представленные в текущей работе, но обученные сразу на исходном наборе данных без какой-либо предобработки данных.

About the authors

L. V. Kozhemyakin

Perm National Research Polytechnic University; Perm Decision Making Support Center

A. O. Alekseev

Perm National Research Polytechnic University; Perm Decision Making Support Center

References

Statistics

Views

Abstract - 88

PDF (Russian) - 43

Refbacks

• There are currently no refbacks.